在文学和书法上均有造诣。史书称其“言经不倦，多所通涉”。
576年10月，杨素跟随宇文宪进攻北齐，并攻克晋州。北齐诸军自晋阳向晋州进发，得知北齐军的主力到达后，杨素深感恐惧，于是仓皇而逃，结果被北齐军追上，几乎被击溃。
之后，杨素与骁将10余人在苦战中才得以解围。此后，杨素屡立战功。577年10月，陈朝趁着北齐灭亡之际争夺淮北地区，杨素随军大破陈军，并俘获主将。
两年后，他独自率军攻克了盱眙和钟离两地。
杨坚掌权后，杨素深得其信任，被任命为大将军，负责铲除政敌。之后，杨坚受禅登基，建立隋朝，杨素受封为上柱国，参与了隋朝法律的修订。
然而，他因为和妻子吵架，不慎说出了冒犯皇帝的话，结果被人告发获罪，险些毁了自己的大好前途。好在杨素在筹划灭掉陈朝时，多次献策，最终官复原职。
588年3月，隋文帝下诏列举陈朝后主的罪行20条，随后集中水陆两军共计51万人，自长江上游至下游分为八路进攻。
其中，杨素指挥水军主力顺流东下，负责消灭长江及沿岸的陈军。同年12月上旬，杨素按照作战部署在长江上游发起攻势。
陈军的百余艘青龙战船坚守在地势险要、水流湍急的狼尾滩。杨素决定水陆协同，利用黑夜实施正面突破的同时，让岸边的步兵和骑兵向陈朝的守将展开两路进攻。
最终，在水陆两军的配合下一举击破了陈朝守军。杨素对俘虏的士兵采取优待政策，释放后全部放归，因此获得了很多人的好感，为之后的灭陈战争创造了有利条件。
杨素继续顺江而下，陈朝守将吕仲肃奉命屯守于长江西陵峡口。他为了激励士气，将自己的全部财产捐出充军，陈军因此斗志颇高，防御非常严密。杨素在40余次的猛攻之下伤亡惨重。
当时，陈朝士兵为了邀功，割下了隋军俘虏的鼻子。
杨素于是利用对方的残忍激怒士兵，士兵们因此拼死奋战，吕仲肃最终战败逃走。杨素对陈朝的俘虏依然不杀不辱。
后，杨素的军队士气越发高昂，继续顺江而下，势如破竹。他的优抚政策也发挥了重要作用，最终控制了整个长江上游地区，保障了下游主力的渡江作战。
因战功卓著，杨素被晋封为越国公，获益3000户，其子杨玄感被封为柱国。
隋灭陈朝统一中国后，杨素规定江南所有人，无论男女老少、贫富贵贱，都必须背诵一本名为《武教》的书籍。此书关于五种人伦道德的教育引起了广大江南百姓的不满。
再加上南方豪强对隋朝实行的限制政策本就不愿接受，便利用百姓的不满发动起义，规模达到了数万之众。
面对如此严峻的形势，隋文帝