杨素驻扎永安,造大舰,取名五牙,上面再起楼五层,高百余尺,左右前后设置六根桅竿,各高五十尺,每舰可容战士八百人,舰上旗帜飘扬,次等的取木木木名黄龙,每舰可容兵卒一百人自此以下则平乘、舴艋等各有等级。到大举伐陈时,以杨素为行军元帅,率领战舰驶向三峡。到达流头滩,陈朝将领戚欣以青龙舰百余艘,屯兵数千人,驻守狼尾滩,以阻止隋军进军通道。狼尾滩形势很险要,诸将都觉得很不好攻打。
杨素说:“胜败大计,就在这一次了。假如白天出发,他们能看得见,滩流迅猛,舰船不由人控制,我们就会失利。”于是以夜色为掩护,杨素亲自率黄龙数千艘,令战士口中街枚悄悄而下,派遣勇士领步兵从南岸攻击戚欣别栅,令大将军刘仁恩率骑兵向白沙北岸进发,天亮前发起攻击,戚欣败走。陈兵全被俘虏之后,加以慰劳后遣散,秋毫无犯,陈人很高兴。杨素率领水军东下,船舰布满江上,旌旗兵甲和阳光交相辉映。
杨素坐在平乘大船上,容貌魁梧,容光焕发,陈人望见他威风凛凛,说:“清河公就是江神。”陈守江大将,从北岸凿岸石,系铁索三条,横截上流,以阻止战船通过。杨素和刘仁恩登陆,共同发兵攻打陈军的营栅。陈军队至夜溃败,杨素除去所设铁索。陈水军大将吕仲肃又占据荆门的延州,阻拦隋军。杨素派千人,乘五牙舰船四艘,以柏木桅竿击碎敌舰十余艘,大败敌军。俘获甲士二千余人,吕仲肃单身逃脱。后主陈叔宝遣信州刺史顾觉镇守安蜀城,荆州刺史陈纪镇守公安,他们都惧怕杨素而退走。巴陵以东,没有人敢据守。陈湘州刺史兵阳王陈叔也害怕了,派使者请求投降。
杨素顺流而下至汉口,和秦孝王杨俊会合,最后攻灭陈朝。杨素得胜返朝,拜荆州总管,进爵郢国公,食邑三千户,并食长寿县千户。以杨素子杨玄感为仪同,杨玄奖为清河郡公,赐绢千匹,粟万石,加以金宝,又赐陈后主的妹妹和女妓十四人,封越国公。不久拜纳言,一年以后,转内史令。后来江南人李棱等聚众作乱,大股的有数万人,小股的也有数千人,相互呼应,杀害长官。
隋文帝以杨素为行军总管,率兵讨伐。朱莫问自称南徐州刺史,以大兵占据京口,杨素率领舟师从扬子津进攻,击败朱莫问晋陵顾世兴自称太守,和他的都督鲍迁等又来抵抗,杨素予以迎头痛击,活捉鲍迁,俘虏三千余人。进而攻击无锡帅叶略,又将他平定。吴郡沈玄、玄杰等以兵围困苏州,刺史皇甫绩每战不利。杨素领兵救援,沈玄为势所迫,走投南沙帅陆孟孙。杨素击败陆孟孙于松江,生擒陆孟孙和沈玄。浙江叛帅高智慧自号东扬州刺史,有舰船千艘,屯据要害,兵势凶狠。
杨素发起攻击,自早晨至交后申时,浴血奋战,把他打败。高智慧逃奔人海,杨素紧迫不舍,高智慧又战,杨素又把他战败,擒获数千人。汪文进自称天子,占据东阳,命他的同党蔡道人任司空,守东安。杨素进讨,都一一平定。又击破永嘉沈孝彻。于是率步兵向天台,直指临海郡,追逐搜捕遗漏逃逸的叛军。前后百余战,所向披靡。隋文帝认为杨素长久劳顿在外,诏令还朝。加杨素之子杨玄感为上开府,赐彩绢三千段。杨素以为余贼未灭,恐为后患,又自动请缨。文帝诏令杨素为元帅,把东南军民事务全交他办。杨素再次乘胜到会稽。在这之前,南安豪族泉州人王国庆杀刺史刘弘,据州为乱,各处亡兵都去归附。王国庆自以为海路险阻,北方人不惯舟船,因此不设兵防卫。杨素率舰船从海上来到,王国庆慌张仓猝之间弃州而逃,余党散入海岛,或守溪洞。
杨素分遣诸将,水陆追捕。曾秘密令人对王国庆说:“你的罪状,死有余辜,只有斩送高智慧,还有可能得到赦免。”于是王国庆捕高智慧送交杨素,斩于泉州。余党都来归附,江南大定。隋文帝遣左领军将军独孤陀到浚仪迎接和慰劳杨素。及到京师,慰问备至,拜杨素子玄奖为仪同,赐黄金四十斤,加银瓶,装满金钱,缣三千段,马二百匹,羊二千只,公田百顷,宅一区。代苏威为尚书右射,与高瘉专掌朝政。杨素为人巧言今色,矫揉造作,谁要和他比个高下,他都很在意。朝臣之内人们很推重高瘉。而杨素的才能优于高瘉,至于推诚体国,处事妥善,有宰相的识见风度,他却远远不如高瘉。