文帝命杨素监造仁寿宫,杨素就平山填谷,督役严急,工匠死伤很多,据说宫旁时常听到鬼哭的声音。等到宫室建成,隋文帝命高瘉去观看,回来奏称过于华丽,工匠死伤太多,隋文帝心中不高兴。杨素忧惧,没有办法,即于北门启奏独孤皇后说:“帝王所居,历来就有离宫别馆,现在天下太平,造这么一个宫殿,何必节省费用!”皇后以这个道理劝谕文帝,文帝不高兴的心情才得以消除。于是赐杨素钱百万,锦绢三千段。
突厥达头可汗侵犯边塞,朝廷以杨素为灵州道行军总管,出塞讨伐,赐帛二千段,黄金百斤。原先,诸将与突厥作战,常顾虑突厥骑兵突然袭击,所以都用战车步骑相参,用车载削尖的树枝为鹿角方阵,骑兵在内。杨素对人说:“这是防御的方法,不是决胜的良策。”于是尽除旧法,命令诸军为骑。
达头听到后大大欣喜,说:“这是老天爷赐给我好策略、好机会。”因而下马对天叩拜,率领精骑十余万而至。杨素奋起而击败达头,达头遭到重创而遁逃,杀伤将士无数,突厥兵众号哭而去。隋文帝优诏褒扬,赐缣二万匹,以及万钉宝带。杨素多权略,在战争中,不守陈规,应变无常则,但是驾驭军队严整,有犯军令者,立即斩杀,从不宽恕。每次临战,就寻找人的过失而斩杀,多时百余人,少也不少十数人,流血满地,但他谈笑自若。等到对阵,先令一二百人赴敌,能陷阵便无事,如不能陷阵而回,不问多少,一概斩杀不论。又令三二百人继续冲阵,如果退回,依前法斩杀。因此将士畏惧,抱必死之心,战无不胜,称为名将。
当时杨素正贵幸,文帝对他言听计从,凡从杨素出征,微功必录,至于其他将,虽有大功,多为文官所掩没。所以杨素虽然严厉残忍,士卒却愿意追随他。开皇二十年(600),晋王杨广为灵朔道行军元帅,杨素为长史。杨广谦卑屈尊接交杨素。后杨广能够成为太子,也就是得力于杨素的筹谋。
不久,杨素代高瘉为尚书左仆射,赐良马百匹,牝马二百匹,奴婢百口。这年,以杨素为行军元帅,出云州击突厥,屡战屡胜。突厥败走,杨素率军追击,直到夜间终于追上。恐突厥逃走,命令骑兵殿后,他自己则带领二骑和突厥降入二人,与突厥队伍并行而前,突厥并不知觉。当他们正在安顿宿营地时,催促后面的骑兵快速掩击,大败突厥。从此突厥远遁,大漠以南再也没有突厥王庭。
杨素因为征突厥有功,进他的儿子玄感位为柱国,玄纵为准南郡公,赏绢二万段,独孤皇后去世,陵墓的建造规格,多出于杨素,文帝很称赞。赐田三十顷,绢万段,米万石,金钵一,装满了金子,银钵一,装满了珠子,并绫锦五百段,当时贵宠无比,他的弟弟杨构,堂叔父杨文思、文纪,及族父杨异,都是尚书列卿。诸子即使没有汗马功劳,也都位至柱国、刺史。他的家僮数千,后庭妓妾以千数,都披罗带绮。第宅华丽奢侈,造得如同皇宫一样。
有个鲍亨善于写文章,又有个殷胄工于草隶书法,都是江南士人,因为高智慧反叛而籍没有杨素家奴。亲戚故吏布列显要,杨素的贵盛,古今所无。炀帝杨广刚为太子时,忌妒蜀王杨秀,和杨素一同谋划,诬构杨秀罪名,因此后来杨秀被废黜。朝臣有违忤他的意见的,虽然忠心耿耿,多有功劳,如贺若弼、史万岁、李纲、柳或等,杨素都暗中陷害他们。如果谁能附会迎合,以及有亲戚关系的,即使没有才能,也能升官。这样一来朝臣没有不畏惧而依附于他的。只有兵部尚书柳述,因是文帝之婿,屡次当着文帝面挫折杨素。大理卿梁毗,也上表诉说杨素作威作福。
文帝渐渐疏忌杨素,后来因而出敕说:“仆射是国家的宰辅,不可躬亲细务。只三五日到尚书省一次,议论大事即可。”表面优崇他,实际上是夺了他的权。直到文帝仁寿末年,不再让杨素通判三省之事。文帝要王公以下比试射箭,杨素第一,文帝亲手把外国所献金精盘赏赐给他,价值巨万。仁寿四年(604),跟从文帝到仁寿官,宴赐贵重物品极多。文帝有病,杨素和兵部尚书柳迷、黄门侍郎郎元岩等入阁侍疾。
此时皇太子杨广入居大宝殿,他担心文帝可能去世,便预为防备。于是亲笔写了书信,派人出宫询问杨素。杨素逐条录出须预防的事,以回答杨广。宫人误送给文帝,文帝看后大为恼火,所宠幸的陈贵人又说太子曾经对她无礼。文帝发怒,欲召原太子庶人杨勇。太子杨广谋于杨素,杨素就伪诏派东宫兵士宿卫,门禁出入概由宇文述、郭衍节度,又令张衡侍疾,文帝就在当天去世。汉王杨谅造反,遣茹茹天保占据蒲州,烧断河桥。又遣王聃子率数万人合力拒守。
杨广杨素前去镇压,杨素率领轻骑五千袭击,暗中夜渡渭口,天亮出兵,天保败走,王聃子害怕,献城投降,有诏征还。当初杨素将出兵,计算破敌日期,结果都能如他所估计的那样。于是炀帝以杨素为并州道行军总管、河北安抚大使,率兵数万讨代杨谅。
当时晋、绛、吕三州都为杨谅所有,杨谅派遣赵子开拥兵十多万,策划断绝通路,驻守高壁,布下五十里的阵势。杨素命诸将领兵攻打,自己暗中率奇兵潜入霍山,沿崖谷而进,直接到达赵子开营地,一战而破,杀伤数万。杨谅所委派的介州刺史梁修罗驻守介休,听到杨素引兵来偷袭,赶紧弃城逃走。杨素进至清源距井州三十里,杨谅率将领王世宗、赵子开、萧摩诃等近十万之众,前来迎战。又被杨素打败,擒获摩诃。杨谅退保并州,杨素进兵围攻,杨谅计穷力竭而降,其余党也被平定。杨素当月还京师。
随从炀帝到洛阳,以杨素领营建东京太监。以平杨谅之功,拜杨素子万石、仁行,侄玄挺,都为仪同三司。赐物五万段,绮罗千匹,杨谅的妓妾二十人。炀帝大业元年(605)迁尚书令,赐东京甲第一区,物二千段。不久拜太子太师,其余官衔如故。前后赏赐不可胜计。杨素晚年虽有拥戴之策和平杨谅之功,但也由此而炀帝所猜忌。炀帝表面上对他待遇特别隆重,实际上内情很薄。
杨素有病之日,炀帝常命名医诊候,赐给他上等药物,但又秘密向医生询问,担心杨素不死。杨素也知道自己名位已到达顶点,不肯服药,也不好好休养,常对他的弟弟杨约说:“我难道还要再活下去吗?”杨素极喜财货,营求产业,东西二京居宅奢侈华丽,他的贪婪行为,受到时人的鄙薄。