隋文帝和独孤皇后共有五个儿子。隋朝建立时这五个皇子都还没有成人,年龄最大的杨勇也只有十四五岁。隋文帝因夺取宇文家的权力当上皇帝,心里最清楚北周的江山是断送在昏庸的宣帝手上。隋文帝常对人说,山里面没有能打败老虎的野兽,只有藏在虎皮中的虮虱才能致老虎于死地。为了防止大隋的江山断送在儿孙的手上,隋文帝清理自己身上的虮虱从不留情。老三秦王杨俊从小就厌倦政治,十一二岁就想出家当和尚,后来不知怎么又迷上了木匠手艺。杨俊挪用公款修造宫殿,隋文帝将他禁闭在王府。杨俊在禁闭中抑郁而死,临死也没能见上隋文帝一面。杨俊死后,秦王府的人请求给秦王竖块碑,隋文帝说:“如果儿孙不争气,那块碑早晚会给人家拿去造房子,有一卷史书记下他的一生就足够。”在隋文帝的眼里,秦王杨俊是个沉溺于“奇技淫巧”没有出息的人。
太子杨勇和杨俊一样,也喜欢新奇的发明,虽然他还没有到自己动手制作的地步,但当时京城里第一流的工匠云定兴早已是东宫里的上宾,后来太子还公然爱上了云匠人的女儿。隋文帝和独孤皇后对太子杨勇的行为很是失望,皇后对太子的“好色”尤其感到不满。
太子是皇位的继承人,东宫地位不稳,朝野都感到不安。而晋王杨广此时却在暗中积极活动,想取代杨勇入主东宫。晋王是隋文帝的次子,平陈之役年方二十就被委以统帅的重任,可见隋文帝对他的器重。晋王性格内向、不好言谈,但工于心计、城府极深,平素连皇帝皇后身边的人他都要小心结交,史书上说他为了表示自己不好声色,故意把琴弦卸去,晋王府的装饰也很简朴,这些都使他赢得了文帝夫妇的欢心。当时朝中最有势力的大臣是越国公杨素,晋王通过贿赂杨素的兄弟,暗中和杨素结盟。隋文帝最后听信杨素和妻子独孤皇后的话,废除杨勇,改立晋王杨广为太子。隋朝这次改换皇储,发生在开皇二十年(600),只过了四年,隋文帝驾崩,杨广就当上了皇帝。据史书说文帝病危时识破了杨广的欺诈,曾想召回杨勇由他继位,但为时已晚。杨广指示亲信将文帝毒死,然后举行登基大典,不久又把杨勇杀害。杨广就是历史上的隋炀帝。