正在李渊迟疑不定的时候,一件极其糟糕的事情促使李渊下定了决心,起兵谋反。原来,大业十二年(616年),东突厥又来侵犯,李渊派出的人被突厥打败了。看到下属对抗突厥不利,李渊很担心自己也会因此而受到牵连,因而每时每刻都很担心。李世民抓住这个好机会,再次劝说李渊:“父亲,您很明白,您早晚有一天会因为征战失利而被问罪,因为您不能保证自己百战百胜。如今,内忧外患,情势紧张,我们与其等着被治罪,还不如占据主动,举兵起义。将来有朝一日您成为皇上,还有谁敢治您的罪呢?”李世民果然料事如神,不久后,隋炀帝就因为这次对抗突厥失败,免除了李渊及其下属的职务,并且下令让人押解李渊及其下属到江都。李渊知道自己一旦到了江都,也许就没有活命的机会了,因而趁此机会又去询问李世民和裴寂对这件事情的态度。李世民和裴寂抓住这个机会劝说李渊举兵起义,李渊却担心众人不服。
李世民和裴寂纷纷劝说李渊,帮助李渊鼓舞信心。在他们的一番分析之下,李渊终于下定决心举兵起义。难道李渊此前从未有谋反之意,只是因为李世民和裴寂的劝说,才有了谋反之心吗?当然不是。李渊虽然谨慎,却并非没有胆识和谋略。实际上,他早在大业七年(611年)就有了谋反之意,只是时机未到,所以一直韬光养晦而已。大业十一年(615年),好友夏侯端也劝说过李渊谋反,李渊完全赞同夏侯端的主张,下定决心要谋反。接下来,他一直在等待合适的时机举兵。担任太原留守期间,李渊广纳人才,招兵买马,名义上是为了守住太原,实际上是借着公务的机会发展自己的势力。后来,他更是借着李世民和裴寂一起劝说他的机会,顺水推舟地答应举兵。
李渊尽管已经下定决心要举兵,却深知谋反要想成功是非常困难的。这个时候,不仅李渊在广纳贤才,李世民也结交了很多英雄豪杰,还培养了对他忠心耿耿的死士。至此,他们形成了效忠于李渊的一个组织结构,体系严密,纪律森然。后来,这些人成为了李渊起兵的重要军事力量和政治力量。等到李渊正式建立唐朝后,他们都成为了开国功臣,也成为了当朝元老。
李渊和李世民等人一直在有条不紊地做着准备工作。到了大业十三年(617年),马邑兵变爆发。李渊预感到时间越来越紧迫,因而让李世民和刘文静加快速度招兵买马。因为老百姓都对隋炀帝恨之入骨,所以他们扩大势力的速度很快,才十来天,李渊就增兵近万。
这个时候,作为副太守的王威和高君雅听到人们议论纷纷,也开始怀疑李渊父子企图谋反。他们当机立断,想要借着祈雨大会的机会诱杀李渊,却被晋阳乡长刘世龙告密,因而李渊父子率领众人抢先除掉了王威和高君雅。自此,李渊父子二人正式起兵反隋。
李渊骁勇善战,征战无数,当然知道要想成就大事,先要免除后患的道理。他赶在起兵之前,就让留守河东的长子李建成带领全家来到太原,便于互相照顾,保存血脉。不得不说,李渊老谋深算,他还拒绝了突厥派兵援助的提议,从而避免了突厥借此机会攻打他的后方,保证了后方的稳定。在这样的巧妙安排和深思熟虑之下,李渊决定直取长安——隋朝的国都和军事重地。此时此刻,隋炀帝正在外面四处巡游,长安空虚,而且擒贼先擒王,一旦拿下长安,人心就会归顺。
李渊并不心急,他深知如果想要推翻隋朝,很容易引起百姓不满。所以他选取了一条中庸之道,即推翻隋炀帝,而不推翻隋朝,从而以这种方式避免那些忠诚于隋朝的军队和他为敌,也避免了同情隋朝的人站到他的对立面。与此同时,采取这样的策略还能争取到那些反对隋朝的势力,获得他们的支持,使得起兵更加顺利。李渊虽然是一员武将,但是他心思缜密。在决定军队旗帜的颜色时,他也考虑周详:为了避免汉人不满,他决定不用突厥的白旗;为了不激发百姓的怨恨,他决定不用隋朝的红旗。最终,他采用了红白相间的旗帜,既能够与突厥撇清关系,也可以与隋朝划清界限,从而避免了成为众矢之的。
为了起兵成事,李渊做足了准备,思虑周全。他想到了所有的细节:为了让自己的起兵变得合天意、顺民心,他还让汾、晋两地的百姓们传唱《桃李子歌》:“桃李子,莫浪语,黄鹄绕山飞,宛转花园里。”这首歌的意思正是暗示唐公有天命,理应登上王位。就这样,李渊成功造势,尽得人心。
李渊在看到李密开粮仓救济百姓,得到民心之后,也效仿李密的做法,打开粮仓,赈济灾民。如此一来,老百姓对李渊更加信任。得知李渊正在招兵买马,他们纷纷报名,才用了不到二十天,李渊就又招募了几万兵马,队伍声势越发壮大。
很快,朝廷就知道了李渊举兵谋反的消息。隋炀帝当即命令长安、洛阳提高警惕,防御李渊的进攻。在权衡利弊之后,李渊决定先除掉西河郡丞高德儒,为南下扫清障碍。他把这个任务交给了长子李建成和次子李世民。这是李渊起兵之后第一次作战,意义非同寻常,因而他再三叮嘱两个儿子必须首战告捷。对于战争的结局,李渊其实心怀忐忑。虽然隋朝大势已去,但是隋朝的军队毕竟是正规军,战斗力很强,而他们所率领的起义军都是乌合之众,虽然有着推翻隋朝的热情,却没有接受过正规训练,也缺乏实战经验。尤其是作为青年将领的李建成和李世民,都是第一次独立指挥战斗,所以这场战争最后的结局胜负未明。
结局出乎李渊的预料,老百姓对李渊的呼声很高,都不愿意帮助高德儒守住城池。有些士兵临阵倒戈,有些士兵拒绝迎战,就这样,李建成和李世民几乎没费力气就攻占了西河郡。见到此情此景,李建成和李世民固然喜出望外,却没有被胜利冲昏头脑。他们仁义爱民,对老百姓秋毫无犯,更是树立了李渊的好口碑。首战告捷,李渊信心大增,认为自己一统天下指日可待。那么,李建成和李世民这次出兵为何如此顺利呢?这与他们的队伍军纪严明,爱戴百姓密切相关,也与李世民从小在军营里长大,能够和士兵打成一片,获得士兵的信任和拥戴密切相关。只花费了九天的时间,李建成和李世民就已凯旋。经此一战,李建成和李世民不但帮助李渊树立了好口碑,而且还树立了自己在军队中的威望。李渊在西河郡战役后,再次开仓放粮,收编农民起义军,他们的兵力越来越强了。