经此一战,李渊得到了众人的拥护和爱戴,很快就建立了军事、政治机构,也为改朝换代做好了初步准备。李渊心系天下,当然不会满足于只得到太原。大业十三年(617年),李渊任命李元吉留守太原,自己则带着李建成和李世民,率领大军从太原出发,一路南下。自此,李渊父子踏上了建立大唐的征程。
在中原地带,李密率领的瓦岗军实力最强。李密原本想把各路起义军都收入麾下,拥护他为首领,共同反隋。毫无疑问,李渊作为起义军的后起之辈,也收到了李密的消息,但是李渊始终没有给李密任何回信。直至大兵出发前,为了避免腹背受敌,被瓦岗军袭击,李渊才假意给李密回信,表示愿意拥护李密为王。其实,他是为了让李密继续反隋,而不要对他们开战。果不其然,李密接到了李渊的来信后喜出望外,马上回信给李渊说瓦岗军绝不进犯太原。由此一来,李渊就解除了后顾之忧,不再担心太原的安危了。
隋炀帝得知李渊起兵南下的消息后,心急如焚,派出重兵阻止李渊南下。这个时候,因为连日降雨,道路泥泞,李渊只好命令全体将士原地驻扎,等到天气转晴之后再继续南下。然而,他们的粮草马上就要消耗光了,天气却依然阴雨连绵,李渊急得如同热锅上的蚂蚁一样团团乱转。这个时候,晋阳告急,原来刘武周和突厥勾结起来攻打晋阳。这样一来,李渊后院起火,情势变得更加危急。裴寂建议李渊火速赶回晋阳平定后方,择机再挥师南下,然而,李世民却坚决反对退兵。他向李渊分析了当下的情势,认为一旦退兵就会导致军心涣散,此外他还建议李渊不要忌惮刘武周和突厥的兵力,因为刘武周和突厥是面和心不和,更不要忌惮李密,因为李密根本无暇攻打他们。在李世民的再三劝谏下,李渊最终改变了退兵的主意,继续挥师南下。
从根本上来说,裴寂等人主张回到晋阳,因为晋阳是义军的根据地,也是义军的大后方。所以裴寂等人主张回到晋阳,并非胆小怯懦,而是考虑到后方稳固。相比之下,李世民主张继续挥师南下,也并非急于冒进,而是因为他分析了刘武周和突厥的合作情况,也分析了李密的战况,认为他们都不足为惧。最终,李渊醒悟过来,采纳了李世民的建议,撤回了退兵,继续挥师南下,所以才能一鼓作气,到达霍邑,与镇守霍邑的宋老生一决高下。李渊深知隋军训练有素,宋老生还有背城布阵的优势,因此没有贸然进攻,而是设下计谋,佯装后退,引诱宋老生追击。宋老生呢,以为李渊的队伍和其他义军一样不堪一击,所以十分轻敌,中了李渊的圈套,没有固守城池,反而对李渊的“退兵”穷追不舍。最终,李建成和李世民对宋老生两面夹击,李渊率领军队对宋老生迎头赶上。最终,在两个儿子的鼎力相助下,尤其是在李世民的“妙计”下,李渊打败了宋老生。
李世民的“妙计”是什么呢?原来,隋军训练有素,李世民在对隋军应接不暇之际,突然心生一计,大声呼喊:“我已经活捉宋老生,隋军中主动投降者可免死罪。”李世民的呼声一出,扰乱了隋军的阵仗。隋军军心大乱,溃不成军,当即朝着城里撤退,却在关闭城门时,把宋老生以及宋老生所率领的军队留在了城门外,让宋老生成为了孤军。李渊父子三人齐心协力,把宋老生围困起来,使其无路可退,也无路可进,陷入绝境。正当宋老生感到绝望准备自杀之际,义军的刘弘基恰巧赶到,腰斩了宋老生。这使得宋老生的部下们全都军心涣散,最终全军覆灭。
这个时候,尽管天色已经晚了,但是李渊一鼓作气,号令将士们马上攻城。城里的隋军将士们虽然还在抵抗,但是气势大不如前。很快,李渊就率领队伍攻入城池,隋军的将士们全都下跪投降。见此情形,李渊高兴极了。他命令全体将士都必须严守军纪,决不允许扰乱百姓的生活,所以城中的百姓生活一如往常,没有受到任何影响。
这是李渊起兵之后的第二次大战,史称霍邑之战。原本,李渊以为这一战要耗费很长时间,却没想到在李世民的英明决策之下,这场大战速战速决,战果显赫。从此之后,李渊特别赏识李世民的军事才华,还把掌管军队的大权交给了李世民。
霍邑大战让李渊父子名声大噪,很多人都带领队伍投靠他们,他们的队伍迅速壮大起来。接下来,李渊父子计划攻下河东城。河东城相当于关中的大门,只要攻入河东城,就相当于打开了关中的门户。隋炀帝当然知道李渊父子的计划,他当即命令隋朝的名将屈突通坚守河东城,决不能让李渊父子的计划得逞。屈突通是隋朝大将,深谙兵法,且有丰富的实战经验。接到这个艰巨的任务之后,他一到河东城,就开始修筑防御工事,为抵御李渊父子率领的起义军做准备。可想而知,河东城城防坚固,又有屈突通这样的名将捍卫,李渊想要攻下河东城,简直难于登天。李渊强攻不下河东城,决定采取迂回战术,先攻打隋朝的大型粮仓之一——永丰仓所在的邑县。这次,李渊兵分两路,留下一路兵马继续围困河东,又率领主力军西渡黄河,进入关中,在长春宫驻扎下来。屈突通尽管是大将,却分身乏术,顾此失彼,最终只能退守河东城。这时,李渊父子已经占领了关中大部分地区,队伍也空前壮大起来。其中,李世民的队伍人数众多,多达十三万人。正是在关中征战期间,李世民结识了房玄龄,后来,李世民与房玄龄之间成就了君臣佳话。
李渊父子势如破竹,很快就攻下了长安城。在裴寂的建议下,李渊并没有自立为王,而是拥护代王杨侑登基,史称隋恭帝。这时,隋炀帝远在江都,李渊却依然尊称其为太上皇。至此,李渊自封为唐王,独揽国家大权,隋恭帝只是一个傀儡而已。李渊立长子李建成为世子,立次子李世民为京兆尹,封秦公。李渊只用了一年多时间,就在关中站稳了脚跟。从此之后,他大张旗鼓地招贤纳士,奖励军功,而且对隋朝旧时的老臣封官加爵,笼络人心。正是因为采取了这三项政策,李渊才能为李唐王朝的建立奠定基础,也实现了从隋朝到李唐王朝的平稳过渡。
义宁二年(618年),隋朝禁军将领马德勘和大臣宇文化及发动了江都兵变,杀死了隋炀帝,准备率军进入关中,却与盘踞中原的瓦岗军打了遭遇战。这个时候,李渊得知隋炀帝已经死了,当即开始准备禅位典礼,让隋恭帝禅让皇位给他。就这样,李渊顺利即位,正式建立唐朝,以长安为都。李渊,就是唐高祖。
李渊即位之后,立李建成为太子,封李世民为秦王。然而,李世民在李渊建立唐朝的过程中战功赫赫,在唐朝的地位至关重要,不可撼动。这为后来李世民登基奠定了坚实的基础。