李渊称帝之后,疆土只限于关中和河东一带,还没有完全统治全国。当时,刘武周占据代北,薛举、薛仁杲父子占据陇右,王世充在洛阳称帝,窦建德在河北建号大夏,杜伏威在江淮为王,萧铣偏霸两湖。李渊面对的是一个群雄割据的复杂形势。因此,李渊派遣儿子李世民、李建成、李元吉出征,组织了消灭割据势力的统一战争,并着手镇压农民起义。李渊父子从武德元年(618年)开始攻打薛举,一直到武德七年(624年)征讨山东徐圆朗,历经了七年的征战,扫荡群雄,统一了全国。
武德元年,唐高祖李渊任命儿子李世民为元帅,攻打割据陇西地区的薛仁杲。李世民并没有直接进攻薛仁杲的城池,而是坚守在自己的大营里,任由薛仁杲手下的大将轮番挑战,他仍然没有出兵。李世民手下的将士们都疑惑不解,甚至有些人以为自己的元帅是因为胆小不敢应战,纷纷请求出战。李世民为了安定军心,出面解释说:“我并没有畏惧敌人,而是想趁着敌人开始放松警惕时,我们再一战攻克他们。”就这样,双方僵持了几十天。薛仁杲的粮草所剩无几,很多将领前来投降于唐军。李世民见对方军心涣散,便派手下将领引诱敌军,等到敌人中计,耗尽水源时,他就率领兵马突袭,敌人仓皇应战,但是因为几天没喝水了,士兵们个个都疲惫不堪,很快就溃不成军,被唐军斩杀了几千人。李世民见现在势如破竹,便一举进攻薛仁杲的城池。唐军很快就包围了这里,守城士兵十分惧怕,纷纷爬出城墙投降,李世民得到了一万多的精兵,势力大增。薛仁杲见兵将们已经离他而去,伤心欲绝,也走出城门投降。
李渊在兼并了割地称雄的一些隋朝贵族后,又把矛头指向了农民起义军。其中,李密领导的瓦岗军是当时最强大的一支农民起义军队伍。武德元年(618年)十月,李渊热情地接纳了前来长安投奔自己的李密,以兄弟相称,并将自己的表妹嫁给了他。但是李密归顺大唐之后并不满足,觉得唐高祖李渊给自己的官职太小,于是产生了去河南寻找以前的部队,想重新发动兵变。李渊知道后派人寻找李密,李密知道大事不好,想要偷偷溜出城,却被李渊先发制人,派唐军将其围歼。
为了消灭在河西五郡之地自称天子的凉王李轨,唐高祖李渊暗中派遣安修仁兄弟入凉作为卧底,当上左右卫大将军,以便获取敌人情报,里应外合。武德二年(619年)五月,安修仁兄弟一起擒拿凉王李轨,颠覆了李轨的政权,凉亡。河西五郡并入唐朝国境。李渊传喻到各个郡县,发布政令,通过政治手段招纳了很多隋朝的官员归附大唐,巩固了自己在关中的根据地。
武德二年(619年),李渊派李世民率精兵三万进攻盘踞在马邑地区的刘武周。刘武周是李渊的劲敌之一。刘武周原是马邑的校尉。大业十三年(617年)的时候,他聚集了数万兵马,自称太守。他还通过依附于突厥,攻占了楼烦、雁门、定襄等郡县,受封为定杨可汗。没过多久,刘武周便自称皇帝,年号天兴。武德二年(619年)四月,刘武周勾结突厥,南侵并州,进逼太原,攻陷了李元吉留守的晋阳,李元吉逃回了长安,李渊震怒,立刻命李世民率兵去攻打刘武周。到了第二年的二月,李世民打败了刘武周手下的大将宋金刚,没有了左膀右臂的刘武周仓皇逃亡到突厥,后被突厥杀死。就这样,晋阳的政权得到了稳固,河东地区也解除了关中左右两翼的威胁,唐朝中心地区变得愈加稳固。
武德三年(620年),李世民在此挂帅,率领五万兵马直驱河南,进攻躲在洛阳的王世充。李世民发动了攻坚战一举夺下了东都的主要据点,又派手下兵将对东都进行包围,断绝粮道,使得王世充陷于孤立无援的境地。但是洛阳的守军仍然有相当强的实力,进行着顽强的抵抗,直到因为长期被围困,城中的粮食也耗尽了,士兵们很多都饿死了。李世民看时机成熟,准备攻下洛阳城。但是事情忽然发生了骤变,夏王窦建德与王世充的弟弟带兵前来营救。武德四年(621年)初,唐军在虎牢关打败了窦建德,并将其俘获。王世充见救援无望,就穿着白衣,带着太子和文武群臣开城投降。然而没过多久,窦建德的旧部又死灰复燃,在大将刘黑闼的领导下,不到半年时间,就完全收复了大夏政权的旧地。李渊又先后派李世民、李建成攻打刘黑闼,平定河北。
武德四年(621年)十月,李渊命李孝恭和李靖,从四川出兵,进攻占据在江陵地区的萧铣。萧铣于武德元年(618年)在巴陵称帝,后又迁都江陵,出兵夺取唐巴、蜀地。萧铣被李孝恭、李靖的大军围困在江陵,由于没有援兵,只好投降于大唐。就这样,李渊控制了长江中下游地区。
武德四年(621年),唐高祖次子秦王李世民围攻洛阳,王世充向窦建德求助,窦建德准备南下援救,徐圆朗闻讯后,起兵叛唐,依附于窦建德,跟随他进攻虎牢关。虎牢大战中,窦建德被生擒,王世充被迫投降,徐圆朗为了保存自己的实力,又一次投降于大唐。唐高祖不计前嫌,封他为鲁郡公。窦建德旧部刘黑闼等人在漳南起兵反唐,徐圆朗扣留唐将盛彦师,割据兖州,起兵响应刘黑闼。之后,徐圆朗自称鲁王,并发兵围攻虞城,以此牵制唐军。武德六年(623年)二月,徐圆朗攻陷泗州,李建成诛杀刘黑闼,徐圆朗闻得刘黑闼死讯,弃城而逃,途中为村民所杀。
武德六年(623年),杜伏威入朝,留下辅公祏守卫丹阳,他命王雄诞掌握军队帮助辅公祏。杜伏威走后,左游仙劝说辅公祏反叛,辅公祏夺取了王雄诞的兵权,杀死王雄诞,假称杜伏威送信命令他起兵。同年八月,辅公祏称帝,国号宋。然而好景不长,唐朝派赵郡王李孝恭、岭南道大使李靖等率领大军讨伐辅公祏,辅公祏抵抗唐军,被击溃数次,他心中恐惧,带兵逃跑。辅公祏逃到武康时,当地的农民把他抓住送到了丹阳。李孝恭将辅公祏斩首。至此,江淮地区全部平定。
李渊基本完成了自秦汉以来的又一次真正的统一大业,奠基了唐王朝,被称为“拨乱之主”。