江南初定

窦建德死后，他手下的残兵败将都被他的妻子遣散，偏偏有几个将领贼心不死，推举窦建德的部将刘黑闼为首领，再次起兵造反。许多人不甘心就此投降大唐，与刘黑闼联合起来，向东攻克了历亭、深州等地。

高祖先派兵东征，讨伐刘黑闼；后派兵南下江陵，讨伐萧铣。

萧铣是梁宣帝萧詧的曾孙，隋朝时担任过罗川令，被巴陵校尉董景珍等人推举为梁王，改元鸣凤，服饰和旗帜都仿照梁朝的样子。萧铣起兵仅五天，远近归附的人马就达到了几万。不久，萧铣自称皇帝，迁都江陵，招降了岭南的大多数郡县，又攻克了许多州县，拥兵多达四十余万，一时间威震四方。萧铣觊觎巴蜀，多次派人进攻三峡，都被唐军击退。后来，居功自傲的尚书令张绣被萧铣杀死，那些功臣渐渐与他离心离德，萧铣的势力逐渐衰弱。

李靖、李孝恭奉命征讨萧铣，用计大败萧铣。萧铣只好投降，并对李孝恭说：“有罪的只有我一个人，百姓无罪，请不要滥杀无辜！”李孝恭满口答应，下令进城后禁止杀掠百姓和敌军将领。于是，城里安然无恙。

南方各州县听说了这种情况，纷纷归降。

李孝恭押送萧铣到长安，唐高祖下令斩首萧铣。萧铣从建国号梁开始，五年之后灭亡。

李孝恭剿匪有功，被封为荆州总管。李靖被封为永康县公，管辖岭南。萧铣的部将刘洎、李砻志等人全都归降李靖，就连岭南的首领冯盎等人也大多投降了，南方宣告太平。

高开道本来已经投降了大唐，受封北平郡王，听说刘黑闼势力强盛，又秘密勾结刘黑闼和突厥，寻找靠山。

刘黑闼攻克了许多州县，势力日益强盛。窦建德的旧部为了响应刘黑闼，全都争着去杀大唐的官吏。刘黑闼只用了半年时间，就把窦建德过去的势力范围收回，他自称汉东王，改元天造，定都洺州，恢复了以前的行政制度，窦建德的故将全都官复原职。

秦王李世民和幽州总管罗艺兵分两路征讨刘黑闼。刘黑闼派范愿把守洺州，自己则带领精兵抵挡罗艺。李世民派人在城西的大堤上竖起六十面大鼓，一齐捶打，顿时鼓声震天，连城里都动摇起来。范愿吓坏了，连忙派人报告给刘黑闼。刘黑闼慌忙回城，途中遇到罗艺，大败而逃，又转去攻打洺水。

洺水城由罗士信、王君廓等人镇守。刘黑闼一边挖地道，一边围攻洺水城，接连攻了八天八夜。罗士信废寝忘食，全力坚守城池，才没有被攻陷。不幸的是，这时偏偏下起大雪，下得全城都白了，刺得人眼睛都睁不开，刘黑闼趁机攻进了城。罗士信仍然挺着长矛，刺死好几个敌军头目，杀出城去，却因慌不择路而陷入泥坑之中，被敌兵活捉。刘黑闼欣赏罗士信的勇猛，劝他归降。罗士信大骂刘黑闼：“黑贼！罗将军能降你吗？”刘黑闼听了，当即杀死了他。罗士信死时年仅二十几岁。

李世民听说罗士信殉难，心如刀绞，厚葬了罗士信，追封他为勇士。

罗士信死后，刘黑闼又来挑衅。李世民和罗艺合兵，派程名振截断刘黑闼的粮道，凿沉了刘黑闼的粮船，烧毁粮车。刘黑闼仍然不肯退兵，双方相持了六十多天。

刘黑闼粮草用尽以后，渡河进攻唐营。李世民早已派人在洺水上筑起大坝，等刘黑闼渡河时，突然间洪水袭来，把刘黑闼的兵马冲走了一半。还来不及逃跑的士兵都被唐兵杀死。刘黑闼拼死渡过洺水，手下只剩二百多人。刘黑闼自知大势已去，只好投奔突厥去了。

李世民赶走刘黑闼之后，接连攻下了十多个州县。正准备出兵兖州，攻打占领兖州的徐圆朗。结果高祖下诏令李世民班师回朝，李世民不敢违抗，只好让淮安王李神通等人留下来继续进攻。

刘黑闼借了突厥的兵马，杀回了山东，不到半个月，又收复了旧地，仍然占据洺州作为都城。

高祖见李神通、罗艺、李元吉等都不是刘黑闼的对手，本想派李世民出征，可是心里又有些迟疑。正巧太子李建成主动请求东征，李渊立即命他率兵征讨刘黑闼。

原来，李世民屡建奇功，被封为天策上将，位居其他王公之上，手下设置了一批官吏。太子李建成和齐王李元吉妒忌李世民，就暗中讨好高祖的两位宠妃，让她们说李世民的坏话。于是，高祖渐渐疏远了李世民。

太子中允王珪和洗马魏徵见李世民屡建奇功，担心李世民会夺走太子之位，于是劝李建成：“秦王屡立战功，深得人心，殿下只是因为名分居长才被立为太子，此时如果不立下大功，恐怕不能镇服天下。如今刘黑闼劫后余生，再次占据山东，但是人马不多，人心不稳，殿下可主动请求出征，一来可以取得战功，二来可以结识山东英雄作为臂膀，这样您的太子之位就安稳了。”于是，李建成主动请求出征，魏徵等人随同前往。

路上，齐王李元吉率兵赶到，与李建成一起来到昌乐。刘黑闼领兵来攻。魏徵对李建成说：“上次攻破刘黑闼之后，所有贼将都被我们处死，剩下的残兵败将的妻儿老小也被抓进了大牢。那些残兵败将看不到希望，所以都甘心为刘黑闼卖命，如今我们可以把他们的家眷全部释放，想必他们就不会再追随刘黑闼了。”李建成立即按魏徵的话去办，刘黑闼的部下果然一天天地散去。再加上粮食吃紧，队伍无法再支撑下去，刘黑闼趁夜逃到饶州，被唐军活捉。李建成有心将刘黑闼送回长安，又恐中途被劫，于是将刘黑闼兄弟等人一律就地斩首。

刘黑闼一死，徐圆朗、高开道等贼人都吓破了胆，很快就被剿灭。

丹阳辅公祏起兵造反，高祖派赵郡王李孝恭、岭南道大使李靖、齐州总管李勣等人合力攻打。辅公祏被活捉后斩首示众。辅公祏从造反起，仅仅六个月就被歼灭。江南从此太平。

高祖听了捷报，高兴地说：“李靖是剿灭萧铣、辅公祏的大功臣啊！古时的卫青、霍去病也不过如此。”于是封李孝恭为东南道行台右仆射，封李靖为行台兵部尚书。

武德七年（624年），大唐已经基本统一，只有梁师都还占据着北方。高祖暂时休兵，整顿朝政，修正官阶，制定学制，修改刑法，并重新修订了租庸调法。