北魏灭亡后,在其废墟上出现东魏和西魏两个相互对峙的政权,它们虽仍以魏为国号,而且所谓的皇帝也是拓跋氏后裔,但其实权却掌握在北魏的权臣手中。因而不久之后,东西两魏就分别被其执政的高氏和宇文氏取代,正式转化为了北齐和北周两个政权。
两个政权的掌控者,东魏是高欢,鲜卑化的汉族人;西魏是宇文泰,鲜卑化的匈奴人。两人出身都比较贫寒,也都是在北魏末年的农民战争中发展壮大起来的。依靠武力壮大起来的这两大势力集团随着势力的增长,不可避免地展开了越来越激烈的权力争夺战争。东西魏之间曾展开激烈的战争,战争不仅延续时间长达20年,而且规模浩大,损失惨重,史称“东西分裂,连年战争,河南诸郡鞠为茂草,公私困竭,民多饿死”。
东西魏时期,东魏的势力明显强于西魏,但是在转入北齐和北周之后,北齐政权的昏庸腐败与北周政权的励精图治却形成了鲜明的对比。宇文泰死后,其侄子宇文护废西魏,建立了北周,并先后数易皇帝,最终把后来成为周武帝的宇文邕推上了皇位。宇文邕少时聪明有才,深得父爱,宇文泰曾有“成吾志者,必此儿也”之语,对他寄托了很深的希望。宇文邕继位之初还受宇文护的控制,但他养精蓄锐寻机杀了宇文护,并在其父创下的基业上励精图治,厉行改革,使北周社会得到长足发展,实力也迅速增强,超过了北齐。
周武帝是一个雄才大略的皇帝,在北周强大起来后,他不失时机地发动了对北齐的战争。由于北周军队纪律严明,周武帝常常临阵指挥,因此经过几次激烈的战斗之后,北周终于于公元577年灭掉了北齐,完成了北方地区的统一。然而在武帝死后,北周的情况也急转直下,其子宇文赟(宣帝)奢侈腐化,胸无大志,继位一年之后即传位给8岁的儿子而不理政事。皇权的空虚给外戚以可乘之机,公元581年,宣帝皇后杨氏的父亲杨坚乘机夺取了政权,建立了隋朝。杨坚才识过人,很有谋略,他即位后有效地镇压了北周故臣的反抗,改革了北周制度弊病,使北方政局很快恢复稳定,重新强盛了起来。
此时,南方政权在陈的统治之下已经走上了末路。由于梁末的侯景之乱极大地消耗了南朝的元气,陈朝统治者又因循守旧,陈后主昏淫奢侈,嗜好佛教,国势越来越衰弱。隋开皇八年(588),隋文帝杨坚下诏伐陈之后,不到一年的时间,隋就占领了南方三十州、一百郡、四万余县,实现了全国的统一。