东汉中平五年(188年)三月,正是北国天气转暖、冰雪消融的季节。然而,南匈奴单于庭所在地的西河郡离石县左国城(今山西省离石区)却是田园荒芜,满目凄凉 。
为镇压如火如荼的黄巾起义,去年朝廷征发并州南匈奴族众开赴前线。南匈奴单于羌渠派左贤王率部赴幽州,许多青壮年都被征兵征走了,幸免者躲的躲、藏的藏,家家户户大多剩下老弱妇幼。人们唯恐朝廷无休止的征兵,无心生计,一股反抗的激流在暗中涌动。这时,南匈奴中的屠各种人率先起来造反,聚众进攻西河郡,攻杀郡太守邢纪;接着又攻杀并州刺史张懿。他们与南匈奴的左部胡联合起来,造反的队伍进一步发展壮大,参加者多达十多万人。
在南匈奴中,屠各种是具有高贵的血统和显赫的身份,拥有世代相袭的特权。其虚连题氏是世袭单于位的家族。屠各种人的造反,既是利用群情激愤,反抗东汉朝廷的统治;更主要是,他们把矛头对准羌渠单于,认为单于派左贤王出征,包藏着不让合法的继承人左贤王继承单于位的企图。所以,他们和左部部众联合起来,攻入南匈奴单于庭,杀死了单于羌渠。
羌渠死后,左贤王在外,果然是羌渠之子、右贤王於扶罗宣布继承单于位。屠各、左部岂能接受父死子继之制,岂能接受仇人之子上台,于是,屠各、左部再叛,赶走了於扶罗,匆忙中推举须卜骨都侯为单于。须卜虽为屠各族,可并无担任单于的资格,为什么被立为单于?或者是因当时虚连题氏没有成年的继承人,不得已而采取的权宜措施。可以相信的是,须卜氏虽为单于,似乎没有威信。於扶罗出走后,声称到洛阳告状,请求朝廷主持公道,讨伐屠各与左部的叛逆行径。然而,他命运多舛,尚未到达洛阳,适逢东汉皇朝因灵帝驾崩而陷入混乱,无人过问南匈奴的事了。
於扶罗带领骑兵数千,漂泊在外。他与黄巾余党合兵骚扰河内诸郡,“时民皆保聚,钞掠无利”,企图回到并州,曾经打到太原,迫近西河。当时须卜骨都侯已死,南匈奴也没有再立新单于,但南匈奴屠各和左部就是不承认不接受於扶罗这个单于,他的兵力又攻不进去,无奈之下,他又回到河东。建安元年(196年),汉献帝从长安东逃,一路上险象环生,凉州兵在后面紧追不舍。於扶罗也曾派其右贤王去卑领兵数千骑护卫,但劳而无功,汉献帝终于被曹操迎走了。
兴平二年(195年),於扶罗死,其弟呼厨泉继立。於扶罗终于没有再继续推行父死子继,而又回到兄终弟及的老路了。但呼厨泉“以兄被逐,不得归国,数为鲜卑所钞”。可见仍得不到离石的南匈奴左部“国人”们的谅解。史称,“中平以来,天下乱离,民弃农业,诸军并起,率乏粮谷,无终岁之计,饥则寇掠,饱则弃余,瓦解流离,无敌自破者,不可胜数。袁绍在河北,军人仰食桑葚,袁术在江淮,取给蒲蠃,民多相食,州里萧条”。呼厨泉的这支弱旅,过着惶惶不可终日的流寇日子。建安元年(196年),右贤王去卑与白波帅韩暹侍卫献帝从长安返回洛阳,但劳而无功。建安七年(202年),呼厨泉与袁尚部下高干等攻取平阳,曹操派钟繇包围平阳,呼厨泉最终投降了曹操。
当曹操和袁绍逐鹿中原的时候,并州成了匈奴的大本营,各地匈奴人大量涌入,连避难的汉族吏民也逃到他们的部落中寻求保护,匈奴的实力猛增。曹操消灭袁绍,占领并州,任命梁习为并州刺史。梁习上任后,强制把大批胡汉人口迁往邺城,以削弱并州的胡汉割据势力。此后,匈奴的势力受到抑制,他们和汉族编户一样,种地服役 。建安二十一年(216年),呼厨泉朝觐汉献帝时,被曹操留在邺城当作人质 。随后,曹操把并州的匈奴分成左、右、前、后、中五部,各部以“贵者”即屠各种人为部帅,选任汉人担任各部司马,加以监督。於扶罗之子刘豹就是在这时出任左部帅的。按照匈奴的习俗,各部众以部帅名号为名号,所以五部匈奴又常被称为“五部屠各”。曹操还派右贤王去卑回平阳(今山西省临汾市)监护五部匈奴,但实际上,平阳和并州匈奴各部相距甚远,所以,去卑“监国”只是一个名义上的职务而已。曹魏末年,又改部帅为都尉:其左部都尉所统可万余落,居于太原故兹氏县(今山西省汾阳市南);右部都尉可六千余落,居祁县(今山西省祁县);南部都尉可三千余落,居蒲子县(今山西省蒲县);北部都尉可四千余落,居新兴县(今山西省忻州市);中部都尉可六千余落,居大陵县(今山西省文水县东北)。在曹魏统治的四十多年间,刘豹的势力不断扩大,五部实际上并成一部,破坏了原来五部的格局 。曹魏末年,朝廷又分其为三部,并让刘豹送其子刘渊到京城洛阳为质子。刘渊从此走向历史的舞台。