中平二年(185年),中山郡重新考核那些因为军功而出任官吏的人,凡是不合格的都要淘汰。负责考核的督邮到了安喜县,声称县尉刘备即在淘汰之列。刘备听到传闻,立即前往驿站求见督邮,询问详情。不料,督邮甚是傲慢,不肯接见。刘备心中顿时起了怒气,冲进去把督邮捆绑起来,一口气打了他两百鞭子,然后带着关羽、张飞弃官而去。在《三国演义》中,怒鞭督邮的并不是刘备,而是张飞。
初入官场的刘备惹下了大祸,带着关羽、张飞离开安喜县,几经辗转,投奔到中郎将公孙瓒麾下做别部司马。公孙瓒派刘备与青州刺史田楷一起抵御冀州牧袁绍的进攻。刘备屡立战功,因而先后被任用为平原县令和平原国相。曾经怒鞭督邮的刘备,在平原县颇有善政,即使是普通的老百姓,都可以跟他同席而坐、同簋(guǐ)而食。当地有一个名叫刘平的豪民,瞧不起刘备,不愿意接受他,于是派人前去行刺。刺客暗中观察了刘备好几天,觉得他是一个好人,不忍心动手,最终对刘备说明实情,然后毅然离去。《三国志》里,作者陈寿感叹说:“刘备受人爱戴,竟然到了这种地步!”
初平四年(193年),曹操起兵攻打徐州。徐州牧陶谦被迫放弃彭城,退守郯(tán)城。兴平元年(194年)二月,陶谦向青州刺史田楷求救。田楷闻讯,急忙带着刘备赶来救援。陶谦见到刘备,分外欢喜,赠送给他四千名丹阳兵。刘备就此离开田楷,归顺于陶谦。陶谦请他驻守在小沛,以防备曹操大军卷土重来。
这一年十二月,陶谦忧病而死,临终时对别驾麋竺说:“只有刘备才能保全徐州。”麋竺便遵照陶谦的遗命,率领众人前来小沛迎接刘备。刘备起初有很多顾虑,经陈登、孔融再三劝说,他才勉强答应。在此之前,刘备并没有多大名气,却因为入主徐州一夜之间声名远播,让天下英雄为之瞩目。
对于刘备来说,接任徐州牧并不是一件轻松的事情。先是袁术点起大军征讨他,接着吕布又乘虚袭击他的后方,俘虏了他的妻儿。刘备两面受敌,陷入困顿,只得向吕布求和。吕布归还了他的妻儿,让他住在小沛。到了建安三年(198年),吕布再次攻打小沛,再次俘虏了刘备的妻儿。刘备大败而逃,投奔了曹操。曹操和刘备一起反攻下邳(pī),最终在白门楼活捉吕布并缢死了他。曹操从此占领徐州,把刘备带回许都,让他做了一个空头的左将军。