建安五年(200年),刘备、张飞与关羽重逢。重逢的地点,按照《三国演义》中的说法,是汝南郡的一座古城。他们在这里聚集了数千人马,准备攻打许都。汝南太守蔡阳赶来清剿,被关羽一刀斩杀。但随后曹操率领大军亲征,打得他们溃不成军,向南逃亡,投奔了荆州牧刘表。但史书中对这次重逢只是一笔带过,并没有交代具体的细节。
建安十三年(208年),曹操南征荆州,刘琮举州投降。刘备很晚才得到这个消息,知道自己不仅错过了最佳的战机,还失去了强有力的后援,只得向江陵方向撤退。不久,曹操的轻骑兵追赶刘备至当阳,并发起猛攻。刘备几乎全军覆没。张飞率二十名骑兵为他断后。很快,曹军蜂拥而至。只见张飞独自一人,阻断了上桥过河的路。他瞪着眼睛、横着长矛,坐在马背上怒声吼道:“我就是张益德,谁敢过来决一死战?”这样一个英勇的举动,让曹军感到非常害怕,无人敢上前应战,转头杀向了别处。接着,赵云又先后救出了刘备的妻子甘夫人和儿子刘禅,与刘备、张飞、诸葛亮等人相会,乘着恰好赶来的关羽率领的船,一起沿着汉水逃到了江陵。
同年年末,赤壁之战爆发,孙刘联军大败曹操。刘备占有了荆州南部的四个郡和与襄阳接壤的南郡。在此之前,曹操以枝江为界,从南郡里面划分出来一个临江郡。刘备便改临江郡为宜都郡,升任张飞为征虏将军,封新亭侯,兼任宜都太守,后来又转任南郡太守。