岳飞回到泰州后,不愉快的事又接踵而至。
前军统制傅庆是一员悍将,岳飞一直非常倚重于他。傅庆也恃才傲物,将长官岳飞视为平交,他经常吹嘘说:“岳丈所主张此一军者,皆我出战有功之力。”
傅庆不时向岳飞需索钱财,岳飞总是有求必应,慷慨解囊。岳飞出任通、泰州镇抚使后,治军更加严肃,对傅庆不能像以往那样宽纵了。傅庆因此心怀不满,打仗不肯出力,承州之战也没有军功。有一回,傅庆迎接刘光世部将王德,就向王德表示,愿重新隶属旧日的长官“刘相公”,王德当即应允。统领张宪听到两人谈话,便将此事报告岳飞,岳飞非常生气,但隐忍未发。稍过若干时日,岳飞命众将比赛射艺。其他将领射箭都未超过一百五十步(一步为五宋尺,约合1.55米),唯独傅庆连发三箭,都达一百七十步。岳飞赏他三杯酒。接着,岳飞又颁赏承州城下战功,命令取宋高宗“宣赐”的战袍和金带,交付王贵。傅庆带着几分醉意和妒意,出面拦阻,说:“赏有功者!”
岳飞问:“有功者为谁?”
傅庆说:“傅庆在清水亭有功,当赏傅庆。”
岳飞发怒,喝退傅庆。傅庆不服,竟下阶焚烧战袍,捶毁金带。岳飞怒不可遏,说:“不斩傅庆,何以示众!”下令将傅庆推出斩首。
十月下旬,以“玩寇养尊”著称的刘光世上奏朝廷,他反诬岳飞等人“迁延五十余日”,“又巧为辞说,抵拒会合指挥”,因而招致楚州的陷落。签书枢密院事赵鼎主张“诘刘光世等违命不救楚州之罪”,他为宋高宗草拟御批说:
逐官但为身谋,不恤国事,且令追袭金人过淮,以功赎过。
但宋高宗认为:“光世当此一面,委任非轻,若责之太峻,恐其心不安,难以立事。”于是,宋高宗发布的诏旨中反而嘉奖刘光世“体国忠勤”,令他“节制诸镇”,“戮力保守”通、泰两州。刘光世明白朝廷的姑息迁就,纯粹是照顾体面的嘉奖,也并不真正感戴。他仍然不发一兵一卒渡江,支援通、泰两州的防务。
在承州和楚州之间,有樊梁、新开和白马三个湖泊,绵亘三百宋里。当金军于建炎三年攻陷扬州时,渔民出身的梁山泊(在今山东巨野、梁山、郓城三县间)抗金义军领袖张荣,号称“张敌万”,他率领其军分乘数百艘船只,由清河南下,转移到这个湖泊和沼泽地带,驻扎于鼍潭湖。义军将茭草堆积成墙,再用泥土涂抹黏合,建成一座茭城,作为据点,神出鬼没地打击敌人,队伍发展到一万多人。金军于建炎四年十一月,乘天寒冰冻之机,并力攻打鼍潭湖中的茭城,张荣舟师抵挡不住,焚烧积聚,撤往通州。
完颜挞懒(昌)破茭城得手后,便以号称二十万大军,猛扑泰州。当时,泰州城无险可恃,无粮可守,岳飞兵力又与金军相差悬殊。岳飞接到命令,要他“可战即战,可守即守”,如不可守,则保护百姓,撤退到江岸的沙洲。
十一月三日,岳飞放弃泰州城,率军退保泰兴县柴墟镇。柴墟镇一度作为泰兴的县治,有一道城墙。岳家军依托柴墟镇的旧城,抗击金军,掩护几十万百姓和军队家属渡江南撤。
敌人的大军追来,与岳家军在南霸塘展开激战。岳飞身中两枪,仍然指挥将士死战,终于打退金兵,很多敌人毙命于河里,“河流为丹”。岳飞亲自率领二百名精骑断后。在留驻江北的最后几日内,粮食断绝,岳家军只能割敌尸充饥。十一月七日,岳飞率军最后自柴墟镇渡江。他因泰州失守,上奏“待罪”。
宋廷也谅解他的处境,没有给予处分,只是命令他在江阴军“就粮”,防守江岸,“毋得透漏”金军。
同江南的辉煌胜利相反,岳家军在淮东遭受了挫败,进不能复承州以救楚州,退不得守泰州而保通州。几个月前,岳飞上状宋廷,谋求“重难任使”,不愿当通、泰州镇抚使。自以为可以旗开得胜,马到成功,这说明他自建康胜捷后,存在着不切实际的轻敌思想。但是,岳飞并未因此而灰心丧气,暂时的挫折,反而愈加砥砺着他败后求胜、光复故土的斗志。