岳飞在十一月二十日马家渡之战失败后,率右军在钟山驻扎才一两天,他决心摆脱尚在建康城中的杜充,于二十二日率部南下,寻找南宋朝廷。
完颜兀术(宗弼)渡江占领建康府后,急于活捉宋高宗,灭亡宋朝,故他只派号称“萧、张二(太)师”的萧斡里也和张真奴,率偏师数千人留守建康。张真奴等又不时派人或派遣少量兵力,持黄旗前往招谕附近的州县投降。十二月初,完颜兀术(宗弼)统大兵经广德军(治广德,今安徽广德市)、湖州安吉县(今浙江安吉县东北),直扑临安府(治钱塘、仁和,今浙江杭州市)。
宋高宗的小朝廷经过不断播迁,时已将临安府作为行在,即行都。宋高宗得知金军渡江的消息,便采纳宰相吕颐浩的建议,从临安府退到明州(治鄞县,今浙江宁波市),再从明州航海南逃。
他们认为,海上虽有惊涛骇浪之险,也比陆上安全。
岳飞“孤军转战,且行且击”。统制刘经和后军统制扈成同岳飞会合,驻军于建康府句容县(今江苏句容市)东南的茅山,茅山为道教名山。岳飞提议南下广德军,刘经表示赞同,扈成却口是而心非。扈成等岳飞的右军和刘经一军出发之后,便带领后军前往镇江府金坛县(今江苏金坛市)。后来,扈成同江、淮宣抚司另一转当盗匪的统制戚方火并,而被杀害。
岳飞从建康府行军至广德军,前后六战,斩敌一千二百多首级。他对一些被俘的河朔剃头签军做教育工作,命令他们回金营后,黑夜放火,烧毁七梢炮车、九梢炮车、辎重和各种器杖。岳飞乘机出兵劫营,里应外合,重创敌军。
到达广德军的锺村后,军队无法继续前进了。朝廷漂洋出海,去向不明。右相兼江、淮宣抚使杜充既渡江投敌,很多将士又转当掳掠为生的盗匪。各种各样的坏消息,使军心浮动,大家深感前途渺茫。军粮也告罄。岳飞部下有的军士逃往其他各军,情愿充当盗匪。某些原江、淮宣抚司的散兵游勇,甚至派人前来,约岳飞为首领,共同降金。
岳飞面临前所未遇的艰难复杂处境,必须当机立断。他召集全体将士说:“我辈荷国厚恩,当以忠义报国,立功名,书竹帛,死且不朽。若降而为虏,溃而为盗,偷生苟活,身死名灭,岂计之得耶!建康,江左形胜之地,使胡虏盗据,何以立国!今日之事,有死无二,辄出此门者斩!”他慷慨的音容、激昂的言辞,使全体将士感泣起来,众人不敢再萌生异志。岳飞最后对刘经等军说:“凡不为红头巾者,随我!”刘经等人也表示愿追随岳飞,共同抗金。
对于前来相约降金的各路溃兵游勇,岳飞假意应允,并且要求他们上缴兵籍。当他们按预定日期抵达时,岳飞率亲信三五人,全副武装,“弯弓跃马”,同各部勇健者比武,接连击败了几十人。最后,岳飞点阅兵籍,对众人大声说:“以尔等之众且强,为朝廷立奇功,取中原,身受上赏,乃还故乡,岂非荣耶!必能湔涤旧念,乃可相附,其或不听,宁先杀我,我决不能从汝曹叛!”
岳飞态度决绝,义正词严,终于使众人悔悟。大家钦佩岳飞勇武绝伦,异口同声地表示:“惟统制命!”
在危难而复杂的局面中,岳飞进行巧妙而果断的处置,表明了他非凡的智勇,也使众将士同心同德地团聚在抗金这个总目标之下。尽管如此,军粮的匮乏,仍然威胁着这支军队的生存。岳飞千方百计筹措军粮,并且尽可能资粮于敌。他和士卒同甘共苦,每次进餐,总是和下等的兵士共用粗粝之食。岳飞认为,在供给困难之时,尤须维护严明的军纪。他规定全体军士虽忍受饥困,也必须在营寨里安心操演或值勤,绝不准私出骚扰百姓。
岳飞侦知占据溧阳县的敌人兵力薄弱,命刘经率一千人马前往。宋军夜袭并攻克县城,杀获五百多金兵,生擒同知溧阳县事、渤海太师李撒八。金人的知溧阳县正职大约逃回了建康府城。