转眼间已是建炎四年初春,岳飞却不能提供最低限度的衣食之类,供士兵们辞旧迎新之用。因饥寒所迫,有的兵士甚至违令私出抢掠。小吏李寅向岳飞建议移屯常州宜兴县(今江苏宜兴市)。宜兴知县钱谌等人闻知岳飞之威名,也特地移书岳飞,欢迎他率军保护县境,并说县里的存粮足供一万军人吃十年。宜兴县东临太湖,北通常州,西面又逼近建康府通临安府的大道,确是进可攻、退可守的军事基地。二月,岳飞统兵进驻宜兴县,将兵营屯扎在县城西南的张渚镇。原江、淮宣抚司水军统制郭吉转当土匪后,也盘踞于宜兴县。岳飞派人投信,以好言抚慰,约他共同抗金。郭吉却急忙带一百多艘船,满载财物逃跑。岳飞闻讯后,命令部将王贵和傅庆领二千人追击,俘获了郭吉几乎全部的人和船。王贵是汤阴县人。傅庆是卫州窑户出身,他原是刘光世的部将,在马家渡之战后追随岳飞。两人都是能征惯战的勇将,成为岳飞的左右助手。
扈成被杀后,统领庞荣率领残部投奔郭吉,此时也乘机归顺岳飞。
在宜兴县境,尚有三支土匪。马皋和林聚各有几千人,岳飞派遣辩士劝降,得到了成功。另一支土匪,头目号称张威武,不肯投降。岳飞单骑闯入他的巢穴,乘张威武惊愕之际,将他斩杀,并收编其全部人马。
在内祸外患交迫的岁月里,广大民众的生命财产朝不保夕,居然进驻了一支与众不同的军队,对民间秋毫无犯,这不能不使宜兴人民喜出望外,交相称誉。人们用朴素的语言称颂岳飞,说:
“父母生我也易,公之保我也难。”甚至很多外地人也争先恐后,移居宜兴县避难。
按中国古代的隆重礼节,宜兴人民出资为岳飞建造生祠,以表达感激之情。古代的祠庙用于尊崇先贤、祖宗,以至神仙鬼怪之类,为活人营建生祠,乃属特例。知县钱谌写生祠叙说,“察人之情,犹以为未至,皆欲图像于家,与其稚老晨昏钦仰,如奉省定而后已”,故将岳飞画像“摹刻于石,庶广其传”。当地民众简直将岳飞尊奉为神人,这在中华古史上是少见其例的。
岳飞对待河北、河东等地的金人签军,一贯采取正确的政策,将他们视为自己的骨肉同胞,不歧视,不苛待,尽量做争取工作。于是“岳爷爷”的声名远播,成千上万的签军争先恐后地前来降附。
在降官如毛、溃兵似潮的逆流中,岳飞卓尔不群,他以必胜的信念、顽强的毅力和恰当的措置,发展和壮大了自己的队伍。这个二十七八岁的青年统制开始担任主将,他按照自己的意图和风范,塑造一支抗金劲旅。后来,人民称这支雄师为“岳家军”。著名的爱国诗人陆游诗云:“剧盗曾从宗父命,遗民犹望岳家军。”“岳家军,盖绍兴初语。”岳家军当时尚不是一支大部队,无力挽狂澜于既倒;但在江南的抗金战场上,已不愧为中流砥柱。