咸丰八年七月,胡林翼的母亲在湖北抚署中去世。按清制,胡应当离职为母亲守制三年。但此时军务重担在肩,朝廷命胡“穿孝百日,期满仍以署理巡抚”,但胡坚持要庐墓三年,不愿夺情。胡的这个表态既不符朝廷的意愿,更令湘军高层尤其令曾氏深感不安。刚一闻讣,曾氏便致信胡:“自闻尊处家艰,寸心彷徨,如有所失。欲劝阁下权宜夺情,则非夙昔以大贤君子相佩相期之意;欲听阁下执经守礼,则侍与杨、彭、二李诸君失所依倚。”眼下曾氏与各路湘军正转战于长江中下游一带,不仅行军打仗等战略战术上时时得与胡商讨,更重要的是粮饷厘税等方面要仰仗胡的全力支持。此刻的东南战局,胡若一旦缺位,其损失之巨大将是不言而喻的。
在曾氏与众人的劝说下,胡的态度有所松动。他给曾氏回信:“讨贼则可,居官则不可。”这正是六年前曾氏所持的态度:既仗义,又守礼,看起来似乎是忠孝两全。经过几年的实践后,曾氏才深知,若无地方实权,则领兵打仗极为不便。咸丰七年六月,他向朝廷大吐苦水,最后归结为一句话:“细察今日局势,非位任巡抚有察吏之权者,决不能以治军;纵能治军,决不能兼得筹饷。”
曾氏这封信,就是要将自己的这份真切认识告诉胡,同时以前代为鉴,将此一认识予以深刻化,希望胡放弃书生幻觉,求实务本。半个月后三河之役爆发,李续宾统率的六千精锐之师全军覆灭。于公于私,胡都不能再在家守制。咸丰八年十一月,胡离益阳老家北上。他有信函致僚属:“林翼此出,势处万难,盖出则非礼,不出则非义;出则于事未必有济,不出则于心大有不安……惟既以兵事出,当驰往下游,治兵为先,借受印信,不过筹调饷糈、董戒州县耳,断不敢冠冕堂皇,偃然自处。”看来,胡是接受了曾氏的规劝,按照朝廷的安排署理湖北巡抚。