李秀成回援南京后,苏州等地的太平军由慕王谭绍光统一指挥。1862年11月,在重夺嘉定无望的情况下,为防止敌军乘势进攻苏州等地,谭绍光先发制人,调集水陆大军反攻,将淮军四营围困于四江口。程学启督各营援救,战斗非常惨烈,两天之内,营官大多受伤,员弁(低级文武官员)阵亡十三人,勇丁伤亡六七百人。程学启胸部被子弹打中,身负重伤,但他愈是这样,督战愈急,悍将本色尽显。
李鸿章深恐被围之军覆灭,立即增调援军,连同常胜军近两千人,在四江口大战太平军。此时李鸿章通过不断的实战历练,已总结出了战胜太平军的经验,他发现李秀成的苏南太平军以江浙皖籍的“新长毛”为主,作战的意志力和韧性远不如“老长毛”,所谓久则无斗志,他们之所以能坚持,其实靠的也是洋枪,其洋枪不仅数量多而且火力猛。在这种情况下,己方如果光靠刀矛和土枪土炮,根本就奈何对方不得,那该怎么打呢?要“以洋对洋”,也把洋枪用上去,再夹以太平军所没有的劈山炮,辅以抬枪、小枪,几种火器一齐上,则太平军必将瓦解。
四江口之战也正是如此,太平军在洋枪对射中不仅没能占到优势,反而被冲乱了阵脚,其大队一乱,军令不通,士兵就慌了,军心开始涣散。淮军被围四营看到后,也趁机出击,内外夹击之下,太平军大败,全军被迫撤回昆山,并折损了一万多人。
四江口一役,是对淮军大规模引入洋枪和实施营制改革的最好验证,参战的程学启、郭松林都说,这是他们从军以来打得最为痛快的一次大捷,战后程学启即奉旨以总兵遇缺提奏,并加提督衔。
常胜军在四江口之战中出力颇多,但素来奖罚分明的李鸿章,却只字未提洋将白齐文。原来在白齐文走马上任后,李鸿章为使之能够被己所用,曾仿照与华尔打交道的模式,对他曲意笼络,不料白齐文不仅比华尔更加桀骜不驯,而且还不像华尔那样容易驾驭,不管他怎样哄,都不买他的账。除此以外,白齐文带领下的常胜军开支庞大,白齐文及其部下干预松江民政、劫掠乡民等不轨行为,也令李鸿章颇为不满。
过去吴煦、杨坊等上海官绅惯于“挟洋自重”,即对洋人顺从依附,再利用洋人的威风来恐吓和挟制国人,比如他们在李鸿章面前,就惯于以自己对常胜军的控制来讨价还价。李鸿章虽然也主张利用和笼络洋人,但同时也不忘记对之严加防范,强调要在利用中控制,在控制中利用,不能予其全权。白齐文如此不服管束,胡作非为,早已超出了李鸿章的容忍范围,本来他并不想将常胜军交给英国军官统领,但是两害相权取其轻,还是决定商请士迪佛立,以白齐文“难以指挥”,恳请将其调走,改以英国军官代替。
士迪佛立虽然早有通过派人接管常胜军之心,可是因为之前美国驻华公使蒲安臣已经放话,他表示自己无权答应这一请求,只能向英国政府及英国驻华公使代为转达。
在换白齐文无果的情况下,李鸿章和白齐文的关系逐渐变得紧张起来。四江口之战后论功行赏,由于担心白齐文会居功自傲,李鸿章便有意排挤他,把战功都归于程学启和淮军,这使白齐文大为恼火,以致口出怨言,认为是程学启把本该属于自己的功劳给抢走了。
1862年秋冬之际,白齐文与李鸿章之间的争执趋于白热化,同时他和吴煦、杨坊等也渐有矛盾,吴、杨对付常胜军的办法之一就是控制军饷,见白齐文不把他们放在眼里,于是便以拖欠军饷来回应。
当年12月,李鸿章命令吴煦、杨坊督带常胜军“助剿”南京,白齐文一面以已经两个月未发放军饷为由,迁延时日,迟迟不肯启程,一面却从上海回到常胜军的大本营松江,将城门关闭,欲率勇抢劫饷银。负责主管常胜军勇丁的参将李桓嵩发现不好,急忙暗中设法劝谕,使得勇丁们一哄而散,抢饷才未得逞。白齐文旋即从松江带卫队回到上海,对兼常胜军军饷经理人的杨坊表示他不愿前往南京,准备辞去差使。杨坊跟他讲道理,他不听,愤然回到松江。
1863年1月,白齐文带常胜军数十人,来到杨坊所开银号,直接向其索要欠饷,遭到杨坊拒绝后,他们将杨坊痛殴一番,打得他吐血不止,然后按所欠饷银的数额,从银号里抢走了四万余元洋银。
白齐文迟迟不赴援南京,又殴官、抢饷,已经严重触犯军纪。李鸿章闻讯,当即以“劫饷殴官、不遵调度”之罪,宣布撤去白齐文常胜军管带官一职,并获朝廷通过,悬赏白银五万两缉捕白齐文归案。白齐文却声称他是奉旨统领常胜军,李鸿章无权处分他,其革留与否,应听候谕旨定夺,常胜军现仍须归他统带。
为了能够继续统带常胜军,白齐文从上海赶到北京,向英美驻华公使及清廷申诉,要求复职。美国驻华公使蒲安臣极力袒护白齐文,并以白齐文是美国人为由,欲通过行使治外法权,阻止李鸿章按照中国法律惩治白齐文。清廷负责处理此事的总理衙门迫于压力,又将该案发回上海,商请李鸿章给白齐文复职。
李鸿章接旨后,对于朝廷朝令夕改的做法深表不满,乃坚持初衷,不奉谕旨。在知晓治外法权运用范围的前提下,他紧紧抓住一点,即此前白齐文已自请加入中国国籍,受朝廷三品顶戴职衔,然后针锋相对地指出,白齐文既已是中国人,违反法令,自应照中国法律治罪。
蒲安臣被击中软肋,顿时无话可说。与此同时,李鸿章也深谙软硬兼施之道,他一边撤换白齐文,一边又上奏朝廷,建议对一些外国使领馆的官员和军人进行奖励,而这也在一定程度上平息了美方对撤换白齐文的不满情绪。