太平军在四江口之战中失利后,其南京、浙江战线也日趋紧张,这使他们不仅再也无力进军淞沪,而且被迫从两线分兵保卫苏州、昆山大后方。李鸿章一面以上海为基地,率淮军协同常胜军向西进击,一面加紧对东线太平军进行分化瓦解。1863年1月,在李鸿章的策划下,常熟的太平军守将骆国忠发动叛乱,袭杀忠于天国的将领弁勇,举城投降淮军。
常熟北临长江,南邻苏州,东接太仓。骆国忠的叛降,使太仓处于被东西夹击的地位,且严重威胁到了苏南根据地首府苏州的安全。李秀成立即调集大军围攻叛军,李鸿章对常熟也势在必争,他先派常胜军由长江水路坐船增援常熟,继而又调去刘铭传、黄翼升所带的水陆军数千助阵。
在常熟攻守战初期,李秀成亲临一线,对常熟城发起总攻,占领了常熟防御体系中最坚固的虞山石城,谭绍光和浙江援将陈炳文也分别攻占了常熟城外营垒。眼看攻陷常熟全城已近在咫尺,李秀成却在接到天王洪秀全的紧急诏旨后,回援南京,陈炳文因左宗棠在浙江紧逼,也撤了回去,只剩下谭绍光一支人马继续围攻常熟。
常胜军乘机加强攻击。常胜军虽然主要依靠武器和西方的技战术来占据优势,但部队是否有足够士气,仍是赢得胜利的重要因素。戈登率军冲锋时,在衬衣里藏一把左轮手枪,但在战场上从来不用,他只在手中捏一根藤条,被弁勇们称之为“胜利魔杖”。因为弁勇对戈登敬畏有加,打起仗来也很是奋勇,不久,常胜军即在淮军的配合下,攻陷已为谭绍光收复的福山石城。在他们的内外夹击下,太平军围城部队显得手忙脚乱,力不从心,谭绍光无奈撤围,退返苏州。