成了官军的张作霖对为害地方的胡匪十分痛恨,极力剿杀。在他的连年痛剿下,辽西的小股胡匪或被招抚,或被剿灭。就连党羽千余的大股悍匪田玉本也被张作霖部击毙,其徒众星散,百姓称快。
但是,还有一个奸诈凶残的土匪杜立三很难对付。杜立三盘踞在辽中县青麻坎。杜立三的势力越来越大,官军拿他没有办法。他自称马上皇帝。在他盘踞的地方,随意封官许愿,老百姓见他称杜大人。实际上,他已经形成了割据之势。盛京将军赵尔巽曾下令“严密访拿”,几次派兵进剿,但都败下阵来。1907年,清政府在东北建立行省,任命徐世昌为东三省总督。徐世昌为了除掉这个心头之患,特派智谋之士知县殷鸿寿到新民府协助张作霖剿灭杜立三。
对杜立三是强攻还是智取,他们进行了仔细的商讨。杜立三自诩为马上皇帝,马上功夫了得。能双手使枪,弹无虚发。且城池坚固,徒众凶顽,关卡林立,防备极严。如像以前那样派兵强攻,恐师劳无功,难以奏效。因此,决定智取。他们设了一计。张作霖派人到辽中县送上一封贺信,祝贺杜立三被奉天省招抚,当上了大官,官位比张作霖还高。让杜立三速到新民府来面谒省里的招抚大员,以便到奉天向徐世昌总督致谢。杜立三有所察觉,不敢贸然行动。同他母亲和兄弟商量。他们也认为到新民风险很大,凶多吉少,都不主张他去。
此计落空。张作霖没有灰心,又生一计。他想到了黑山秀才杜泮林。杜泮林是张作霖的义父。张作霖在中安堡当保险队头目时,同绅士杜泮林结下交情,来往密切,关系甚笃。张作霖知道杜立三拜认杜泮林为同族叔,对其言听计从,十分尊重。张作霖就想打杜泮林的主意。他和殷鸿寿密谋,用杜泮林引诱杜立三上钩。
张作霖特地亲自到黑山把杜泮林接到新民府,并把他引见给省城大员殷鸿寿,以证明确实是省里招抚杜立三,并非虚构。张作霖又在新民街上,为杜泮林另设招待处,请杜泮林在招待处稍事休息,候杜立三来到之后,一同晋省。秀才杜泮林是老实人,不知是计,就给杜立三写了一封亲笔信,言辞恳切,感情真挚。有“游侠非终身之事,梁山岂久居之区;一经招安,不仅出人头地,亦且耀祖荣家”等语。
杜立三本来疑信参半,犹豫不定。突然得到他素来景仰的族叔的亲笔信,便疑念顿消,决定前往。于是,他在1907年6月6日仅率13人,作为随身护卫,由宋庆濂带领,奔向新民府,接受封官去了。他哪里知道此去是有去无回了。张作霖为了不出意外,事先作了周密布置。杜立三只身赴会,十分警惕。在晋见委员殷鸿寿时,他坐在背靠墙壁面对诸人的位置,同时两手插入兜内,握住枪柄,观察动静,以应突变。谈话完毕,殷高声喊道:“送客!”杜立三起身告辞,殷鸿寿送至里屋门口,杜立三转身请殷鸿寿“留步”时,刹那间,被汤玉麟等几个壮汉按倒,下了双枪,死死捆住。事不宜迟,当晚就把杜立三在新民府西门外枪决了。其实,在这之前,张作霖早已派张景惠率大队人马,绕道台安八角台,做好进击杜立三老巢的准备。得到处决杜立三的消息后,张景惠等迅速出击杜立三的老巢。群龙无首,他的老巢辽中县青麻坎被一举端掉 。除掉了杜立三,扫除了一大害,辽西匪患遂绝,人人称快。
杜立三这个多年啃不动的硬骨头,让张作霖轻而易举地剔除了。他采用的是智取的谋略。这里显示了张作霖的过人的智慧。得此消息,总督徐世昌喜出望外,上报清廷,为张作霖请奖。清廷除赏银5000两外,将张作霖升为奉天巡防营前路统领(旅长),管辖马步五个营。其他还有中路、左路、右路、后路等四路统领。张作霖成为东北旧军五个举足轻重的武装力量之一,势力更加壮大了。