1928年,蒋介石的嫡系何应钦北伐至山东。何应钦看中了刘黑七,便派人联络,劝其“改邪归正”,编入正规军队。刘黑七虽留恋土匪生活,但觉得有个正规名号也好,于是投靠何应钦,被编为国民党新四师,刘黑七担任师长。
何应钦命令刘黑七开拔,刘黑七只得率部1万余人,从平邑经费用县、临沂、莒县、日照,而后到胶东,再西转张店,乘车南下至河南省禹县。
此时正值阎锡山、冯玉祥联合反蒋,何应钦命刘黑七攻打阎、冯。刘黑七为展示自身及部下实力,在禹县打败了冯玉祥的部分军队,由此声名大噪。蒋介石拍电报祝贺,国民党报纸也以大字标题赞颂,称其为“铁四师”。
阎锡山见此情形,也想拉拢刘黑七以扩充自身势力。他派参谋王胡子潜入刘黑七内部,王胡子对刘黑七说:“你跟蒋介石一月只拿20万元,跟阎锡山一月能拿60万元,还会得到一些机枪大炮……”当时,刘黑七刚打完胜仗,又获蒋介石通令嘉奖,本以为能当上省主席,至少也能升为军长,结果却未能如愿,心中十分生气。
在阎锡山的拉拢下,刘黑七于1931年2月倒蒋投阎。阎锡山对其热烈欢迎,给了刘黑七14门钢炮、12挺重机枪、144支冲锋枪以及200万元钱,将刘部编为二十五军,下设3个师,刘黑七出任军长。
抗战爆发后的1938年,刘黑七以“反正抗日”之名,被蒋介石改编为三十六师,打着抗日的旗号返回山东。然而,他土匪本性难改,反复无常,不到一年便再次变节。原来,他是以抗日为幌子,躲避我军(当时一一五师驻费北)的打击,先站稳脚跟。实际上,他早已与平邑镇的日军勾结。他一面与我方表示共同抗日,一面又答应日军反共,日军则为其提供大量枪械弹药,他还在平邑镇日军首脑机关设立联络处。
刘黑七通过这一手段,取得日军信任,确保日军不攻击他,同时又迎合蒋介石的“曲线救国”政策。国民党蒋介石也定时从安徽阜阳为其供应弹药,他还先后与国民党五十七军、九十二军相互勾结、利用。
就这样,表面上,刘黑七是国民党三十六师;暗地里,他又是日军的皇协军司令。老百姓称他是“双保险”,实则他就是一个唯利是图的走卒。