1904年底到1905年，突如其来的日俄战争让东北顿时大乱，张作霖却从中看到了获利的机会，他最初暗中帮助俄国，一度被日军俘虏，险些丧命，后来又见风使舵，为日本人探查俄军情报，从日俄双方都捞取了大量的好处。所以，当日俄战争结束时，他的部队已经扩充到了马步五营，本人也担任五营统带（团长）。
1905年底，眼见日本与俄国在东北争夺殖民地的战争结束了，胆战心惊的清政府才敢再次下令，清剿土匪。因为土匪出身的张作霖对土匪武装的习惯和活动范围非常了解，所以被清廷委以重任。
立功心切的张作霖，一鼓作气，他先击溃了辽西巨匪田玉本，收编其全部手下1000多人，随后又设计击溃了沙俄和日本人花费数年都无法解决的杜立三匪帮。他是如何做到的呢？
杜立三此人，贪财好色，凶残暴虐，垄断了辽河的水上运输，稍有不满就杀人全家，以至于老百姓对他是恨之入骨，畏惧如虎。面对这样一个积年惯匪，张作霖没有正面刀兵相向，而是甜言蜜语地劝说其接受招安，成为正规军。可当杜立三得意洋洋地前往张作霖的住处接受招安时，却被埋伏此处的汤玉麟等人当场擒获，就地枪决。群龙无首的杜立三匪帮，也被张景惠等人趁机击溃。
辽西的土匪被肃清以后，张作霖又被东三省总督徐世昌调往郑家屯，也就是如今的辽宁双辽县，奉命清剿辽宁西北部被沙俄收买的蒙古叛匪。这群叛匪，人数将近三千，异常凶残，肆意抢劫来往商贩和旅客，不论反抗与否，男女老少，皆不留活口。之前围剿的清军，屡战屡败，只因他们人人配有双马，来去如风，极难捕捉。
张作霖负责剿匪后，放弃了以往被动的战术，组建了一支支精干的骑兵部队，只要发现踪迹，立即多路追击，不分昼夜，直至歼灭。经过一年多的艰苦战斗，叛匪要么被俘斩首示众，要么追捕中葬身草原，只有少数逃往外蒙地区。张作霖一路剿匪，一路高升，剿匪成功后，被任命为奉天巡防营前路统领（旅长）。
