俄军效力后为日军效力。
一九零六年（光绪三十二年），因其带兵名声甚佳，被新任盛京将军赵尔巽任命为五营统带（团长）。
一九零七年（光绪三十三年），清政.府在东三省改建省制，任命徐世昌为东三省总督。张作霖因计擒匪首杜立三有功，被升为奉天巡访营前路统领（旅长），管辖马步兵五营。
一九零八年（光绪三十四年），奉徐世昌命驻防郑家屯、洮南，将被俄国收买的蒙匪陶克陶胡驱逐出境。徐世昌将其兵力扩充为七个营，达到三千五百余人。
洮南在辽源以北，张作霖于八月二十三日日过辽源时，为吴俊升所悉，即迎张小留。张表示沈阳家中有事要回去料理，不能停留。待张部已抵沈阳，吴才收到赵尔巽的调令。
张抵沈后即往晋见赵尔巽请罪，陈明擅自离防晋省，因事情危急，未能等待请准。赵看到张来已成事实，迫于情势，只好认可，当即阻吴不必来省。
九月一日赵尔巽即召集新旧将领讨论应付时局大计的军事会议。
当时被邀的，新军将领有第二混成协、第三镇、第二十镇的统制、协统、各镇参谋长。旧军将领则为五路巡防统领。
在正式会议之前，新旧军将领均分别开预备会议，讨论在会中所持