1903年张作霖任游击马队营管带，张景惠任帮带，汤玉麟、张作相等分任哨官。

1904年经奉天巡防营务处批准，由民间筹响改为由政府发炯。

从此张作霖身价逐渐抬高，他再不用担心被看成&ldo;胡匪&rdo;和&ldo;马贼&rdo;，而是地方官军的&ldo;堂堂&rdo;营官了。

张作霖当上清朝营官两年之后，1904年2月爆发了日俄战争。

我国东北成了日俄角逐的重要战场。

反动腐朽的清政府竟可耻地宣布辽河以东为战区，辽河以西为&ldo;中立区&rdo;。

张作霖不敢不遵守清政府所宣布的&ldo;中立&rdo;。

不过，善于投机取巧、看风使舵的张作霖，在日俄战争期间对清政府的&ldo;中立&rdo;采取了阳奉阴违的态度。

在战争初期他看到俄军强大，为了应付和讨好俄军，就接受俄军贿赂的金钱和枪械，暗地帮助俄军搜罗粮草，供应俄军一些情报；有时也抓住机会换上俄军军装，偷袭小股日军，缴获些枪支弹药、粮袜柴草和金银细软。

但随着战争形势的发展当看到日军明显地转为优势，他又暗地倒向日本一边，干了不少为日军效劳和从中渔利的事情。

1905年，张作霖所部新民游击马队营扩编为三营。

1906年，又奉盛京将军赵尔巽、新民知府沈金鉴之命扩编为五营，张作霖任五营管带。

不久，赵尔巽设立巡防营务处，任命张锡銮为总办，整顿全省地方军队，编成八路巡防营，张作霖所部五营编为右路。

另一个地主武装大头目冯德麟所部被编为左路。

1907年清政府在东北正式建省。

任命北洋老官僚徐世昌为东三省总督。

徐上任不久就着手调动新军，整顿旧军以剿灭东北的&ldo;胡匪&rdo;。

在&ldo;剿匪&rdo;过程中，使徐世昌最感头痛的是辽西巨匪杜立三拒不投降。

为消灭杜立三，徐世昌特令张作霖前往讨剿。

张作霖在受抚前，曾和杜立三有过冲突，杜当时曾要和张作霖决一死战。

后来经过镇安县大地主&ldo;汤二爷&rdo;的调解，张和杜都认&ldo;汤二爷&rdo;为&ldo;义父&rdo;，双方并建立&ldo;金兰之交&rdo;。

为了向清廷效忠，张作霖设计诱杀了杜立三。

张作霖因灭杜&ldo;有功&rdo;，蒙赏银2干两，并被升为奉天省巡防营前路统领。

19if年5月，清政府派赵尔巽出任东三省总督。

赵尔巽为提高巡防营战斗力，在省城设讲武堂，轮训各营中下级军官。

张作霖的老伙伴张景惠、张作相、汤玉麟等都奉命前往受训。

当他们起身时，张作霖谆谆叮嘱他们：要把省城情形随时写信告诉他。