按理说，徐彦卓代表大总统命令28师坚决不准撤离半步，冯德麟作为军人应该无条件服从，可是他此时却不想因此而得罪日本人。

说起来，冯德麟和日本人还是颇有渊源的。

冯德麟17岁就投身绿林，虽然当了“胡子”，但盗亦有道，他遵守兔子不吃窝边草的古训，对“势力范围”内的村民还算不坏，也在一定程杨度上起到了保境安民的作用。冯德麟经过数年的闯荡，已经将公正侠勇之名散播开来，辽西辽南各地的百姓都称其为“团总”。而且冯德麟出道早、团伙大、占地广、讲义气，已经确定了绿林和乡勇界前辈的地位。

庚子国变后，沙俄侵入东北，激起东北民众的愤恨，冯德麟的“保安队”在“执行职务”时，多次与沙俄侵略军遭遇，屡有冲突。沙俄侵略军对冯德麟的“骚扰”相当生气，1901年2月，沙俄派马队突袭，将冯逮捕，流放到库页岛。在一次转押途中，沙俄轮船上的司炉是中国人，他很佩服冯德麟的骨气，乘俄军不备，帮助冯逃了出来。1903年，冯德麟返回家乡，重召队伍，在海城、盘山、田庄台、辽中、台安、锦州、彰武一带活动，在为匪的同时，也抗击俄军。

张作霖虽算是冯德麟的绿林晚辈，但两人关系甚为融洽，后来结成了盟兄弟。

1904年，东北上发生了日俄战争。清政府宣布“按照中立之例办理，同时划辽河以东为战区”，要划出自己的一片地方让两个外国军队开打。

此时，日俄两军都想把东北的绿林乡团收入自己麾下助己破敌。考虑到单拳难斗两敌，冯德麟权衡利害选择其一，因为跟俄国人早有积怨，日本人对老百姓的态杨度也好过俄国，为了维护自己的利益，以冯德麟为首的乡勇就决意在形式上倾向日本。他本人也愿意担当东亚义勇军统领，协助日本人与俄国开战。

这时的张作霖，在辽河以西并没有参战，利用起政治手段，早就得到了清政府的招抚，变身为正式部队。比冯德麟受招抚早了三年。

这三年中，冯德麟参加的仅针对俄国的大小战役就有32起。特别在辽阳首山战役，更是因为有了冯德麟的部队。日本才得以取得这关键一役的胜利。冯德麟留给日本人的印象是非常实在的，并认为冯德麟“沉着诚实远甚张作霖，刚毅勇武胜过汤玉麟”。

日俄战争结束后，参战的日军总司令多次面晤盛京将军赵尔巽，力劝清政府收复冯德麟。起初赵尔巽害怕受到俄国和其他国家的责备婉拒，但却最终没有抵抗住日军的压力，签署了任冯德麟为新安军统领的委任书。

到了1911年，冯德麟和张作霖分别被任命为左路和前路巡防营统领，从这时起。两人开始并驾齐驱。

1912年，地方武装巡防营改编为正式陆军。9月1日，中央任命张作霖为第27师师长，陆军中将，驻奉天；任命冯德麟为第28师师长，陆军中将，仍驻北镇。他们二人。虽然平起平坐，但由于驻地不同，且兵力差别很大。自恃前辈的冯德麟便甚感不快，由此裂痕渐深。