而当奉军战败退却时，在山海关外从旱路退下来的骑马步兵约万余人，沿途抢劫，私囊甚足，却无效死之心。
当地居民躲避不及，被抓作民夫，妇女也无法躲避，必须给大兵做饭，否则就将遭到拳打脚踢。
但奉军终究是在东北盘踞的地头蛇，外加朝廷政局不稳，还有日本驻夏公使的威胁，双方在山海关附近列兵对峙之后便无动作。
张雨亭打出了闭关自治的旗号，自任东北联省自治主席，开展了大规模的整军备战。
他在奉天省城东华门设立东三省陆军整理处，自任总监，让吉林督军孙烈臣兼任统监，姜登选、韩麟春任副监，把奉、吉、黑三省军队番号划一，统一指挥，开始整训奉军。
首先是淘汰老弱杂散队伍，提高整体军事素质。
在第一次夏奉大战中，大量奉军士兵未战而溃，唯独张汉卿、郭松龄第三、八混成旅表现出色。
张雨亭大刀阔斧的砍掉了五分之一的部队，并将余下的部队都整编成陆军3个师、27个旅，骑兵五个旅，每个旅按照三团制计算，共计约25万人马。
另外还扩编了两个独立炮兵旅与一个重炮团。
同时，张雨亭见识到了自己老家伙的落伍与不可靠，他们在自己当27师师长时表现尚可，但独自指挥上万人作战就显得有些为难了。
为此，他不惜与老兄弟们翻脸也要重用那些有专业军事知识，经受过专门军事训练的新派军人。
全军各师旅的参谋长和各团管教育的中校团附全数改由军校学生出身的人充任，其中帝国军事学院各期毕业生为数最多，来自关内的各国陆军留学生和陆大出身的人次之；并且，以后遇有团、营长出缺，一般皆由各部队的参谋长、团副以及讲武堂的教官和队长调充。
这些新派军官分为士官派和陆大派，均为军校出身。
士官派大多是由日本士官学校毕业，以杨宇霆为首脑，成员包括姜登选，韩麟春，于珍，王树常，于国翰等，他们以杨宇霆为中心，被老张安插到东北军各个重要岗位上，而陆大派则大多毕业于陆军大学和帝国军事学院，以郭松龄为首。
张汉卿是对陆大派最为赏识和提拔的人。
陆大派成员大多担任师长旅长，初期，两派共同促进了东北军的组织架构和军事训练近现代化，其中，姜登选、韩麟春、李景林、郭松龄四人，外加上山东张宗昌，并称为东北军五虎将。
但随着双方的分歧越来越大，他们不约而同的走向了对抗分裂的道路。
同时，在奉天设立军官学校，陆军东北讲武堂，作为训练中下级军官的教育机构，老张自兼堂长，小张兼任总督，由日本陆军大学毕业的萧其煊以教育长的名义代替小张负责。
同时，将第一次大战中表现出色的第三、第八混成旅改编为第二、第六混成旅，仍然由小张和郭松龄分别担任旅长，不但人员枪械一一补齐，而且官兵均精挑细选，装备新式武器，要将其作为全军的模范队。
而为了严肃军纪，追究第一次大战失败的责任，在1925年春还将作战不力第六混成旅旅长鲍德山等人击毙。
一时间，奉军内部开始了大规模洗牌，不少旧军官人人自危，而许多新派军官则摩拳擦掌，准备大展身手。