国民军虽然退出了北京，但实力尚在，张作霖和吴佩孚是绝不会轻易放过他们的。为了防御张作霖、吴佩孚军队的进攻，张之江将在南口一线的国民军分为两路：东路军总司令鹿钟麟，率郑金声、方振武、徐永昌等部防守多伦至南口一线；西路军总司令宋哲元，率韩复榘、石友三、石敬亭等部防守晋北一带，并对阎锡山的晋军采取攻势。
国民军被直奉联军打败，便要西进夺取山西地盘，这下把一向喜欢搞机会主义的阎锡山给吓慌了手脚。阎锡山从辛亥革命后便盘据山西十多年，为了防止外省势力进入，他连山西的铁轨都搞成了窄轨，目的就是防止外省军队长驱直入。但是，此刻国民军慌不择路，阎锡山虽然“我不犯人”，可国民军却“人要犯我”，如之奈何？
阎老西的晋军战斗力显然和国民军不是一个档次，石友三、韩复榘部随后便轻松的攻入大同、雁门关一带，这下可把老阎给急坏了。好在这时奉军和吴佩孚的直军已经解决了内部的危机，可以随时向南口的国民军发动进攻了，这才把阎锡山从危局中救出。
原来，在国民军在山西攻城拔寨的时候，张作霖的奉系与吴佩孚的直系内部都出现了不同的声音，他们反对继续进攻国民军，这就是直鲁联军的李景林和力推吴佩孚出山的靳云鹗。吴佩孚在与张作霖协商后，靳云鹗被撤职，怀有异心的李景林部则被张宗昌缴械。
直奉联盟的两巨头意见一致，那就是要彻底解决国民军。6月底，吴佩孚发出总攻击令，向南口的国民军发动总攻，但此时吴佩孚的部队早已不是当年的那个王牌第三师了，因而进攻了半个月也不见起色，这时张作霖和张宗昌在旁边看不下去，只好改由奉军与直鲁联军担任主攻任务。
1926年8月1日，奉直联军发动全线总攻击，张学良、张宗昌、吴佩孚均亲临前线指挥，战况异常惨烈。国民军尽管奋勇抵抗，但终因敌众我寡，最后全线崩溃，并于8月13日放弃南口撤退。
兵败如山倒，国民军在撤退的过程中又遭到了奉直联军的追击和阎锡山的围追堵截，最后国民军被打得不复成军，韩复榘等人投奔了阎锡山，而张之江等人率残部向绥远、甘肃等方向溃逃，最终只剩下五、六万人。
不过也不要紧，此时冯玉祥已经从苏联返回，他的老部队虽然遭遇惨败，但毕竟基干队伍还在，在苏联和南方的北伐军帮助下，国民军的东山再起也不是不可能的。