一旦军事准备就绪，军队将立即挥师北上，这是国民革命的另一个胜利。1927年初，斯大林和托洛斯基都希望把军队留在南方，因为苏联已断定，苏联需要同日本建立友好关系以维护自身的利益，这就需要国民党不能采取行动威慑日本。在广东的共产党，从领导到普通士兵，都坚决要求尽早采取军事行动，但在上海的党中央却站在苏联一边，认为采取行动可能时机尚未成熟。因此上海方面后来受到党内的批评，因为它完全附和苏联的立场。
北伐战争开始于1926年6月，在湖北发生了激战，经过四十天的围攻，武昌被攻克，江西的省会南昌经三次夺城战斗被占领。一些部队包括几支最强的部队遭受了严重的伤亡。随着军队向前推进，群众运动紧跟着发展起来，运动的主要对象是不得人心的地主，也就是毛泽东所说的quot;土豪劣绅，以及外国人⑤。1927年1月，长江边的城市汉口、九江的英国租界被收回。在湖南发生了反基督教的活动，导致一些传教机构撤离，大多数教会学校关闭。
到1926年底，北伐军夺取了军阀控制的长江以南的大部分地区。它所取得的成功令世界震惊，完全改变了中国的力量对比，看起来就好像是革命的第二次风暴，孙中山的革命获得了全面的成功。身为总司令和得到国际上认可的国家象征的蒋介石本人，其政治地位要比他离开广东之前坚实得多。他明确表示反对城市或农村的社会革命，也不希望过多伤害外国人及外国入的利益。共产党对此种发展看得很清楚，1927年1月中央委员会的报告作了这样的分析：
国民党右派变得日益强大……在国民党中当前有一股非常强的反苏俄、反共产党、反工农运动的倾向。
这种右的倾向首先是由于蒋介石和其他人所持的信条：这个国家只能存在一个党，所有的阶级应合作，阶级斗争应禁止，共产党没有存在的必要……
第二个原因是在他们的思想中认为国家革命很快就会获得成功，不久就会发生阶级革命，当前最大的敌人不是帝国主义和军国主义而是共产党……正是由于这些原因在国民党内掀起了一股强烈的反共潮流……⑥。
促成邓小平回国的是军阀冯玉祥。
比起大多数其他军阀来，冯更受到民众的爱戴，他作为一名基督将军而被载入史册。他既是一个基督徒，又是一个品格高尚的中国传统主义者。他认为以身作则，关心普通人民的幸福是一个领导者的责任。作为一名军人，他衣看十分简朴，不像绝大多数军阀那样耀武扬威、锦衣玉食。他平易近人与下属官兵们打成一片。他对部下提倡以德服人，而不是滥用刑罚。他鼓励他的部队在行军时唱歌并把基督圣歌作为进行曲在部队中教唱。这部分是因为他性格的古怪，但主要是因为他是一个正直的入，渴望把他的国家建设好。所以除了他的军队之外，一般老百姓也很爱戴他。
1924年，趁北方其他的主要军阀吴佩孚和张作霖正在混战之际，以中国西北为基地的冯玉祥占领了北京。随后他向苏联寻求帮助，以支撑他反对吴佩孚和张作霖的地位。当时鲍罗廷从广东来到北方，把冯玉祥作为苏联和南方国民党潜在的联盟，接受了冯玉祥的请求。根据鲍罗廷的建议，俄国决定向冯提供武器装备、经费和军事指挥员，同时也为他派出了他不愿接受的政治顾问，并为他的军官提供了去苏联军事学院学习的机会。与此同时中国共产党决定从上海和北京选送一批年轻人包括一些已在苏联受过军事培训的人到他的部队工作。
尽管得到援助，但在1926年初，冯的军队仍败在了quot;东北王quot;张作霖的手下。冯以一个战败的中国将军通常采用的姿态，宣布辞去司令的职务。他制定了出访莫斯科的计划。俄国人可能不希望他这时前去访问，但他决意要去。因为他算准了俄国人不可能拒绝接待一个曾接受过他们的援助且在政治和军事上具有重要意义的人。此时北伐战争正要开始。他从容不迫地上路，先前往外蒙（蒙古人民共和国）首都乌兰巴托。在那里他和鲍罗廷会晤了几次。如果鲍罗廷不能在冯到达莫斯科之前弄清冯的真实意图，那么他在莫斯科的有利地位将受到损害。经过一个月的中途停留之后，冯在5月初到达莫斯科。
冯在莫斯科停留了整整三个月。他几乎每日都会见苏联领导人〔虽然不包括斯大林），访问了中山大学，向学生作了演讲（很可能包括邓小平在内），讲话中充满了革命豪情，受到学生们的热情欢迎。他机敏地打着他的牌。他知道俄国人急于要他返回中回，他利用俄国人的焦急心情，向苏联争取到了相当有利的援助条件，包括提供给他大笔经费和大量的军事设备，并为他的军官进行培训。他感到满意后，遂起草了一份公开正式支持国民革命的声明。并且很快实现了诺言。9月17日，当他再次越过蒙古找到他的部队时，他又重新正式担任司令。在黄河北部沙漠城镇五原，他领导他的军官拟定了支持国民革命的quot;民众誓言quot;。
陪同冯返回的还有几名苏联军事顾问和几名共产党员。根据邓小平的官方传记记