党等方面的“左”倾错误，粉碎了敌人的两次“围剿”，扩大了自己的队伍，有力地配合了中央红军的长征。
1935年11月，贺龙、任弼时和关向应等领导红2、6军团，从湖南桑植出发开始长征，经过种种艰难险阻，于1936年7月初同红四方面军在川康边的甘孜会师。中央决定红2、6军团和32军合编为红二方面军，贺龙任总指挥，任弼时任政治委员，关向应任副政治委员兼红2军团政治委员。
长征过程中，关向应等红二方面军领导同志，坚定地站在党中央一边，同朱德、刘伯承一起，和张国焘分裂党、分裂红军的阴谋进行了坚决的斗争。经过他们力争，并得到徐向前等四方面军许多干部战士的支持，红四、红二方面军终于共同北上，在1936年10月间先后在甘肃会宁、静宁将军堡与红一方面军会师，胜利结束了长征。红二方面军与张国焘分裂主义的斗争，对红军三大主力会师，起了举足轻重的作用。在这场斗争中，包括关向应在内的红二方面军主要领导同志充分表现了拥护党中央集中统一领导的坚强党性和维护党内团结一致的原则精神。
抗日战争中，关向应任第120师政治委员和中共中央晋绥分局书记，和贺龙师长共同创建了晋绥解放区，并和贺龙一起率领部队转战冀中平原和晋察冀边区根据地，战斗足迹遍及华北各地。关向应为创建晋绥抗日根据地付出了大量心血，立下了不朽功绩。
抗战初期120师刚到晋西北，关向应即受中共中央北方局委托，组建中共晋西北区党委，同时发扬我军既是战斗队又是工作队的光荣传统，一面坚持和日本侵略军作战，一面参加创建根据地工作。关向应遂亲自带领从部队抽调的700多名干部组成地方工作队，分赴晋西北各县和大青山地区开辟工作。工作队正确执行党的抗日民族统一战线政策，团结各阶层群众合作抗日，建立群众组织，恢复抗日政权，发展游击队和地方武装，为晋西北抗日根据地的创建打下初步基础。
1938年9月，关向应回延安出席党扩大的六届六中全会，作了《晋西北工作报告》。其后又任晋绥军区政治委员、陕甘宁晋绥联防军政治委员、中共中央晋绥分局书记，成为晋绥抗日根据地党、政、军一元化领导的主要负责人之一，并且兼负保卫陕甘宁边区、保卫党中央的重任。
关向应还经常研究在敌后开展游击战争的战略、战役与战术问题，认真总结经验。1939年6月28日，他在晋察冀边区阜平县易家庄，曾以《冀中战争形势和几个政策问题》为题，在中共中央北方分局干部会议上讲话。他对冀中形势的发展趋势，以及继续巩固发展统一战线问题，冀中的民主、民生问题，都作了深刻的论述。这年8月，他又将这些论断加以发挥，写成《论坚持冀中平原游击战争》一文，对坚持冀中平原游击战争的规律、特点及困难和有利条件等，做了详细的论述。
这篇文章先后在冀中《新长城》和延安《八路军军政杂志》上发表。他在抗战初期发表的文章还有《120师在晋西北》《再谈晋西北的问题》等，对坚持敌后游击战争，开辟和建立抗日根据地都产生了重大影响。