宣汉一带地势开阔，在敌众我寡的情况下不利红军作战，徐向前决定：采用“收紧阵地，诱敌深入”的方针，命令东线的九军、三十三军边打边撤，部队梯次撤到州河北岸的曾家山和插旗山，就地转入防御。反“六路围攻”正式拉开序幕。
守在成都的刘湘接到王陵基的报告，称在开江、开县已与红军交手，并将红军击溃。刘湘大为高兴。同时，他也为其他军阀步履迟缓极为不满。
11月16日，刘湘下达第一期总进攻令。接到进攻令，各部表现不一。
杨森一开始急于夺回失去的地盘，接令后立即率第四路疾进，二十军第三、五、六混成旅与红军展开激战，按照“收紧阵地”的计划，我军边打边撤，11月23日放弃营山。杨森重新进入营山，激动得老泪纵横。立刻给刘湘报捷，并驱动所部继续北犯。
但他很快就尝到“滋味”。26日，红九军二十七师夜袭营山城北十余里的凤凰寨，一举消灭杨森第三混成旅，一个反击直接攻至营山城下，刚刚高兴没两天的杨森立刻紧张起来。杨森很清楚自己的本钱，就这几个所谓的混成旅，加起来不过十余个团的兵力，与红军交手，打一个少一个，这点本钱打完，自己就什么也不是了。想到这里，杨森急令他的第五、第六混成旅停止攻击，与其他军阀保持同步，尽管如此，才不过十几天，他已丢掉一个混成旅，每念及此，杨森心头就隐隐作痛。为防止再增加新的损失，杨森动起了脑筋。据《四川“剿匪”第四路军进攻万源及其溃败经过》一文载：
十一月二十一日……杨森在进占营山后，一面谎报战况请奖，一面把军部移回营山，表示固守。当时二十军部队，迭遭红军痛击，各旅多已残破，军心极为涣散。旅长夏炯、杨汉城等目睹该部当时处境，深知士无斗志，如果再与红军作战，不啻以卵击石，自取覆亡；如向后撤退，又怕蒋介石、刘湘借机加罪，受到严惩，兼并部队。因此，杨部既不敢前进，又不敢后退，乃决定就地长期与红军对峙。夏炯随即秘密向杨森献策：为了保存实力，最好派人与红军秘密联系，要求“双方不打”，不仅可以保全实力，暂时苟安，而且可以让红军集中兵力专打刘湘的嫡系部队（王陵基指挥的第五路军），借以削弱刘湘在政治上和军事上的势力，还可以借此发泄刘、杨之间争权夺利积累已久的私愤。夏炯这个建议，经过杨森同意后，于一九三四年初，由夏炯派其旅部的副官长王一鹗化装潜往通江，会见了红四方面军领导人陈昌浩、张国焘等，达成了“双方都不进攻”的协议。陈昌浩亦派徐秘书（名字记不清了）前来密住夏炯旅部，担任联络。从此四路军方面形势趋于和缓，几个月内双方尽以小部队看守原阵地，只间或打上几枪，并没有发生战斗。到了一九三四年四月，三路军李家钰、罗泽洲的部队已先后占领仪陇，进窥巴中，这时杨森悍然撕毁了“双方都不进攻”的协议，增调其在后方整训的四混成旅（旅长高德周）来到前方参加各路军向巴中、通江的进攻。四月上旬，杨森亲率四、五两混成旅部队向巴中所属之兰草渡进攻，三、六两混成旅在后跟进。第四混成旅先进攻巴河右岸兰草渡前方红军的前进阵地，当被红军英勇阻击，伤亡甚大，当即溃退下来。红军乘势猛烈反攻，第二线的五混成旅部队亦被痛击，该旅十五团团长侯世光、营长王子才均被当场击毙，营长唐炳卿负伤，官兵伤亡一千余人，溃不成军，得到跟进部队的掩护，才勉强稳住阵脚，进行收容整顿。杨森亲率所部进攻，遭此挫败，只得改取守势，就地设防，筑工事防守。并经多方设法，与红军再次取得联系，重申“互不进攻”的前约。
杨森的这个小动作没有瞒过刘湘的耳目，刘湘开始想法要吃掉杨森。
六路大溃败后休息整补时期，杨森前与红四方面军秘密协商“互不进攻”和 同红军交换物资的情况，已渐为刘湘探悉。刘湘尤因王陵基、唐式遵、范绍增等五路军部队被红军集中兵力痛歼的惨败，更恨杨森，遂以“私通红军”的罪名，密令当时驻南充的四川“剿匪”总预备军总指挥潘文华用武力解决二十军部队。当时在刘湘“剿总”做参谋的姜仲雍（原在杨森部当过团长）将上述消息向杨森告密，得此消息后，杨森甚为恐惧，要论打，他远不是刘湘的对手。情急之下，杨森急电该军驻南京代表罗象翥多方设法向蒋介石陈情献忠。1934年底，蒋介石行营参谋团贺国光奉蒋之命插足四川，杨森立即派其参谋长刘镛（骏鸣）星夜赶往重庆，找贺国光秘密活动，请贺设法将二十军转调到其他战场，以避免被刘湘搞掉。贺国光与杨森原是清末军官速成学校的同学，更重要的是，贺国光入川就是执行蒋介石分化川军的既定政策，如果让刘湘吃掉杨森，无异于让刘湘坐大，这不符合蒋介石分而治之的战略。贺国光当即答应为杨森设法。此时，正值中央红军北上到达贵州境内，贺国光以防堵中央红军入川为理由，于1935年春将杨森二十军全部由川北战场调到川南宜宾、雷波、屏山、峨边一带，摆脱了刘湘的控制。贺国光救了杨森一命，杨森也进一步靠拢了蒋介石。
除了杨森以外，邓锡侯、田颂尧两