8月23日当晚，毛泽东在桂东唐家大屋主持召开了二十八团、三十一团营以上干部参加的前委扩大会议。朱德、陈毅、王尔琢、何长工、宛希先、龚楚、杜修经等参加了会议。
会议的气氛很沉闷。湘南之行，前后仅一个月，就突然少了一个团，大家的心情都很伤感。一种共同的强烈的失落感袭上心头，指挥员们思念和怀恋着昔日二十九团的战友们。
毛泽东向朱德等通报了红军大队走后边界的情况。他讲了王均、金汉鼎、胡文斗合计11个团向边界“会剿”的情况，讲了派江华送信请求红军大队返回根据地的经过，讲了根据地遭到重大损失的严重后果。与会同志听了无不为冒进湘南而懊悔，为边界丧失而痛心。
杜修经在会上检讨了自己的错误。朱德、陈毅、王尔琢等也讲述了红军大队冒进湘南的经过，并各自解剖自己，承担了应有的责任。会议根据杜修经在这次冒进湘南中造成军队与边界同归失败的严重错误，决定建议湖南省委予以处分。
会议对今后红军的去向做了研究，并作出决定：经崇义、上犹重回井冈山根据地，并建立一个行动委员会，统率此次行动。根据冒进湘南以来的情况，在沔渡改造的前敌委员会的作用已经终结，前委书记陈毅本人也有请求撤销的要求，大家遂一致推选毛泽东为行动委员会书记，带领红四军主力重返井冈山。
毛泽东还考虑到湖南省委一贯对湘南工作的要求，以及5月间三十、三十三、三十四、三十五团遣回湘南的农军早已失败的状况，觉得有必要重建一个湘南特委，深入发动群众，重创割据局面，与井冈山互为犄角。因此，提议请杜修经、龚楚两人留下，组建湘南特委。参加会议的同志对毛泽东这一主张极为赞赏，经议决，指定杜修经暂任湘南特委书记，再报湖南省委核批。
杜修经对毛泽东提议他留下组建湘南特委并任书记，很是感动，当即表示服从分配，立功折罪。龚楚原本不想留下，见毛泽东点了他，大家又赞成，考虑到二十九团已失，自己在军中失重，也就半推半就地应承了。
唐家大屋前委扩大会议的决定，对以后井冈山的斗争有很大影响，特别是决定红军大队重回井冈山，使边界重开割据新局面有了中流砥柱。
在毛泽东主持召开桂东唐家大屋前委扩大会议之际，湘敌程泽润师与吴尚部阎仲儒师两个团加上桂东挨户团，正兵分三路向红军猛烈攻击。为此，朱德指挥二十八团一营抢占了三台山，三十一团三营夺取城西北观前山，朱毛两部临危不惧，英勇战斗，打退敌人多次进攻。次日再战时见敌久战不疲，为保存实力，毛泽东、朱德决定由二十八团三营营长伍中豪带该营往寒口，退高排，取道鹅形等地回井冈山；二十八团一营和三十一团三营分兵两路，一路走增口，一路走白竹，向寨前转移。8月24日，朱毛部队在寨前会合后，同向井冈山转移。
为了摆脱敌人的追击，8月25日，红军部队向龙溪方向转移。可当走到一个叫梨钻界的地方又与敌人遭遇。红军指战员英勇抗击，终于把敌人打退，退至龙溪。在龙溪，会合了红二十八团的第二、三营，尔后继续东进。
在龙溪时，杜修经、龚楚与部队分手，经沙田往资兴方向组建湘南特委去了。在红军大队退出郴州向桂东转移时，红二十八团曾经帮助建立了汝城、桂东两个县委，连同原有的资兴、郴州两县委，计有4个县委，于是才有组建湘南特委的必要。为了帮助湘南人民，红军部队还拨出了80条枪给资兴、桂东、汝城三县，帮助成立了湘南游击队，并将二十八团三营党代表唐天际留下担任湘南游击队的大队长。
红军部队离开龙溪继续东进后，往上、下庄越过十八坳转入江西崇义县境，才逐渐摆脱敌人的追击。
回师井冈山是一路奋战，一路艰辛。
让红军将士痛心不已的是，在回师途中发生了王尔琢遇难的悲剧。
8月25日，红四军撤离桂东寨前圩绕道崇义、上犹返回井冈山时，担任前卫的是红二十八团第二营4个步兵连及团部机炮连、迫击炮连，统由二营营长袁崇全率领。
从郴州撤兵以来，二十八团的一些官兵就对二营长袁崇全有点看法。战郴州时，第三营和敌人打得很激烈，团长王尔琢传令号兵通知二营前往增援，可营长袁崇全装作未听见，后幸三营撤得快，否则将全营覆灭。部队退至桂东布田圩时，有人发现袁崇全想走另一条路脱离大队。袁崇全的种种行迹，连朱德和军委也觉得他靠不住，曾决定调动他的工作。但进入桂东后，忙于打土豪，发动群众，分兵四处，来不及执行。
袁崇全确有反叛之心。井冈山的艰苦生活，他早就经受不起了。从湘南撤离后，他一直在寻找机会，设法把自己掌握的6个连拉走，投靠赣南敌独立七师刘士毅。
出发前，朱德曾布置部队到三江口宿营。但袁崇全主意已定，仗着是营长、前卫指挥，命令部队开往新地圩。战士们不知内情，只想早日回归井冈山根据地，都急速前进，因之，二营渐渐地与大队脱离。
袁崇