后来，宋庆龄亲自去找蒋介石，说：“陈赓是黄埔学生，你东征时打了败仗，是陈赓救了你，你现在杀他，岂不是忘恩负义？”此后，蒋介石指示部下放松了对陈赓的监管，睁一只眼闭一只眼地让他逃了出去。
陈赓脱险后，被派往江西瑞金，任红军步兵学校校长。1934年10月，随中央红军参加长征，任红军干部团团长，负责中央机关的警卫工作。红军过草地时，周恩来患了严重的肝病，陈赓带领30名战士专门照顾周恩来，用担架把他抬出渺无人烟的草地。躺在担架上的周恩来风趣地对陈赓说：“当年你救过蒋介石的命。如今你又来救我的命了。”红军达陕北后，陈赓任红十三团团长，后调任红一军团第一师师长。
1937年“七七”事变后，红军改编为国民革命军第八路军。陈赓任八路军一二九师三八六旅旅长，随师长刘伯承开赴太行山开展游击战争。1937年10月，陈赓亲自率领属下的七七二团，在娘子关以南的七亘村设伏，仅以伤亡30余人的代价，歼日军400余人。
1938年3月，陈赓指挥三八六旅在神头岭伏击日军粕谷第16师团，歼其1500余人。接着，又率部在响堂铺打了个漂亮的伏击战，击毙日军300多人，击毁汽车180辆。其战斗场面之精彩，令不少前来观战的国军将领赞叹不已。这段时间，用陈赓自己的话说，就是“没有一天没有战斗，我那时简直打得起劲了！”有时一个月就要进行几十次战斗，作战频率之高令人惊叹。三八六旅进入太行山后，屡屡重创日军，致使日军以其为死对头，专找其寻战，甚至专门打出“专打三八六旅！”的标语。
1940年5月，太岳军区成立，陈赓任司令员。8月，率部参加了百团大战。1943年10月，指挥太岳部队伏击日军“战地观察团”，击毙日军军官180多人，其中少将旅团长1人、大佐联队长6人，其余全是中队长，气得侵华日军总司令冈村宁次暴跳如雷地嚎叫：“再牺牲两个联队，也要消灭这股共军！”
1943年11月，陈赓赴延安中央党校学习。1945年8月抗战胜利后，陈赓返太岳，任晋冀鲁豫军区太岳纵队司令员，率部参加了上党战役，在长治之战中大败阎军。之后，赴临汾、太原、北平等地参加和平谈判。1946年6月，国共内战全面爆发，陈赓返太岳，任晋冀鲁豫野战军第4纵队司令员，在临汾和浮山地区迎战他的黄埔一期老同学胡宗南，全歼其“天下第一师”——整编第一旅，生擒中将旅长黄正诚。黄正诚被俘后很不服气，扬言：“如果摆开再打，你们不一定能胜。”但他一见到声名赫赫的黄埔大师兄陈赓，立即立正敬礼，认输投降。
1945年8月15日，日本宣布投降，但直到1949年，还有不少日军在中国的土地上作战。
他们总人数曾达到1.5万人，他们武器精良，身穿国民党军装，但最终没有逃脱覆亡的命运。
内战初期，阎锡山狂妄地认为，装备精良的晋军足以对付晋冀鲁豫的共产党军队，并没有让日军直接参战，而是按照“第二战区司令长官合谋社”的计划，让日军更多地参与后勤保障、通讯、训练等工作。没想到几个回合下来，晋军节节败退，尤其是1948年3月的临汾战役后，晋军主力面临被解放军一举歼灭的危险。阎锡山迫不得已要求第十总队的日军直接参战，并任命日军原驻长治旅团长原泉福(日本名为元泉馨)直接担任其晋中野战军副总司令。
不过，日军也挽救不了阎锡山失败的命运。一些思乡的日军开始开小差，千方百计想返回日本。剩下的日军也士气低落，而且他们看不起阎锡山的部队，如原泉福就十分看不起担任晋军主力晋中野战军总司令的赵承绶。
1945年8月中下旬，战败日军开始在中国各地向当地的国民党军政首脑投降。时任第二战区司令长官的阎锡山在蒋介石的授意下，以接受日军投降为名，将3万晋军集结在平遥一带，一边接收日军的物资装备，一边准备对解放区发动进攻。
当时，山西的日军第一军有5.9万人，阎锡山既想把这支部队的武器装备据为己有，又想将日军残部收编，以对抗共产党领导的八路军(1946年6月后，逐步改称为“人民解放军”)。1945年9月2日，日方派出代表、第一军参谋长山冈道武与阎锡山谈判投降事宜。谈判还没开始，阎锡山突然对山冈道武说：“日军虽然战败了，但素质优秀，希望能留下一部分日军负责保安工作。”
面对阎锡山这一突如其来的要求，山冈道武有些不知所措，只好说：
“我回去和第一军司令官澄田睐四郎中将商量一下，尽量满足阁下要求。”
在各种因素的作用下，日军山西派遣军总部答应了阎锡山的要求，并由澄田睐四郎出任山西省总顾问，山冈道武出任副总顾问。阎锡山还下令成立了“第二战区司令长官合谋社”，下设军事处、经济处、总务处、文化处，均由日本人负责，以达到让战败日军自我管理的目的。尽管如此，当时集结在太原的部分日军低级官兵急于复员回国，不愿留