此次整编，是中国人民解放军发展史上的重大转折。
第二野战军，是在抗战初期八路军一二九师部队的基础上发展起来的。
在八年的抗日战争中，一二九师从原来的万余人发展到30多万人，建立了广大的晋冀鲁豫根据地，使地方的武装力量也得到很大发展。又经过三年解放战争的战火锻炼，这支部队更是被铸造得能征善战，成为一支无敌雄师。
抗日战争转入大反攻时，为了最后消灭日本侵略者及其走狗，并制止内战危机，1945年8月11日，中共中央发出指示，要求各战略区编组“超地方性的正规兵团”。8月20日，中央军委决定，各战略区就现有兵力的二分之一或五分之三，编为野战兵团，以适应形势发展的需要和实现游击战向运动战的转变。
刘伯承、邓小平按照中央军委的指示精神，令所属太行、太岳、冀南和冀鲁豫的八路军部队，分别编组成一至三万人的野战兵团。
同时，中央决定成立晋冀鲁豫军区，任命刘伯承为司令员，邓小平为政治委员，滕代远、王宏坤为副司令员，薄一波为副政治委员，张际春为副政治委员兼政治部主任，李达为参谋长，王新亭为政治部副主任。军区辖冀鲁豫、冀南、太行和太岳四个二级军区，以及刚起义的三十八军第十七师，共29万余人。
1945年9月初，晋冀鲁豫军区，以冀南军区主力编为冀南纵队，太行军区主力编为太行纵队，太岳军区主力编为太岳纵队。10月7日，冀鲁豫军区主力编为第一纵队（辖第一、第二、第三旅），杨得志为司令员，苏振华任政治委员；冀南纵队改称第二纵队（辖第四、第五、第六旅），陈再道任司令员，宋任穷任政治委员；太行纵队改称第三纵队（辖第七、第八、第九旅），陈锡联任司令员、彭涛任政治委员；太岳纵队改称第四纵队（辖第十、第十一、第十三旅），陈赓任司令员，谢富治任政治委员。同时，晋冀鲁豫军区另组25个团的架子，调往东北。
1945年11月10日，原定以第一纵队为基础另组25个团的架子调往东北。但后来因形势发生变化，第一纵队在开往东北途中到晋察冀军区时，即留在该军区担负作战任务。
11月11日，在邯郸战役中起义的国民党新编第八军改名为民主建国军，高树勋为总司令，加入晋冀鲁豫军区序列。
11月中旬，以太行军区主力组成第六纵队（辖第十六、第十七、第十八旅），王宏坤兼司令员（后由王近山代司令员），段君毅任政治委员；以冀鲁豫军区主力组成第七纵队（辖第十九、第二十、第二十一旅），杨勇任司令员，张霖芝任政治委员。同期，因中央军委拟调第四纵队（不含第十一旅）去东北，组成第八纵队（辖由第十一旅改称的第二十二旅、新组建的第二十三旅、军区独立旅改称的第二十四旅），谢富治任司令员、王鹤峰任政治委员。12月初，中央军委决定第四纵队不去东北，仍留大岳军区。随后，第四纵队与第八纵队（不含第二十四旅）合并，称为第口纵队（仍辖第十、第十一、第十二、第二十三旅），陈赓任司令员，谢富治任政治委员。第二十四旅改为太岳军区独立旅。
这时，各二级军区的主要负责人是：冀鲁豫军区司令员王秉璋，政治委员张玺；冀南军区司令员杜义德，政治委员李菁玉；太行军区司令员秦基伟，政治委员李寻峰；太岳军区司令员王新亭，政治委员聂真。
1946年5月15日，国民党第三十八军副军长孔从洲率第五十五师于河南巩县起义，后与第十七师汇合，被命名为西北民主联军第三十八军，孔从洲为军长、汪峰为政治委员。
至1946年6月中旬，晋冀鲁豫军区部队，除精简整编和调往其它地区的以外，尚有野战军五个纵队，连同地方部队共27万余人。
从1945年秋季开始，晋冀鲁豫军区正规兵团和地方部队对日寇进行大反攻，同时对国民党军的进犯给予了坚决的回击，曾先后在上党地区歼灭国民党军队十三个师，在邯郸地区歼灭沿平汉路北犯的国民党军两个军，并争取一个军起义。这两次作战，打击了蒋介石发动内战的嚣张气焰，保卫了抗战的胜利果实，对争取和平民主和支援我军在东北的展开起了重要作用。
在国民党与我党签订和平停战协定后，晋冀鲁豫军区部队除坚决执行和维护停战协定，击退敌人对我解放军的蚕食和偷袭外，各部队展开了大练兵运动，并积极参加地方减租减息和生产运动；为对付国民党发动全国内战作了充分的准备。
1946年6月，国民党军队在美帝国主义的支持下，向解放区发动全面进攻。晋冀鲁豫军区处于解放区南线的中央，除要粉碎敌人对本区的进攻外，还担负着前与中原、左与华东、右与陕甘宁我军进行战略配合和策应的重要任务。据此，军区于6月27日，以第三、第六、第七纵队（后增加第二纵队）和冀鲁豫军区主力一部组成野战军，由刘伯承、邓小平率领，担负豫东方向的作战任务。接着，于7月14日，组成野战军指挥部，由邯郸开赴冀鲁豫前线