海的部队很多都是那时打下的底子。1955年授衔前夕，罗荣桓鉴于资历无法与其他老帅相比，主动致函中央辞让元帅军衔。毛泽东坚持将其排入十大元帅之列，且位居第七。
罗荣桓被中央点将去东北后，便在临沂城里等待另一位司令员前来接班。
1945年10月上旬，那位商人打扮的司令员来了。他就是十大元帅中排名第六的陈毅，当时任新四军军长、华中军区司令员。两位司令员在高度戒备状态下秘密交接。陈毅到山东，这是当时的重大机密，如果泄露出去，国民党便可由此判断出中共战略的重大调整。
陈毅脱掉礼帽，取下墨镜，脸上便笑开了花：“我这个老板终于现原形啦！”
“陈司令，一路辛苦了。”罗荣桓略显歉意地说，“为了保密，不能大张旗鼓欢迎你。”
“要那个排场做啥子嘛，国民党兴那一套，所以他们的江山快坐不稳喽！”
二位司令员寒暄几句，便进入了正题。中央为了争夺东北已三令五申，加紧调派兵力。9月20日，刘少奇指示：“罗荣桓及萧华望能很快到东北。”28日又指示：“向东北和冀东进兵及运送干部是目前关系全国大局的战略行动，对我党及中国人民今后的斗争，有决定性的作用。在目前是时间决定一切，迟延一天即有一天的损失。”29日再次强调：“必须在20天至一月内渡过二三万部队和干部，否则绝不能完成你们的战略任务……必须用全力迅速组织渡海，再不能容许片刻迟缓！”
罗荣桓将这些电报先请陈毅过目，然后拿出山东军区实力表，说：“该抽调哪些部队请陈司令员先发表意见。”
陈毅笑道：“你随便抽，争夺东北是中央目前的中心工作，要保证重点。”
这两位井冈山时期的老战友合作得非常愉快，顺利完成了交接。陈毅在井冈山时是仅次于朱、毛的领导人，那时罗荣桓仅是一名普通的基层政工干部。虽然此时职务已不相上下，但罗荣桓内心仍十分崇敬陈毅。
交接完毕后，陈毅决定先回苏北，临别时罗荣桓将一床虎皮褥子送给他。陈毅抚摸着那斑斓的花纹，高兴地说：“人家说老虎屁股摸不得，从今以后我陈毅天天都要在老虎身上睡觉喽！”
山东的部队在罗荣桓的指挥下加快了进军东北的步伐。大部经海路开往辽东，一部经陆路到冀东，还有一部分是海陆并行。
10月24日，中央指示罗荣桓“率轻便指挥机关，日内去东北”。接此电令，罗荣桓立即带作战处长李作鹏、情报处长苏静等匆匆北上。11月5日抵渤海湾边的龙口。举目一望，码头上到处是准备渡海的部队。胶东军区司令员许世友是渡海总指挥，在这位传奇英雄的指挥下，部队忙而不乱，渡海进行得有条不紊。罗荣桓非常满意，他让人将自己心爱的战马牵来，对许世友说：“这匹马陪我多年了，送给你吧！”
许世友见罗荣桓眼镜片后闪着泪光，知道他动了感情，这不仅仅是依恋战马，更是舍不得离开他亲手创建的山东根据地。许世友将腰间的手枪解下，回赠罗荣桓。
汽船载着罗荣桓一行朝大连驶去。第一批渡海的萧华就是走的这条路线，因为大连有铁路直通沈阳。可是时局的变化使他没有那么幸运了。船驶近旅顺时受到苏联军舰的拦截。罗荣桓说明自己的身份，可是苏军舰长表示怀疑。
“你是八路军山东军区的司令员？有什么可以证明吗？”
李作鹏等人一听这话全傻了眼。
罗荣桓从皮包中取出一张与毛泽东合影的照片，笑道：“这能证明吗？”
舰长接过照片，一眼便认出了毛泽东。再看，又认出了戴眼镜的罗荣桓，不禁肃然起敬，朝罗荣桓敬了一个标准的军礼：“司令员同志，请原谅。你们可以在旅顺、大连以外的任何一个港口登陆。”
罗荣桓于11月6日在貔子窝登陆，正式踏上了充满希望的黑土地。他率领的山东部队有6万多人开进了东北，日后成为四野的基本骨干力量。早在10月31日，中央已发布命令，林彪为东北人民自治军总司令，彭真为第一政委，罗荣桓为第二政委。