以一部兵力和精干民兵，挺进兰陵、邳县间及兰陵、峄县、台儿庄间，开展游击活动，破坏交通，监视敌人的活动。作战命令规定，各部均应于1947年1月1日拂晓前进入指定集结地域，战役发起时间为1月2日24时。
此时各部队正在进行紧张的战后工作，部队的庆功会还没有开，野战军首长立即北上的紧急命令便传达下来。于是，各参战部队迅速隐蔽北上。各部队一律夜行晓宿，行军途中，地方武装、民兵和人民群众主动协助我军侦察敌情、封锁消息、当向导、运粮弹……所有参战部队都利用行军的间隙进行临战训练，着重研究打坦克的方法。1947年1月1日拂晓前，各部队都按时到达指定的地域隐蔽集结，在紧张的战前准备中度过了元旦。
中央军委和毛泽东在战役发起前几个小时来电，勉励参战部队要以宿北战役为例，力争打大歼灭战，即每战全部彻底歼灭敌三四个旅。这个电报使参战部队倍感亲切并深受鼓舞。
“快速纵队”快速被歼
1947年1月2日22时，各部队突然对敌发起全线攻击。
此次战役发起时间比原定时间提前2个小时，但敌人毫无觉察。
元旦这天，敌二十六师师长马励武已离开指挥位置，在马家庄师指挥部与几个同僚饮酒作乐。酒过三巡，马励武舌头不听使唤，语无伦次，派人把副师长曹玉珩和参谋长郑辅增找来，醉醺醺地说：“嗯……曹兄、郑兄，今晚我有要事，部队指挥权就交给你们二位了。”说完就跌跌撞撞地爬上美国吉普车，连夜赶至峄县城内，与唱红当地、年轻美貌的京戏女旦鬼混去了。
战斗一打响，敌军就失去了统一指挥。山东野战军、华中野战军各参战部队则动作迅猛，以排山倒海之势冲向敌人各守备要点，打得敌人晕头转向，仓皇应战。
右纵队激战至1月3日拂晓，除石龙山守敌一个营逃向杨家桥外，四马寨、平山、石城崮、青山、凤凰山、尚岩、石龙山均被攻克。
平山位于峄县东部，三面为陡峭的岩石，东西比较平缓，筑有四道防御工事，前沿有半月形鹿砦，砦内有高墙和碉堡、炮楼林立，鹿砦与围子相通。国民党军控守山顶的是二十六师四十四旅的一个加强连，该连武器精良、弹药充足。驻守平山前村的为四十四旅一营营部和二连、机炮连。
夺取平山的为鲁南军区第十师，师长贺健、政委张雄把主攻任务交给三十团。团长黄作军组织三营八连于当晚10时发起攻击，突破第一、二道工事后，遇到退居中心碉堡敌人的疯狂扫射。连长王广希指挥三次爆破未见成效，这时爆破能手赵学生夺过炸药包说道，“连长，我去完成任务！你叫机枪手们把敌人火力压住！”连长立即组织全连的火力进行掩护。赵学生利用有利地形，躲过敌人火力，迅速接近碉堡，用尽全身力气，硬是把炸药包塞进碉堡内，拉燃导火索，然后翻身滚下山坡。随着一声巨响，中心碉堡被炸塌了半边，敌连长和他的四十多个兵坐上了“飞机”。战后，鲁南军区为表彰这个连的功绩，授予其“平山连”光荣称号。一连从东南角发起攻歼平山前村守敌的战斗。从另一个方向发起冲锋的是二连，前进的道路被敌人从暗堡里射出的子弹封锁。爆破英雄、三排长朱孝春趁敌人换弹夹的瞬间，一跃而起，飞身冲到敌人地堡跟前，前贴门壁，对准敌机枪手就是一枪。其余敌人见势不妙，就从另一个堡门夺路而逃。朱孝春跟踪追击，跃至另一个暗堡跟前，发现里面有十几个敌人乱成一团，一个戴大盖帽、穿黄色呢大衣的家伙正在电话里向他的上司呼救。朱孝春灵机一动，拉动枪栓，大声喊道：“你们被包围了，不准动！谁动打死谁！”随后，又故作镇静，大声地向外喊道，“同志们，先不要开枪，都听我指挥！”在这一瞬间，堡内敌人扔出一颗正在冒烟的手榴弹。朱孝春急中生智，迅速拾起手榴弹，扔进暗堡，炸得敌人血肉横飞、鬼哭狼嚎，活着的都乖乖当了俘虏。
太子堂是向城通向峄县公路上的一个重镇，镇上驻有敌四十四旅旅部和所属的一个团，约2000人。担任攻取该镇任务的是鲁中军区第九师，师长钱钧、政委李耀文指挥所属二十五、二十六、二十七团对其外围制高点石城崮、青山、北大窑发起攻击。1月3日晚，暂划归九师指挥的鲁中军区四师十团团长高文然、政委曹南率部发起攻击时受挫。
鲁中军区王建安司令员和鲁南军区傅秋涛政委急令九师二十五团和二十七团火速向太子堂增援；令二十六团占领有利地形，阻击外围增援之敌，并派鲁中军区参谋长张仁初和政治部主任王一平速去九师，组织新的攻势。
张参谋长和王主任冒着漫天大雪，深夜赶至九师指挥所，与钱钧师长和李耀文政委共同研究敌情，重新调整进攻兵力。
1月4日3时，九师集中十门火炮，对敌阵地进行猛烈射击。乘着射击间隙，十团、二十五团、二十七团的勇士们像支支离弦之箭，扑向敌人。
二十五团团长彭玉龙指挥部队，不到5分钟便突破敌东北角防线，与敌展开激烈的巷战。接着，副团长戴成功带