突击力量了，只有把由徐州“剿总”直属的原来作为总预备队还能投入战斗的七十二军和有一定突击力量的战车团拉上去做一次试验，看能不能对援救黄百韬起一点作用。七十二军军长余锦源认为向前突破十几公里不会有多大困难，竟然夸下海口，表示“大许家离碾庄只有15公里，大炮炮火已能相接了，我可以一连打下几个村庄，打过大许家，单刀直入，解黄百韬之围”。战车团团长赵志华也认为他的装甲车对付解放军没有问题，竟说出了“如果步兵跟不上，我的战车团也能单独打到碾庄圩去”的狂言。
刘峙和杜聿明虽然知道这些豪言壮语只能先听了再说，但是抱着试一试的态度，还是以很诚恳的态度将这两个部下送上了战场。可是，这两个只能说大话的将军用尽全力打了一天之后就败下阵来，因为他们在空军的配合下，实行战车与步兵协同作战的结果，是连大许家也过不去，更不说接近碾庄了。
在大炮的轰击之后，华野指战员向顽抗在碾庄、小芽庄、尤家湖、吴庄、沙滩、王家庄、小院上、大院上等8个村庄中的敌人发起了冲锋。
八纵、九纵的目标是黄百韬的司令部所在地碾庄。战士们面前的障碍有地堡和鹿寨，有三道土墙，还有一排排用载重汽车组成的钢铁防线。最麻烦的是那围绕村庄的五六米宽的水濠。爆破组先上，浮桥组跟进，很多战士都是脱下棉衣棉裤蹚水过濠，过濠后就在寒风中向前冲，穿着湿漉漉的单衣和敌人拼刺刀，一步一步地前进，一间房一间房地争夺，我八纵和九纵终于拿下了碾庄。在我军进入碾庄之前，黄百韬在他多年的直属部队二十五军副军长兼碾庄警备司令杨廷宴等人的保护下逃到了大院上。在大院上，当黄百韬得知他的老部队二十五军军长陈士章竟然准备化装成老百姓逃跑，六十四军军长刘镇湘准备穿上将官大礼服、挂上勋章自杀“成仁”时，决定拼死一搏，拿出他的最后一张牌，让军队中最反动凶残的特务武装青年突击队组成敢死队向我军反扑。可是，在我军英勇无比的战士面前，青年突击队的反扑也被打垮了。
当碾庄被我军攻占之时，其他村庄也纷纷落入我军之手。最后，只剩下大院上和尤家湖两个村庄还在敌人手中。大院上是六十四军军部所在地，六十四军在负隅顽抗时曾经向我军使用催泪性毒气弹，等到我军指战员中毒倒地后再将我军指战员杀害。这种毒辣的犯罪手段在整个解放战争中都是少见的。
在黄百韬兵团即将覆灭的前夕，我军曾经向黄百韬发出最后通牒，要他放下武器，向人民投降。黄百韬拒绝了。21日黄昏，我军向大院上和尤家湖发起最后攻击。激战到次日凌晨，大院上、尤家湖的残敌全部被我消灭。
在黄百韬兵团即将覆灭的前夕，杜聿明在21日也曾给邱清泉和李弥下过死命令，要邱、李两兵团必须不惜一切代价，全线出击，越过大许家，救出黄百韬。可是，邱清泉和李弥这两个久经沙场的人心中都很清楚，几天的较量表明，他们不是华东野战军的对手，他们要想突破阻击线已经是不可能了。他们或许可能再往前推进一点，但如果继续亡命东进，距徐州太远，他们的后路就很可能被华野的苏北兵团抄后路，截断其退回徐州的后路，这就意味着他们也会被包围，成为黄百韬第二。所以，他们只是应付式地发动了几次实际上没有任何作用的进攻，只是让黄百韬多听了一些从西边传来的激烈枪炮声而已。
当我军发起攻击之后，敌六十四军军长刘镇湘劝当时左腿已经被我军的炮弹炸伤的黄百韬设法突围。据刘镇湘回忆，黄百韬对刘镇湘说了这样的一段话：“我老了，而且多病，做俘虏我走不动，而且难为情。我牺牲以后，使别人还知道有忠心耿耿的国民党人，或可使那些醉生梦死的人醒悟过来，国民党或许还有希望。你年纪还轻，尚有可为，希望你能突围出去，再为党国做点事。”
但是，求生的欲望仍然刺激着他。他带着刘镇湘、杨廷宴等人向北逃去，到了六十四军一五六师的阵地上。一五六师师长张越秀告诉他“昨晚共军曾派人来劝降”。应当说，这是黄百韬得以求生的最后一次机会。可是，他却听信了他的参谋长魏翱的建议，还想继续与我军耍花招。魏翱说：“司令官，我们可以借这个机会，与共军联系，拖延一段时间，等待援军到来。”黄百韬沉思片刻之后说：“决定今晚同他们接头。”但是，当黄百韬等人还打算拖下去时，我军向残存的敌军发起了最后的攻击。敌军的据点一个个被攻克，六十四军大部队被歼，军长刘镇湘、一五六师师长张越秀等人被俘，那个最后时刻还想耍花招的魏翱本人也同样当了俘虏。一五九师师长钟世谦等率残部2000余人向我投降。
在混战之中，黄百韬亲自指挥一五六师一部分人从吴庄向西北突围，妄图逃出包围圈到三塔地区与李弥兵团会合。但是，未走出多远就被我军的炮火所击溃。在一片夜色之中，黄百韬带领杨廷宴等人向尤家湖方向逃去。行至一芦苇地时，在周围的一片枪炮声中，刚过了50岁生日的黄百韬举枪自杀。作为蒋介石军队中的死硬派，黄百韬曾想用他的死来“使那些醉生梦死的人醒悟