黄伯韬于11月6日召开军、师长会议，要求各部队迅速向徐州转进。11月7日黎明，黄伯韬匆匆忙忙率兵团部开始行动。但他不知道华东野战军第一、六、八、四、九纵等主力部队已从北面向他的第七兵团逼近，并抢占了运河上唯一的大铁桥。
     黄伯韬到碾庄后命令兵团部暂停于此。黄伯韬刚安顿下来就接到报告，说解放军三四万主力正从西北约20公里的宿羊山地区南下，直奔而来。另有一两万解放军主力，正从陇海铁路南面疾进而来。中午时分，徐州“剿总”总司令刘峙给黄伯韬发来一份急电，是蒋介石的一份命令：“着该兵团在碾庄圩地区准备决战。已命令黄维兵团经宿县、宿迁渡过运河进行外线反击；又已令杜（聿明）副总司令率邱、李两兵团东援……”黄伯韬立即在碾庄圩开会，向各军军长布置了任务。正在匆忙之际，黄伯韬又得悉第三绥靖区五十九军和七十七军两万余人已起义，运河、不老河防线已土崩瓦解，解放军3个主力纵队已直插大许家、八义集，截断了陇海路，从而封闭了黄伯韬兵团西撤徐州的通道。至此，黄伯韬才恍然大悟，原来解放军已对他的兵团形成了包围圈，自己成了瓮中之鳖。11月11日，华野把黄伯韬兵团4个军合围在以碾庄圩为中心，南北3公里、东西6公里的区域内。
     蒋介石为了让黄伯韬与解放军死拼到底，防止其起义，天天空投《中央日报》等报刊，上面刊登有黄伯韬的戎装照以及蒋介石的嘉奖令。一时间，黄伯韬被蒋介石渲染成“常胜将军”。11月12日起，华东野战军围歼黄伯韬兵团的各路纵队，从四面八方展开猛攻。15、16日，各部队都在进行土工作业，想方设法把堑壕挖到敌阵地前沿。11月16日晚，猛攻开始。激战至19日，碾庄圩外围村落全部被华东野战军攻占。这天晚上，黄伯韬向徐州的刘峙、杜聿明发出求援急电。11月19日晚10时，总攻开始了。30分钟内华野炮兵3万多发炮弹，倾泄在不足1平方公里的碾庄圩阵地。黄伯韬绝望地命令炮兵用所有的炮弹还击，进行最后的顽抗。望眼欲穿的援兵没来，12万大军丧失殆尽，黄伯韬失去了顽抗的最后勇气和信心。碾庄圩被攻克前，黄伯韬率少数随从逃到下属的第六十四军军部。黄伯韬和第六十四军军长刘镇湘见面后，神情沮丧，脸色蜡黄，说：“我年纪老了，而且多病，做俘虏我也走不动，而且太难为情。我死以后，别人还知道有忠心耿耿的国民党人，或可使那些醉生梦死的人醒悟过来，国民党或许还有希望。”22日下午，黄伯韬、刘镇湘等又逃到了第六十四军一五六师指挥所驻地吴庄。黄伯韬一听“吴庄”这个村名，就长叹说：“此吴庄，乃吾葬身之地也！”
     22日黄昏，黄伯韬指挥第一五六师残部，企图向西北方向突围。当黄伯韬逃至尤家湖南面的一片苇塘时，当时就在黄伯韬身边的国民党第二十五军代理军长、后来被俘的楚轩吾回忆：“黄伯韬这时已经完全失去了最初的镇静。他像一头被囚在笼子里的野兽一样，披着军大衣在深沟中转来转去，不许任何人向他转达解放军的劝告和递送打到阵地上来的传单。”华野攻击部队在碾庄的两道围墙的开阔地带上，展开了激烈的歼灭战。彻底绝望之际，黄伯韬拔枪自杀，黄伯韬兵团的5个军被全歼，使解放军与国民党军在兵力对比上转为优势，彻底掌握了战役的主动权，决定了淮海战役的胜负。
    粟裕与黄伯韬的四次交手，是他戎马一生的成功作品，体现了他高超的军事指挥艺术和才能。