面对日军强势的攻击中国军队做出了什么决定？
5月14日，日军第28旅团凭借化学武器和重炮的猛烈攻击，突破菏泽的外围阵地，把菏泽城四面围困起来。
防守菏泽，又是一场血战。李必蕃指挥的第23师，有一支以工兵为主的骨干队伍，擅长防守，敢打硬仗。看到日军猛烈的进攻，李必善知道菏泽已经是一座孤城了，守城的决心更加坚定。他对官兵们说：“我们无论如何都要坚守阵地，绝不能后退，不能再让日本鬼子在中国的土地上狼奔豕突了。”
日军攻城的炮火越来越猛烈，排炮几乎没有间隙，接二连三地落在中国军队的阵地上。日本鬼子冲上来了。李必蕃师长一声令下，官兵们一齐向鬼子射击，机枪喷出了一条火龙，打得鬼子东倒西歪。在日军一次接一次的炮击中，菏泽的防御阵地被炸成一片废墟，村庄在燃烧，树林在燃烧。部队伤亡越来越大，有些排的官兵全部牺牲在抗日的阵地上，有的连只有几名伤兵还坚守在阵地上。
鬼子越来越近了。师参谋长黄启东英勇殉国了，刘冠雄团长也在战斗中牺牲了。李必蕃师长看了看身边的几名随从，手一挥，毫不犹豫地冲出战壕。在激战中，李必蕃师长身负重伤。随从副官急忙把李师长搀扶下来，组织直属连杀开一条血路，突出重围。
傍晚，满身是鲜血的李必蕃被救护到菏泽以南5余公里的曲只集。李必蕃从昏迷中醒来，得知菏泽已经被日军占领，悔恨交加，决定以一死来激励将士们继续抗日。他吃力地取出一份地图，写下了“愿我同胞，努力杀贼”的遗言，趁护理人员不注意，猛地举起手枪，在自己头上开了一枪。
李必蕃以身殉国，在全国反响强烈。国民政府追晋李必蕃为陆军中将。国民党的《中央日报》、《大公报》等报刊，纷纷登载文章，赞扬李必蕃的爱国精神。中共中央和八路军总部代表郭沫若、吴玉章、罗炳辉等人率领代表团，参加李必蕃的追悼大会，并送了一块刻有“民族之光”的大匾。1986年，湖南省人民政府追认李必蕃为革命烈士。
菏泽失守那天，日军第14师团主力攻占曹县，第16师团主力攻占金乡。部署在这一地区的国民党军队没有能够阻止日军的进攻，致使中国军队徐州地区的防线被日军突破。这一突破，对徐州地区的防御产生了重大影响。
5月15日，沿津浦铁路北上的日军第3师团攻占大营集以后，在第9师团左翼支队的配合下，向徐州挺进。
日军连续进攻的炮声，大片领土的失陷，迫使国民政府的一些高级将领重新认识徐州地区的军事态势。在数量上占有绝对优势的中国军队，未能有效地抗击日军的进攻，短短10天时间，南北两路日军即完成了对徐州地区的合围，这使蒋介石等人感到十分意外。国民政府一些高级将领开始意识到，在黄河与淮河之间的狭小平原地区同装备精良的日军进行决战，是不现实的，要消灭日军，必须另谋他路。为了保存有生力量，5月15日，国民政府军事委员会召开会议，决定放弃徐州。
蒋介石下达的命令是：“避免决战，撤离徐州。”
5月16日，李宗仁根据蒋介石的旨意，下达了第5战区各部队脱离徐州战场的命令。司令长官作出的撤退部署是：刘汝明指挥第68军占据徐州有利地形，掩护各部队撤出徐州战场。第24集团军留在苏北。第69军同海军陆战队一起，在鲁南、鲁中地区开展游击战。第5战区主力部队分成5路，分别向徐州西南方向突围，向河南、安徽边界的山区撤退。李宗仁部署完撤退任务以后，静静地坐在指挥室里，心情格外沉重。
李宗仁的脑海里掠过这样一个念头：数十万部队撤到桐柏山区，退到江南的水网稻田地，“化整为零”，进行游击战，是否可行呢？
5月18日，李宗仁同白崇禧、刘斐等第5战区长官部的人员一起，在第31军和第7军1个师的掩护下，从萧县以南地域突围，向阜阳前进。一路上，日军的飞机不时地临空侦察。为了免遭意外，李宗仁一行白天隐蔽，夜间行军，整整在途中行军7天7夜，终于到达阜阳。
第5战区的主力部队突围进入西南山区以后，在桐柏山、大洪山开辟据点，抗击日寇。
5月19日，第68军完成了掩护第5战区各部队撤离徐州的任务，即放弃徐州。当日，日军占领徐州。
