踌躇满志的日军将官们，到了这一步，信心渐渐丧失了。9日中午，之前失去联络的地兵团向第一军发来电报，宣布发现“甚至秦岭山脉的小路也被敌军占领”，他们的结论是“要突破该地，无论付出多大牺牲和时间也难奏效，实为遗憾。因此只有放弃此一壮举。丧失千载难逢良机，万分抱歉”。

日军处在沮丧之中的时候，中国军队则接到了蒋介石的严令，必须坚守到底。第一军参谋处副处长陈廷祺回忆，蒋介石“于九日夜和十日下午两次打电话给胡宗南，严令死守虢、灵一线阵地，无论何人不准向西撤退，否则按连坐法枪决”。

就在10日下午，日军指挥官吉本贞一想起了熊兵团须“返回原属”的6月10日已经到了。熊兵团的兵力一旦撤走，第一军的兵力根本无力支撑继续进攻。6月10日下午五时，吉本贞一亲自赶到前线，直接和熊兵团指挥官山路秀南中将讨论下一步的对策。他们的结论仍很沮丧：进则不能，作战期限已到，熊兵团必须返回洛阳；退则难行，在相持状态下撤兵，等于败退。经过一番讨论，最后商定还是冈村宁次的军令难违，熊兵团撤离，第一军速调远在渑池南村渡口驻防的独立步兵第一二零大队(大队长柏木求马)，开赴灵宝接替熊兵团。

6月10日这一天的晚上24时，日酋吉本贞一才返回陕县郭家庄的军部。他心底的压抑是可以想象的。熊兵团有2个步兵大队和炮兵、坦克兵各一部，替换其的兵力仅仅为一个步兵大队，这仗究竟如何打下去？

按这个局面发展下去，中国军队本来应该在诺曼底战役发起的同时，以一个阻击战乃至击溃战的胜利震慑法西斯势力，以捷报策应欧洲战场。这个时候，苏联红军在苏德战场新一轮战略性进攻还没展开(苏德战场中段发起的白俄罗斯战役，是6月23日才打响的)，中国战场的胜利，本可以呼应一下诺曼底登陆喜讯。

但战局的发展甚至出乎日本人的预料。让日军的司令官吉本贞一没有想到的是，就在他带着压抑的想法回到军部时，中国军队已接到了全线撤退的军令。而且，在此之前，就在他和熊兵团指挥官山路秀南讨论时，中国军队已出乎意料开始提前撤退。眼看将战败的日军，在最后关头却看到了对手的崩溃。

现保存于第二历史档案馆的《第八战区灵宝战役作战经过概要》里记载了10日下午第三十四集团军司令李延年对于战局的判断：“10日午后5时，根据前方报告，认定敌大部已突人我阵地内，且迭接各部队长报告，敌仍不断增援，用两翼包围战术向我猛攻。我守军伤亡惨重，已尽最大之努力，阵地颇难稳定”。

李延年有这个“阵地颇难稳定”的判断之后，即决定发起阵地撤退。但其在《作战经过概要》将“撤退”美化为“转进”，并且称这次撤退是为了“诱敌深入”后“聚歼”日军：“午夜后开始转进，以一部逐次抵抗诱敌深入。主力向阌底镇附近转进集结，准备协同主力，聚歼西突之敌”。阌底镇(今河南灵宝市豫灵镇)是阌乡县的一个城镇，位于与陕西省的交界处，陇海铁路在此经过。黄昏时分，一线的中国军队确实开始沿陇海铁路撤退。第五十七军第九十七师第二八九团团长郭吉谦回忆说：“(6月10日)天近黄昏时，我团部与师指挥所之间的电话刚接通，就接到傅维藩打来的电话。他只说了句‘你们马上沿铁路线往西撤’，不待我问清退却目标和部署，就把听筒放了”。

就在李延年考虑撤退的时候，蒋介石的军令来了。《作战经过概要》记录“正考虑间，奉委座电话谕：‘本晚须维持原阵地，不得撤退……保持国军之荣誉’”。这应该就是陈廷祺回忆里蒋介石第二次打的电话。郭吉谦对此也有回忆：“就在各部争相后撤的同时，上峰转来了蒋介石的命令：无论何人不得向西撤退”。但是，“此时，灵宝战场总指挥李延年深知局面已无法挽回，在得到胡宗南同意后，下令各部于当夜十二时开始向西撤退”。《作战经过概要》是这么美化放弃阵地的：“经奉统帅部认可，并同意李总司令意见具申计划，当即转令实施。至夜12时半，各部队开始行动……第一线部队，按预定计划，以一部逐次抵抗，诱敌深入，主力行动则秩序井然，整严不紊”。实际上，撤退又一次化为了兵败如山倒的局面。郭吉谦回忆：“但这一马后炮的命令下达时，不少部队已处在撤退途中。由于数万人在同一时间经同一条公路撤退，造成人群互相拥挤、践踏，混乱不堪，许多辎重被抛弃”。

日军无力支撑进攻的时候，中国军队突然之间从灵宝阵地败退，胜负之势瞬间转换，今天重新翻开尘封的史册，禁不住让人扼腕长叹。而急于逃离战区的中国军队，还在史书上留下了别样而讽刺的一页：创造了灵宝县公路唯一的通汽车的记录。灵宝县的地方史志记载，该县“民国时期，虽有四条公路，但因道路质量差，除一九四四年日军进犯，国民党军队西逃时通过一个时期汽车外，其余均不能通车”。

更讽刺的是，放弃灵宝县的阵地仓促进行撤退的行动，旋即造成了西安的恐慌，局势随之进一步失控。当时，西安方面认为日军攻破灵宝防线，将进占关中，第十六军第一零九师副师长兼参谋长黄剑夫回忆：“对于这次日军进攻的企图，副长官部高级人员都判断是为了进占关中，以威胁抗战大后方四川的安全”。而仓促撤退的中国军队，实际开始已退入陕西的潼关境内，例如第一军撤退后，军部已在潼关外的麻庄河附近。潼关是关中的东大门。历史上，潼关一旦被攻破，西安将难以守住。在日军兵锋直指潼关，而中国军队又处在败退阶段的时候，西安也有了即将不保的错觉，陕西省政府甚至也被下令迁至汉中。第一军参谋处副处长陈廷祺回忆：“灵宝战役期间，我军战斗不利的消息很快传到西安，引起极大的恐慌和混乱，军政要员和富商们纷纷向重庆、成都、兰州等地搬家。当时任陕西省政府主席的祝绍周在西安强扣陇海铁路的火车和宝鸡的汽车，将其眷属和大批财物运到汉中，同时命令陕西省政府迁至汉中。此头一开，西安的其他国民党军政机关纷纷起而效尤，强扣火车、汽车搬家。当时的西安车站，人山人海，拥挤不堪，谁的权势大谁就能抢到火车、汽车。车站内待运的行李堆积如山，一直延伸到城内尚仁路一带”。