已突出重围的曹华亭本可以趁机离开危城衡阳，但他调转马头，率众人又杀了回去。
    陆启东说：“他们冲回来，死伤惨重。既然这150人可以冲出城然后再回来，外边这么多友军冲不进来，是什么原因呢？”
     突击队杀回城里已是三天之后，150人仅剩15个。第十军官兵心里都在犯嘀咕：150人尚且可以来回一趟，上万援军就是不能靠近？
    杨光荣感叹：“外边解不了围，你在里边越打越少，死一个少一个，弹药都没有，你怎么能打赢啊？！”
    悲观气氛开始蔓延。卢庆贻又接到蒋介石的电报：“再守三日，援军即可进城。”方先觉看过电报，摆摆手，长叹。
     8月3日，日军对衡阳城大肆轰炸。蒋介石下令：“着第六十二军不顾一切牺牲，再迅速奋勇前进，如达到衡阳解围，官升级，兵有赏。”
    第六十二军官兵到底还是没拿到奖赏。
    第43天：血拼西禅寺8月4日，第43天。日军发动第三次总攻。《日本帝国陆军最后决战篇(衡阳战役之部)》记载：
     重炮五门，野山炮五十门，统计约五个师团之兵力，于八月一日，集结于衡阳外围，八月四日晨，在横山司令官之指挥下，开始了第三次总攻击，预期在一天之内，必下此城。但敌人之守将方先觉将军，为一号骁勇善战之虎将，其第十军之三个师，皆以必死之决心，负隅顽抗，寸土必守，其孤城奋战的精神，实令人敬仰。我第一日之全力猛攻，竟又被迫无效而终。亘四十余天之激战中，敌人尚无一卒向我投降，实为中日战争以来之珍闻，如非敌人在长期抗战中已逐步将游杂部队整编为正规军，则必系我军之两次挫败，使敌军坚定了必胜的信心！
     近10万日军以飞机、大炮向中国守军的核心阵地和市区狂轰滥炸，从南北西三面猛攻，留守营部的杨光荣担心着前沿阵地上的弟兄们。
     杨光荣回忆：“一个副排长，带着十几个伤兵，到后头了，碰见我。我一看，唉，这不是一连的人嘛，我在一连当过排长呢，那个副排长那时当班长，他叫杨赞。我说，杨赞，你怎么回来了？他说，连长，阵地失守了。第五军的规定，阵地失守者必杀啊。杀谁？杀连长。我问，你连长呢？他说，连长失踪了。我又问，副连长呢？他说，阵亡了。”
     这个副排长镇守的是位置极为重要的西禅寺阵地。这个阵地一失守，城区也就洞开。杨光荣二话没说，跑去向营长请战。“我说，营长你别着急，我去。那时我年轻气傲，体格也好，认为别人不行，我还行呢，有点豪情壮志。他说，好，你去，把营部这些卫生兵、炊事兵、军械兵都带去，有十七八个吧，把一连撤回来的也带去。”
    杨光荣把30多个弟兄分成了3组。天色已晚，月光下，他们悄悄地摸到了西禅寺外。
     杨光荣回忆：“我带两个组在前，一个组作为预备队在后。我对大家说，帽子都翻过来，夜晚嘛，朦朦胧胧的，看不清。大家都把帽子翻过来戴着。”
    因为刚占领阵地，日军正在修补工事，西禅寺外只有两人站岗。
     “我派两个兵先把日本的哨兵干掉。两个兵爬墙进去，日本哨兵看到了，就是一枪，这一枪不要紧啊，四处的枪全响了。”杨光荣说，中国军队的突然反攻，杀得对方猝不及防，混战中，他一把抱住了日军的一个小队长。“双手死死抱着，如果让他腾出胳膊，你治不了他。”
     正在搏斗中，杨光荣一扭头，看到一个日本兵端起枪向他刺来。“正在这千钧一发的时候，我们营部的一个军械兵，把枪倒过来用枪托砸，他砸得太厉害了，把日本兵的枪砸坏了，我的枪也砸坏了。”
     军械兵和日本兵展开肉搏。“日本兵上来一口就把这个军械兵的左胳膊咬住了，那个疼啊。军械兵把右手腾出来，掏出手榴弹，木头柄那种，举起来一砸，把日本兵脑袋砸开花了。日本兵脑袋被砸开花都不松口啊。砸死了日本兵，他过来帮助我，把小队长解决了。”杨光荣说。拼得难解难分之际，杨光荣留在寺外的那一组人，也翻过墙杀了进来。