守城部队并未被敌人的汹汹来势所吓倒，他们在已封闭的西门上竖起了3面白字大黑旗，摆动良久之后插于女墙顶上，表明要与法军决一雌雄。
    4时许，法军的65毫米炮兵连开入战斗阵地，阿尔及利亚土着步兵和“睢鸠”号舰的哈乞开斯炮制止了守军对法军右翼的迂回运动。“闪电”号和“飓风”号两舰则朝城内塔楼发起攻击，塔楼基座及四周被打得弹痕累累。5时许，法军已推进到距护城沟堑仅100米处。此时夕阳已西下，孤拔亲自下达冲锋令，守军用密集的火力射向步步逼近的法军，但仍未能防止法军的前进。
    法军的先头部队抵达已封死的西门后无法入城，便沿着碉堡向右奔去，最后在守军堆起的乱竹丛和其他各种障碍物中辟出一条通道。法军进入外城后，占领了西门炮台，用法国国旗取代了城门上的大黑旗。5时45分，孤拔在参谋部全体成员的陪同下进入山西外城。夜色的降临，掩护了守军的退却。孤拔不敢轻率地在漆黑之中深入一个陌生的城市追击守军，遂命令法军在外城和城外过夜，并在西门和北门能够通往内城的各条街道上设置街垒，为次日的战斗作准备。根据孤拔向其上司报告，法军在攻城战斗中死15人（其中上尉军官1人），伤60人（其中军官5人）。（注：法国外交部档案《论文与资料·亚洲》卷42，页431。）
    17日，法军对内城作了一番小心翼翼的侦察，发现守军已经离去，便不费一枪一弹地进入了山西内城。（注：关于法军顺利进入山西内城的原因，越南国家人文与社会科学研究中心汉喃研究所图书馆藏《洋事始末》一书是这样叙述的：“忽于酉牌（下午5—7时），西北面营团虚惊，斫开城门而出，诸军遂溃。（唐）景崧、（刘）永福与省臣阮廷润拦阻不住，法兵乘此入城”。惟此说的可靠性目前尚无其他史料印证。）
    五、守军撤退
    因法军对守军撤离山西的内幕全然不了解，而现存的记载说法不一，守军如何弃城而去，目前尚属悬案。
    关于撤军动机的形成，英国记者斯各特有这样的叙述：
    “据说有几分是因为黄佐炎（Hoang-Ke-Vien）驸马及安南部队主张立即撤退，中国地方军也支持这个主张，而刘永福却主张战斗到凄烈的最后。”（注：《中法战争资料》册3，页362。）
    有记载说，首先将此动机付诸行动的是越军：“南官黄佐炎首先出城，阮廷润继之，于是刘永福及滇、粤各军带队血战，与唐景崧等冲出围城。”（注：《中法战争资料》册5，页274。）如果说越军率先逃出没有相反说法的话，那么，其余守城部队出城先后的说法却不一致。《刘永福历史草》载：“黄（桂兰所部桂）军管带贾文贵见番人早已心怯三分，今见其势大烈，贾即先由西门出走。自贾营先逃，黄、岑（毓英所部滇军）两军人马随尾纷纷逃遁一空，往兴化而去。唐景崧时在山西城内，看不是头路，亦走出城去了。公（刘永福）等见孤自一军，又被法兵败走，先挫锐气，亦拔全队上兴化，再酌御敌之计。”（注：《中法战争资料》册1，页271。按：法军攻下山西城西门后就在这里过夜，说桂军从西门逃走而不被法军发现，似不可能。）由此说来，先逃出山西的是桂军贾文贵部，继之是桂军余部和滇军，又继之是唐景崧所率的亲兵，刘永福及黑旗军是最后撤离的。而据唐景崧所写的日记记载，唐是在“亲立南门，问刘提督何在，无应者，惟见兵民蚁窜”（注：《中法战争资料》册2，页104、105、104、104—105。）的混乱局面下仓皇离城的，“渊亭（刘永福字）初出南门，闻余（唐景崧）未出，痛不欲生，问有人能入城护出者，赏银二万，芷庵（唐镜沅字）继赏五万。……闻渊亭已赴不拔县。”（注：《中法战争资料》册2，页104、105、104、104—105。）说明刘永福及黑旗军撤出山西城比唐景崧及滇军早先一步。
    以上矛盾的说法，尚无其他史料辨其真伪，不好说此对彼错抑或此错彼对，但法军进入山西内城前守军已弃城而遁确是实情。正因为史料不充分，守军各部撤离的详细经过目前尚无法深入考证。从唐景崧所记逃出山西城的经历看，该城是在敌强我弱的情况下被迫放弃的：16日未刻（下午1—3时），守卫南门的桂军贾文贵营弹药告罄，滇军镇守的西门则遭到法军炮火的猛烈袭击，“城崩楼毁，军无立地”。申刻（下午3—5时），战斗更加激烈，“忽报黑旗俱下城，寇（法军）已入城”，与山西总督阮廷润一起坐在城根避弹的唐景崧急忙回到寓所。随后到南门寻找刘永福，刘未找到，看到的却是越军倒戈、军民乱作一团。残酷的现实使唐意识到大势已去，无法挽回，于是匆匆忙忙带着80名亲兵从东门越壕而出。（注：《中法战争资料》册2，页104、105、104、104—105。）可见，无论是刘永福先出城还是唐景崧先撤退，都是无可奈何之计。
    唐景崧自己勾画了一幅撤离山西的狼狈像，从中可以看出这次撤出形同落荒，颠沛流离，吃尽了苦头；同样，黑旗军也不是整齐划一，有条不紊地撤退：“天瞑不知所之：欲走黄佐炎营，而南门火起，不敢行；欲取道北宁，而敌轮据红河，莫能渡；欲绕上三十里，由屯鹤渡江，而仓皇无识途者，且不忍舍渊亭。当是时，东、西、北三面皆寇，退路独兴化，乃南向绕西以行。回望山城，火光烛天，兵民男女以万计，纷走田野。大呼‘随我纛来’，而云阴蔽月，沟桥莫辨，更无一识往兴化路者，以所行非大道也。夜约三鼓，暂憩岭坡，亲兵失散仅四十二人矣……过村，不启栅，然枪鸣鼓如抗敌者。农耀霖解越语，告以官军大队且至，乃放行。……忽遇黄守忠部将邓遇霖带残队至，询渊亭不知下落，……命差官王得标带亲兵探路，为乱民搀拥，又散去二十余兵，王得标亦迷失不归。再行为横潦所截，盘旋不得出。……觅入民家，小憩竹楼，倦极且馁，襟袜透湿，假寐须臾，而天曙矣。……马上沉思，潸然泪下。”（注：《中法战争资料》册2，页104、105、104、104—105。）
    就这样，黑旗军、桂军、滇军历尽千辛万苦，撤出了山西城，一个重要的根据地落入敌手，这预示着往后的战斗将更加严酷。