很多书刊把西路军左支队冲出祁连山之前打的最后一仗——安西之战的失败归咎于李特，这是不符合历史事实的。4月24日，李卓然、李先念等率领左支队进至甘肃安西城南25华里处的石堡城，准备攻打安西县城。此前，马步芳已经判定红军“似将向嘉裕关外奔入安西、敦煌，西入新疆”，严令各路人马尾追堵截。4月23日，驻防肃州的马步康旅奉命派出一个团的兵力，于当晚进驻安西。原在石堡城向红军提供情报的商贩，发现敌人增兵，便赶忙出城向红军报告。但西路军多数工委委员一致认为，敌人不可能获悉左支队的行踪和计划，“增兵”之说有诈，商贩可能是敌人派来的奸细。李先念是负责军事指挥的，他决定仍照原定计划当夜攻城。安西县城面积不大，但城墙均系黄黏土筑成，又高又厚，利守难攻。李先念、程世才将部队分为两个梯队，于当晚从城东和城西发起进攻。但第一梯队刚进至安西城东关，即遭守敌的猛烈反扑，山炮、迫击炮、机关枪吼声大作，火光遍地。第二梯队向城西门进攻，也遇到敌人密集火力的压制，几次冲锋均未成功。红三十军政委程世才回忆说：“事实已经证明，那位老乡（商贩）的话一点不假，如果没有一个旅以上的敌人，就不会有这样的炮火，再坚持进攻，就必然要招致全军覆没的后果。我和李先念交换了意见，立即停止攻城，向通向新疆的必经之路——王家围子转移。”
     攻打安西失利，主要原因在于未弄清敌情的变化，以为只有一个排的兵力在进行防守。李先念晚年曾为李特“洗冤”，他纠正说：“安西是我决定打的，不能说责任在李特。”
    生死抉择：去延安还是苏联
     1937年5月7日，400余名西路军将士到达迪化后，随即整编为西路军总支队，对外称“新兵营”。根据中共中央指示，在党代表组织领导下，从1937年秋季开始，总支队利用苏联援助盛世才的军事技术装备，以苏联和盛世才的军事教官为教员，开展政治理论学习。
     李特随着西路军余部退入新疆后，仍旧在一次辩论会上大骂毛泽东和中央红军，这次会议的参加者有陈云。陈云当场指出李特说的不对。根据中央文献研究室出版的《李先念传》介绍，在新疆的西路军余部都被要求做了是否回到延安的选择，李先念等人表态坚决要回延安，而黄超、李特等人则没有选择回去。