此时郎中令李广请求从军，汉武帝认为他老了，不允许，过了很久，才勉强答应，于是任命他为前将军，与左将军公孙贺、右将军赵食其、后将军平阳侯曹瓤所部均隶属于大将军卫青。赵信为单于谋划：“汉兵度过大沙漠，人马疲乏，我们就坐等收容俘虏了。”匈奴将辎重囤放在北边后方，集结精兵在漠北以逸待劳等待汉军。人算不如天算，卫青率军出塞千余里，穿越大漠，正好遇见单于的主力，汉武帝刻意的安排落空。卫青见匈奴列阵以待，于是命令用武刚车(一种战车)环绕为营，派出五千骑兵攻击与匈奴的一万骑兵作战。此时太阳落山，刮起了大风，沙砾击面，两军都互相看不见对方，汉军从左、右两翼包围单于。单于见汉军人马众多、兵强马壮，于是傍晚他乘着骡车与数百精骑突围向西北逃跑。汉匈两军在昏暗中继续混战，双方杀伤相当。当汉军知道单于已经逃跑，随即派遣轻骑在夜里追击，卫青率大军跟随其后。天亮后，已经追击了200余里，仍然不见单于踪影。汉军一路追杀抵达了赵信城(今蒙古国杭爱山南麓)，获得匈奴在此囤积的粮食，大军逗留一天撤军，并将剩余的粮食全部焚毁。卫青所部一共俘获、斩首达19万人。卫青回到大漠以南后，才遇到了迷路的前将军李广、右将军赵食其。为了向皇帝汇报情况，卫青命令长史(掌管有关官署日常事务的官员)按法律所列的罪状逐条审问李广，李广以自己“年六十余矣，终不能复对刀笔之吏”而自杀，赵食其则下狱论死赎为庶人。
     并非汉武帝、卫青有意想迫害李广，相反，汉武帝对李广还是非常信任、赏识和宽大的，他刚即位就提拔李广任未央宫的卫尉，保卫皇宫，不可谓不信任；李广曾因兵败判处死罪，赎为庶人，曾饮酒后夜行到霸陵亭(今陕西省西安市东郊)，霸陵尉喝醉了，呵斥李广。李广在马上说：“我是前李将军。”霸陵尉回道：“现任将军都不能夜行，不要说前将军了！”命令李广睡在亭下，等天明再走。不久匈奴入侵，汉武帝重新起用李广为右北平太守，李广要求霸陵尉一起去参军，而到军前就斩杀了他，然后再上书谢罪。汉武帝宽恕了李广，给他回复：“将军者，国之爪牙也，应该用自己的名声震慑四夷，用自己的威风来恐吓邻国。我希望将军为国除去祸害，并放弃残暴屠杀的行为。我难道希望看到你现在这样免冠光脚，屈膝下拜，以额触地向我请罪吗？”《汉书》卷65《李广苏建传》。
     残杀霸陵尉的行为说明李广为人心胸狭隘，报复心极强，将私人恩怨置于国家大事之上；在匈奴入侵，自己承担抵抗重任之际，竟然还残暴、极端自私地利用抵抗侵略的机会滥杀无辜。汉武帝对此的回答可以说是有情、有理、有节，并显示了自己宽容大度，他指出李广身为一位肩负重任的将军，使命是抵御外侮，而不是借机因个人恩怨而残杀无辜。即使如此，汉武帝以后仍然任命李广位列公卿的郎中令，地位仅在三公之下，全面负责皇宫及他本人的安全保卫，这充分表明他对李广是绝对信任并且非常器重的；不仅如此，李广的三个儿子李当户、李椒、李敢均担任过汉武帝的侍卫，李椒被提拔为代郡太守，李敢更是担任郎中令。李广的长子李当户性格也类似于他的父亲，非常刚直、忠勇。备受汉武帝宠爱的佞幸韩嫣与汉武帝调笑，侍立在旁的李当户一厢情愿地认为韩嫣过分放肆，竟然当场将他打得抱头鼠窜，结果李当户非但没有遭处罚，反而因此深得汉武帝赏识，可惜因他早死而未来得及被重用。后来李当户的遗腹子李陵也担任了汉武帝的侍卫，可以说李广一家祖孙三代都深受汉武帝的赏识、信任。
     汉武帝为人慷慨大方，甚至大方得有点过分，赏赐有功将士从不吝惜，卫青收复河南地，他一次就封卫青部下十人为侯，如果李广有功，他又怎么会不封呢？李广曾宣称名声远不及自己的堂弟李蔡也能以军功封侯，另外诸部校尉以下，他们的地位不高，才能均不及中人，当然更不及自己，却也有数十人能以军功封侯。这些事实虽然让李广很不服气，但这恰好证明汉武帝的封侯只凭军功，而不以名声、地位。在卫青出兵前，因为李广的年龄太大，并且他在与匈奴作战中的运气太差，战绩不佳，汉武帝担心因为他的不胜任会影响此次决战，于是暗中命令卫青不让李广当前锋对付匈奴单于的主力；另外，卫青也想让自己的老部下，新失去侯位的公孙敖面对匈奴主力立功，所以也想将李广调离，但主要还是服从汉武帝的命令，从而导致了李广迷路不能按期到达的悲剧。
     司马迁对李广抱着深切的同情心，《史记》中的《李将军列传》是千古传诵的名篇，因此李广的形象深入人心，大家似乎都认为李广没有受到汉武帝重用，普遍认为“李广功高，封侯无份”，甚至最后因被卫青排挤、迫害而死，但历史的事实并非如此。前面讲过，汉高帝规定“非有功不得侯”，这一规定在当时还是得到较为严格的遵守。李广与匈奴的几次主要作战，不仅没有立功，甚至还打了败仗，最后也因迷路自杀，否则按照汉朝的法律，则又是死罪。因受李广的孙子李陵的牵连，司马迁遭受了残酷的刑罚，因此与命运坎坷的李广产生了共鸣，同病相怜；汉朝人也普遍喜欢刚烈、质朴、耿直、忠勇的品质，因此世代均为将门出身的李广及其一家的遭遇博得了很多同情，他的事迹比如被俘后奇迹般的逃脱，射箭入石，对部下关怀备至等故事在当时已经成为了传奇，他也因此享有了很高的声誉。