在昭帝时期，霍光得到汉昭帝的全面信任，因而得以独揽大权，他采取休养生息的措施，多次大赦天下，鼓励农业，使得汉朝国力得到一定的恢复。对外也缓和了同匈奴的关系，恢复和亲政策。这段时期和后来的宣帝朝被合称“昭宣中兴”，史家认为西汉自文景之治后被武帝穷兵黩武政策所耗空的国力在这段时间得到了恢复。
    伊霍废立
    元平元年（前74年）夏四月癸未日，汉昭帝驾崩，他没有儿子。霍光迎立汉武帝孙昌邑王刘贺即位，但二十七日之后就以淫乱无道的理由报请上官太后废除了他。霍光同群臣商议后决定从民间迎接武帝曾孙刘病已（后改名刘询）继承帝位。这就是汉宣帝。霍光效法殷商伊尹，行废立天子之事，从此后人合称为“伊霍”。
    近代开始，有史学家提出霍光本人专权，排挤其他几位辅政大臣，废刘贺立刘询也是出于私心。刘贺久在封国，广有党羽，不一定听从霍光的“辅政”，刘询长在民间，无依无靠，无法和霍光抗衡，霍光出于这个目的才废昌邑王改立汉宣帝。
    还有人提出，对于汉宣帝及后来的汉朝皇帝而言，霍光的忠臣形象对于他们皇位的合法性来说是至关重要的一点。因此，有汉一代，霍光本人一直是被称赞的对象。《汉书》也为尊者讳，在《霍光传》里面故意丑化了霍光的政敌桑弘羊等人，美化了霍光。
    身后哀荣
    地节二年（前68年）春三月庚午，霍光病重逝世，临终上书请分自己的封邑三千户给其侄孙霍山，以继承其兄长霍去病的香火。
    霍光死后，汉宣帝同霍光子侄关系逐步恶化。显毒杀许皇后的消息也开始流传。宣帝听到后并未开始调查，而是先采取措施提拔自己的外戚与霍氏的政敌担任要职，架空霍家子弟的兵权，汉宣帝先改霍光女婿大将军范明友为光禄勋，羽林监任胜为安定郡太守，又把霍光的姐夫张朔由给事中光禄大夫改为蜀郡太守，孙婿王汉为武威郡太守，长乐宫卫尉邓广汉为少府，这样夺取了他们的在帝都的军权，扫清了霍家的外围势力。接着开始对霍家动手，改霍禹为大司马，无印绶，架空兵权，霍光的另一女婿赵平的兵权也被夺，霍氏人马，再也无法掌握长乐宫和未央宫的禁军。霍氏家族惶恐之余决定反击，霍禹打算杀了丞相魏相与宣帝的丈人昌成君许广汉，罢黜皇帝。公元前66年7月，事情败露，霍禹被腰斩，霍云、霍山自杀，霍家一族遭到满门抄斩。至此，霍光妻子显及儿子，侄子，女婿等家人除女婿金赏因告发谋反一事被赦免外，全部被杀或者自杀，女儿霍成君也被废处昭台宫，十二年后自杀。
    长安城中有数千家人家被牵连族灭。当时人大多认为霍家功高震主，族灭之因在霍光辅政时期就已经埋下，谋杀许皇后和谋反不过是表面原因而已。霍家族灭以后，霍光之墓未被株连，依旧陪葬茂陵。
    盛誉背后
    霍光为了其外孙女上官皇后独宠以生下汉昭帝的后代，默许太医借口汉昭帝身体不好而令宫中宫女皆穿“穷裤”（也称“绲裆裤”，有裆并在前后用带系住的裤子，实际上只是一种专用于遮羞、形似布条的编织物。这可能是最早的裤子，但这种裤子仅仅局限于宫女们穿用）。《汉书·外戚传》：“光（霍光）欲皇后擅宠有子，帝时体不安，左右及医皆阿意，言宜禁内，虽宫人使令皆为穷絝，多其带。”后泛称“穷裤”为“裆裤”，由于不方面脱下，从而减少了发生性行为的想法，阻止昭帝其余嫔妃怀孕生子。
    霍光治家不严，其继室显毒死皇后的鲁莽行径也被他轻轻放过，他的家奴在长安横行霸道，甚至曾打上御史大夫府第。汉乐府中也有“昔有霍家奴，姓冯名子都。依倚将军势，调笑酒家胡。”之句。