霍禹、霍山等人的家中多次出现怪异的现象，全家人都忧愁不已。霍山说：“丞相擅自减少宗庙祭祀用的羊羔、兔子和青蛙，可以用这个罪名来治他！”他们谋划让太后为博平君设酒宴，邀请丞相、平恩侯等人前来，让范明友、邓广汉假称奉太后之命将他们斩杀，然后废掉皇帝，拥立霍禹为帝。计划已经商定，但还没来得及实施，霍云被任命为玄菟太守，太中大夫任宣被任命为代郡太守。恰逢他们的阴谋被发觉，秋季，七月，霍云、霍山、范明友自杀。霍显、霍禹、邓广汉等人被逮捕；霍禹被腰斩，霍显和她的女儿、兄弟都被斩首示众；因与霍氏家族有牵连而被诛杀的有几十家。太仆杜延年因为是霍氏的旧人，也被牵连免职。八月己酉日，皇后霍氏被废，迁居到昭台宫（胡三省注：昭台宫在上林苑中 ）。乙丑日，宣帝下诏，封告发霍氏谋反的男子张章、期门董忠、左曹杨恽（《百官表》记载：侍中、左·右曹都是加官。晋灼注：《汉仪注》记载，诸吏、给事中每天上朝谒见皇帝，处理尚书奏事，分为左、右曹 ）、侍中金安上、史高为列侯。张章被封为博成侯，董忠被封为高昌侯，杨恽被封为平通侯，金安上被封为都成侯，史高被封为乐陵侯。杨恽是丞相杨敞的儿子；金安上是车骑将军金日磾弟弟的儿子；史高是史良娣哥哥的儿子。
当初，霍氏家族生活奢侈，茂陵人徐生说：“霍氏家族一定会灭亡。因为奢侈就会不谦逊，不谦逊就必然会冒犯君主。冒犯君主，就是大逆不道，地位在他人之上，众人必然会厌恶他。霍氏家族掌权已久，厌恶他们的人太多了；天下人都厌恶他们，而他们又做出大逆不道的事，怎么可能不灭亡呢！”于是他上书说：“霍氏家族权势太盛，陛下就算宠爱厚待他们，也应该适时加以抑制，不要让他们走向灭亡！”他多次上书，每次都只得到皇帝已知道的回复。后来霍氏家族被诛杀，那些告发霍氏的人都得到了封赏，有人为徐生上书说：“我听说有个客人去拜访主人，看到主人家的烟囱是直的，旁边还堆着柴草，客人就对主人说：‘把烟囱改成弯曲的，把柴草搬到远处，不然会有火灾隐患！’主人却沉默不语。不久，主人家果然失火，邻居们一起帮忙扑救，才把火扑灭。于是主人杀牛摆酒，答谢邻居，被火烧伤的人坐在上位，其他人则按照功劳大小依次就座，却唯独没有邀请那个建议把烟囱改弯、搬走柴草的人。有人对主人说：‘当初要是听了那位客人的话，就不用花费牛和酒，也不会有这场火灾。现在论功行赏，提出把烟囱改弯、搬走柴草建议的人没有得到任何好处，那些被烧得焦头烂额的人却成了上宾，这合适吗？’主人这才醒悟过来，邀请了那位客人。如今茂陵的徐福，多次上书说霍氏家族将会有变故，应该提前防范。当初要是徐福的建议能够被采纳，那么国家就不用花费分封土地、赏赐爵位的代价，大臣也不会因为谋反而被诛杀。过去的事情已经无法改变，但徐福却唯独没有得到应有的功劳，希望陛下能明察，重视那个提出把烟囱改弯、搬走柴草建议的人，让他的功劳排在那些被烧得焦头烂额之人的前面！”宣帝于是赏赐给徐福十匹绸缎，后来还让他做了郎官。
宣帝刚即位时，前往高庙祭拜，大将军霍光陪乘（汉代制度，皇帝出行的大驾，由大将军陪乘 ），宣帝内心十分敬畏他，就像背上有芒刺一样难受。后来车骑将军张安世代替霍光陪乘，天子放松自在，觉得非常安稳亲近。等到霍光去世，他的家族最终被诛杀，所以民间传言说霍氏的灾祸是从霍光陪乘时就埋下了隐患。十二年后，霍皇后又被迁到云林馆，最终自杀身亡。
班固称赞道：霍光接受了辅佐幼主的重托，承担着汉室的期望，匡扶国家，安定社稷，拥立昭帝，又拥立宣帝，就算是周公、伊尹也比不上他。然而，霍光不学无术，不明大理；他纵容妻子的邪恶阴谋，把女儿立为皇后，沉溺于过度的欲望之中，最终增加了家族覆灭的灾祸，他死后才三年，家族就被诛灭，实在是悲哀啊！
史臣司马光评论说：霍光辅佐汉室，可以说是忠心耿耿；然而最终却不能保全自己的家族，这是为什么呢？赏罚大权，是君主掌控的工具；臣子掌握它，时间长了却不归还给君主，很少有不招来灾祸的。凭借汉