霍氏家族骄横奢侈，为所欲为。太夫人霍显大肆修建府邸，制作了一辆乘坐的辇车，在上面加以彩绘，铺上绣着花纹的褥垫，用黄金装饰；她还让侍女们用五彩丝线拉着辇车，在府中嬉戏；她还与管家冯子都私通。而霍禹、霍山也都忙着修缮自家的宅第，在平乐馆骑马奔驰，纵情游乐。霍云本应入朝当值，却多次称病私自外出，还带着众多宾客，在黄山苑中围猎，却让奴仆去上朝谒见（胡三省注：上朝应该亲自去，霍云却让奴仆去代替自己。上谒，就像现在拜见尊贵的人并通报自己的情况 ），却没有人敢责备他。霍显和她的女儿们日夜自由出入长信宫，毫无节制（胡三省注：长信宫是上官太后居住的地方 ）。
宣帝在民间时，就听说霍氏家族长期以来地位尊贵、权势显赫，心中很是不满。亲政之后，他任命御史大夫魏相为给事中。霍显对霍禹、霍云、霍山说：“你们这些人不努力继承大将军的遗业，现在魏大夫做了给事中，要是别人在他面前说你们的坏话，你们还能自救吗！”后来，霍氏家族的奴仆与御史家的奴仆在路上发生争执，霍氏的奴仆冲进御史府，想要踢大夫家的门；御史向他们叩头赔罪，他们才肯离开。有人把这件事告诉了霍氏家族，霍显等人这才开始感到担忧。
恰逢魏相升任丞相，他多次在闲暇时进宫向宣帝进言；平恩侯许伯和侍中金安上等可以直接出入宫中。当时霍山兼领尚书事务，宣帝下令让官吏和百姓可以直接呈递密封的奏章，不必经过尚书，大臣们进见皇帝也更加自由，霍氏家族因此非常厌恶这种情况。宣帝也听说了霍氏家族毒杀许皇后的传闻，但还没有查明真相，于是将霍光的女婿、度辽将军、未央卫尉、平陵侯范明友调任为光禄勋（《功臣侯表》记载，平陵侯的食邑在南阳郡的武当县 ）；将霍光的次女婿、诸吏、中郎将、羽林监任胜调出京城，担任安定太守。几个月后，又将霍光姐姐的女婿、给事中、光禄大夫张朔调出京城，担任蜀郡太守；将霍光孙女婿、中郎将王汉调出京城，担任武威太守。不久之后，又将霍光长女的女婿、长乐卫尉邓广汉调任为少府。戊戌日，宣帝改任张安世为卫将军，未央宫、长乐宫的卫尉，京城十二门的屯兵以及北军八校的兵力都归他统领（胡三省注：两宫，指未央宫和长乐宫。城门口的屯兵，指京城十二门的屯兵；北军，指北军八校的兵力 ）。任命霍禹为大司马，但只让他戴小冠（大司马大将军，要戴武弁大冠。现在贬低霍禹，所以让他戴小冠 ），没有印绶；撤销了他的屯兵和属官，只是让霍禹的官名与霍光一样，都是大司马。又收回范明友的度辽将军印绶，让他只担任光禄勋；霍光的二女婿赵平担任散骑、骑都尉、光禄大夫，统领屯兵，也被收回了骑都尉的印绶（胡三省注：散骑、骑都尉，是以骑都尉的身份加散骑的官职。《百官表》记载：散骑、中常侍都是加官；中常侍可以进入宫中，散骑和皇帝同乘一辆车。如淳说，从列侯到郎中，都可以有散骑和中常侍的加官，当时散骑和中常侍是各自独立的官职，没有固定的人数 ）。那些统领胡、越骑兵、羽林军以及两宫卫戍屯兵的将领，都被宣帝换成了自己亲近信任的许氏和史氏子弟。
当初，汉武帝时期，频繁征发百姓，导致百姓贫困，生活艰难，穷苦百姓为了生计触犯法律，违法犯罪的现象层出不穷。于是，汉武帝让张汤、赵禹等人制定法令，制定了见知故纵、监临部主等法律（胡三省注：见知人犯法不举报，就是故意纵容；而所监管的部门或人员有罪，监管者也要连坐 ），对执法严苛、故意判人重罪的官吏从轻处罚（胡三省注：汉武帝想要实行严刑峻法，对于那些执法严苛、故意判人重罪的官吏，都从轻处理 ），对放纵罪犯、开脱罪行的官吏则严惩不贷。后来，奸猾的官吏巧妙地利用法律条文，相互攀比，使得禁令越来越严密，法律条文繁杂苛刻，公文堆满了几案和书阁，负责掌管法律的官员都无法全部看完。因此，各郡国在执行时也出现了很多混乱的情况，同样的罪行却有不同的判决，奸吏们更是趁机徇私舞弊，他们想要让谁活命，就会为其寻找开脱的理由，想要陷害谁，就会比照死罪来量刑，议论的人都为这些情况感到冤屈和痛心。
廷尉史、巨鹿人路温舒上书说：“我听说，齐国发生了无知之乱，齐桓公却因此兴起（齐襄公被公子无知杀害，雍廪又杀死了无知，齐国陷入大乱，齐桓公从莒国回到齐国即位 ）；晋国发生了骊姬之乱，晋文公却因此称霸（晋献公听信骊姬的谗言，杀死了太子申生，驱逐了公子重耳和夷吾，立骊姬的儿子奚齐、卓子为太子，结果他们都被里克所杀。夷吾回国即位，又被秦国俘虏，后来被释放回国，去世后，他的儿子子圉继位。秦国送重耳回国，子圉死，晋文公最终称霸诸侯 ）；近代赵王不得善终，吕氏家族发动叛乱，而汉文帝却因此成为太宗（事见十三卷 ）。由此可见，祸乱的发生，往往是为圣人的出现开辟道路。在经历变乱之后，一定会