宣帝自即位以来，多次派使者寻找自己的外戚；由于时间太过久远，找到的人大多疑似而非真的。这一年，终于找到了外祖母王媪（胡三省注：文颖说，幽州及汉中都把老妇人称为媪；师古说，媪是对年老妇女的称呼 ）以及王媪的儿子王无故、王武。宣帝赐给王无故、王武关内侯的爵位。短短十几天，赏赐给他们的财物数以万计。
**地节四年（乙卯，公元前66年）**
春季，二月，宣帝赐外祖母王媪博平君的封号（根据《外戚传》记载，“把博平、蠡吾二县作为她的汤沐邑”；而《地理志》记载，博平县属东郡 ）。封舅舅王无故为平昌侯（平昌是侯国，属平原郡 ），王武为乐昌侯（乐昌是侯国，属东郡。《恩泽侯表》记载，王武被封为乐昌侯，食邑在汝南 ）。
夏季，五月，山阳（今山东巨野一带）、济阴（今山东菏泽定陶区）降下的冰雹如同鸡蛋一般大小，厚度达到二尺五寸，导致二十多人死亡，飞鸟也全部死亡。
宣帝下诏：“从今往后，儿子隐匿父母的罪行、妻子隐匿丈夫的罪行、孙子隐匿祖父母的罪行，都不再追究。”
立广川惠王的孙子刘文为广川王。本始四年，广川王刘去因罪自杀；如今又立刘文为广川王，继承封国。
霍显和霍禹、霍山、霍云等人，看到自己的权势日益被削弱，多次相对哭泣，相互埋怨。霍山说：“如今丞相掌权，皇帝信任他，把大将军在世时的法令全部更改，还宣扬大将军的过失。而且，那些儒生大多是贫穷人家的子弟，从远方而来，饱受饥寒，喜欢信口开河，说话不避讳，大将军生前就很厌恶他们。现在陛下喜欢和这些儒生交谈，他们每个人都上书发表对政事的看法，很多人都提到我们家。曾经有人上书说我们兄弟骄横放纵，言辞十分激烈；我把这些奏章都扣下没有上奏。后来上书的人更加狡猾，都呈上密封的奏章，还总是让中书令直接取走，不再经过尚书，对我们更加不信任了。又听说民间传言‘霍氏毒死了许皇后’（胡三省注：霍氏毒杀许皇后的事见上卷本始三年 ），难道真有这回事吗？”霍显害怕事情败露，赶忙把实情告诉了霍禹、霍山、霍云。霍禹、霍山、霍云大惊失色，说道：“如果真是这样，为什么不早点告诉我们！皇帝把我们家的女婿们都调走、疏远，就是因为这个原因啊。这可是大事，一旦被发现，惩罚肯定不轻，这可怎么办？”于是，他们开始有了谋反的念头。
霍云的舅舅李竟，与他交好的张赦，见霍云家中慌乱，便对李竟说：“如今丞相和平恩侯掌权，可以让太夫人（指霍显 ）告诉太后（上官太后是霍氏的外孙女 ），先把这两个人杀了；再把皇帝废了，这都取决于太后。”长安有个叫张章的男子得知此事后，向朝廷告发，案件交给廷尉和执金吾处理，他们准备逮捕张赦等人。后来皇帝下诏，停止抓捕。霍山等人更加害怕，相互说道：“这是皇帝尊重太后，所以不把事情追究到底。但是，我们的恶行已经被发现，时间长了还是会被揭露，一旦揭露，我们就要被灭族了，不如先下手为强。”于是，他们让女儿们各自回去告诉自己的丈夫，都说：“已经没有地方可以躲避灾祸了！”
恰逢李竟因与诸侯王勾结而获罪，供词中牵连到了霍氏家族，宣帝下诏：“霍云、霍山不适合再担任宫廷侍卫，免去他们的职务，让他们回家。”山阳太守张敞呈上密封的奏章说：“我听说公子季友对鲁国有功，赵衰对晋国有功，田完对齐国有功，他们的功劳都得到了酬报，并且惠及子孙。但最终田氏篡夺了齐国政权，赵氏瓜分了晋国，季氏专权鲁国（鲁国的公子季友，杀死庆父，拥立僖公，使鲁国得以安定，于是世代担任上卿，掌控鲁国朝政。晋公子重耳流亡在外，赵衰跟随他，重耳回国后称霸诸侯，赵衰立下不少功劳，于是世代担任晋国的卿，掌握军权；到了赵鞅时期，他与智氏、韩氏、魏氏瓜分了晋国。田完从陈国逃到齐国，齐桓公以礼相待并任用他，齐桓公称霸，田完也有功劳；后来陈成子掌握了齐国政权，到了田和时，终于篡夺了齐国 ）。所以孔子作《春秋》，追寻国家兴衰的轨迹，对世袭卿位的现象批评得最为严厉。之前大将军霍光做出重大决策，安定了宗庙，稳定了天下，功劳也不小。周公辅佐成王也不过七年（周公辅佐成王七年，之后将政权归还给成王 ），而大将军掌权长达二十年（从汉武帝后元二年到地节二年，正好二十年 ），天下的命运都掌握在他手中。在他权势鼎盛的时候，甚至能感动天地，影响阴阳变化。朝廷大臣当时就应该明确地说：‘陛下褒奖宠信已故的大将军，以报答他的功德，这已经足够了。近来辅政大臣专权，外戚势力过于强大，君臣之间的名分不明确，请罢免霍氏三位侯爷