癸巳日，霍光召集丞相、御史、将军、列侯、中二千石官员、大夫、博士在未央宫开会商议。霍光说：“昌邑王行为昏庸混乱，恐怕会危害国家，大家觉得该怎么办？”大臣们听后都惊愕失色，没有人敢发言，只是一味地应和。田延年走上前，离开座位，手按宝剑说：“先帝把年幼的孤儿托付给将军，把天下大事交给将军，是因为相信将军忠诚贤能，能够安定刘氏江山。如今下面一片混乱，国家眼看就要倾覆；而且汉朝皇帝的谥号里常常有‘孝’字，就是为了能长久地拥有天下，让宗庙得以祭祀。要是汉朝的祭祀断绝了，将军就算死了，又有什么脸面去地下见先帝呢？今天必须做出决定，不容拖延，谁要是最后才表态，我就用剑斩了他！”霍光连忙谢罪说：“九卿说得对！天下动荡不安，我愿意承担责任。”于是，参加商议的人都叩头说：“天下百姓的命运都掌握在将军手中，我们一切听从将军的命令！”
霍光随即和大臣们一起去拜见太后，详细陈述了昌邑王不适合继承宗庙大统的种种表现。皇太后于是乘车前往未央宫的承明殿（未央宫有承明殿，天子在这里接见儒生、学士。汉武帝曾责备庄助说：“你厌倦了承明殿的居所”；《西都赋》说：“承明、金马，是着书立说的地方”，说的就是这里 ），下诏各宫门不许昌邑国的群臣入宫。刘贺朝见太后回来，正坐着辇车要回温室殿（晋灼注：长乐宫有温室殿。《三辅黄图》记载：温室殿在未央殿北面，是汉武帝修建的。我认为长乐宫固然也有温室殿，但汉朝的各位皇帝都住在未央宫，所以这里应该是未央宫的温室殿 ），这时，中黄门宦官们各自拿着门扇（中黄门属少府黄门令。师古注：中黄门，是指在宫中、黄门内任职的宦官，俸禄与百石相当 ），刘贺一进去，门就关上了，昌邑国的群臣被挡在外面进不去。刘贺问道：“这是怎么回事？”大将军霍光跪地说：“有皇太后的诏令，不许昌邑国的群臣入宫！”刘贺说：“慢着点，何必这么吓人！”霍光派人把昌邑国的群臣全部赶了出去，安置在金马门外。车骑将军张安世率领羽林军，逮捕了二百多人，都送到廷尉的诏狱。霍光又命令曾在汉昭帝身边任职的侍中、中臣守护刘贺。他还告诫身边的人：“要小心护卫！如果他突然死亡或者自杀，让我背上杀主的罪名，那我可就无法向天下人交代了。”此时刘贺还不知道自己即将被废，他问身边的人：“我的那些旧臣和随从犯了什么罪，为什么大将军要把他们都抓起来呢？”
没过多久，太后下诏召见刘贺。刘贺听说要被召见，心里有些害怕，说：“我犯了什么错，为什么要召见我呢？”太后穿着用珍珠装饰的短衣，盛装坐在武帐中，几百名侍从都手持兵器，期门武士手持戟在殿下列队（期门属光禄勋，负责手持兵器护卫皇帝出行。汉武帝微服出行时，和一些勇猛有力的人在宫殿门口约定时间，所以叫期门 ）。大臣们按顺序上殿，召昌邑王刘贺上前听候诏令。霍光和大臣们联名上奏弹劾刘贺，尚书令宣读奏章：“丞相杨敞等冒死向皇太后陛下进言：孝昭皇帝过早地离开了天下，朝廷派使者征召昌邑王来主持丧礼，他却穿着丧服，内心毫无悲哀之情，废弃了礼仪。在进京的路上，他也不遵守素食的规定，还让随从的官员抢夺女子，用装衣服的车子载着，藏在自己居住的传舍里。刚到长安，在谒见太后，被立为皇太子时，他还私下买鸡和猪肉来吃。在昭帝的灵柩前接受皇帝的信玺、行玺后（孟康注：汉朝初期有三种玺，天子的玺自己佩戴，信玺、行玺放在符节台。大行前，指昭帝的灵柩前。），回到住处后，他打开玺印却不封存。他还让随从的官员拿着符节，把昌邑国的随从官员、车夫、厨师、官奴等二百多人带进宫中，经常和他们在宫中嬉戏打闹。他还写了这样的诏书：‘皇帝问候侍中君卿：让中御府令高昌奉上黄金千斤，赐给君卿，让你可以娶十个妻子。’昭帝的灵柩还在前殿，他就拿出乐府的乐器，把昌邑国的乐人召进宫来击鼓、唱歌、吹奏，表演滑稽戏；还把祭祀泰一神和宗庙的乐人都召来，演奏各种音乐（郑氏注：是祭祀泰一神的乐人。我依据汉武帝祭祀泰一神时使用乐舞，召来歌女演奏二十五弦琴和箜篌，还采集诗歌在夜里诵读，有赵、代、秦、楚等地的歌谣，宗庙的音乐有《文德》《昭德》《文始》《五行之舞》《嘉至》《永至》《登歌》《休成之乐》《房中祠乐》《安世乐》《昭容乐》《礼容乐》，乐人共有八百二十九人 ）。他还乘坐法驾，在北宫、桂宫（师古注：北宫、桂宫都在未央宫的北面。《三辅黄图》记载：桂宫是汉武帝建造的，周长十多里，有紫房复道与未央宫相通。《三秦记》记载：未央宫渐台西边有桂宫 ）之间驱马奔驰，玩斗野猪、斗老虎的游戏。他还召来皇太后用的小马车（张晏注：是皇太后在宫中乘坐的游玩用的辇车。汉朝的马厩里有果下马，这种马高三尺，可以用来拉辇车。师古注：果下马体型矮小，可以在果树下骑行，所