另外，乐陵侯史高凭借外戚的身份和旧日的恩情担任侍中，地位尊贵（乐陵，今山东乐陵 ；乐陵属平原郡。史高是汉宣帝祖母史良娣哥哥史恭的长子 ）。黄霸举荐史高，认为他可以担任太尉。宣帝派尚书去询问黄霸：“太尉这个官职已经废除很久了（尚书，属少府。成帝建始四年，增加到五人。从汉文帝废除太尉官职，到汉景帝任命周亚夫为太尉，不久后又废除。到汉武帝时，任命田蚡为太尉；此后废除，不再任命 ）。宣扬教化，洞察隐情，让监狱中没有冤案，地方上没有盗贼，这是你丞相的职责。而任命将相，是我皇帝的权力。侍中、乐陵侯史高，是我身边的近臣，我对他的才能和品质非常了解。你为什么要越职举荐他呢？”（丞相的职责是统领百官，举荐贤才，罢黜不称职的人。黄霸举荐史高，认为他举荐的人不合适是可以的，但认为这是越职行为就不对了。大概从汉武帝以来，丞相失职已经很久了 ）尚书令负责听取丞相的回答（《后汉志》记载：尚书令，是秦朝设置的官职。汉武帝任用宦官，将其改为中书谒者令。汉成帝任用士人，恢复旧制，掌管官员选拔和尚书各部门的文书等事务 。皇帝既然派尚书去询问黄霸，所以让尚书令听取他的回答 。尚书令、中书令，沈约认为是两个官职。注释已在前面提及 ）。黄霸摘下帽子，向宣帝谢罪，过了好几天，宣帝才决定不追究他的责任。从那以后，黄霸不敢再随意举荐他人。然而，自汉朝建立以来，谈论治理百姓的官吏，黄霸一直名列前茅。
三月，汉宣帝前往河东郡（今山西夏县西北 ），祭祀后土神。他还下令减少天下百姓的口钱（如淳注释：《汉仪注》规定，百姓从七岁到十四岁要缴纳口赋钱，每人二十三钱；其中二十钱用来供奉天子；另外三钱是汉武帝增加的，用来补充车骑用马的费用 ），并大赦天下，免除死刑以下的罪犯的刑罚。
六月辛酉日，宣帝任命西河太守杜延年为御史大夫（《考异》记载：荀《纪》写作“辛巳”，《百官表》写作“辛酉”。根据《长历》，这个月是丙午朔日，没有辛巳日 ）。
汉朝设置西河、北地属国，用来安置归降的匈奴人。
广陵厉王刘胥让女巫李女须诅咒汉宣帝，希望自己能当上皇帝。事情败露后，他用药毒死了女巫以及二十多名宫女，想要以此封口。公卿大臣们请求诛杀刘胥。
**四年（丁卯，公元前54年）**
春季，刘胥自杀。
匈奴单于向汉朝称臣，并派弟弟右谷蠡王到汉朝来侍奉皇帝（《考异》记载：根据《匈奴传》，“呼韩邪单于称臣后，立即派铢娄渠堂到汉朝侍奉皇帝”，这件事发生在第二年。当时匈奴有三位单于，不知道这里说的单于指的是谁。我按照《通鉴》依据班固《汉书·宣帝纪》记载此事，并参考《匈奴传》来明确其中的差异 ）。因为边境没有了敌寇侵扰，汉朝削减了十分之二的戍边士兵。
大司农中丞耿寿昌上奏说：“近年来粮食丰收，谷价低廉，农民获利很少（当时谷价每石五钱，这就是所谓的谷贱伤农。 ）。按照旧例，每年要从关东地区漕运四百万斛谷物供给京城，需要征调六万人。现在应该在三辅、弘农、河东、上党、太原等郡购买谷物，足够供应京城所需，这样可以节省一半以上从关东地区漕运的士兵。”宣帝听从了他的建议。耿寿昌又上奏说：“让边境各郡都修建粮仓，在谷价低的时候提高价格收购，谷价高的时候降低价格出售，这种粮仓叫做常平仓。”常平仓的制度就是从这时开始的。百姓从中得到了便利。宣帝于是下诏赐给耿寿昌关内侯的爵位。
夏季，四月辛丑朔日，发生了日食。
杨恽失去爵位后，在家中经营产业，靠财富来让自己享乐。他的朋友、安定太守西河人孙会宗给他写信，劝诫他说：“大臣被罢官免职后，应该闭门思过，做出可怜的样子，不应该再经营产业，结交宾客，获取声誉。”杨恽是宰相的儿子（杨恽是宰相杨敞的儿子 ），有才能，年轻时就在朝廷中崭露头角，却因为一些言语上的过失被罢官，他心里很不服气，便给孙会宗回信说：“我私下想，我的过错已经很大了，行为也有亏缺，看来这辈子只能当农民了。所以我亲自带领妻子儿女，努力耕种田地，养蚕织布，没想到这样还会被人指责议论！人之常情中，那些无法抑制的事情，圣人也不会禁止；所以君主、父亲虽然是最尊贵、最亲近的人，但为他们送终，也有结束的时候（师古注：君主最为尊贵，父亲最为亲近。张晏注：守丧不超过三年；大臣被放逐，降职三个月后就可以恢复原来的待遇。师古注：既，是已经的意思。原父注：杨恽只是说为君主、父亲送终三年，原本并没有提到大臣放逐三个月的事。我认为杨恽说这番话，实际上是因为被罢官而心怀怨恨 ）。我获罪已经三年了，在田家劳作很辛苦，每