己巳日，石虎去世，太子石世即位，尊刘皇后为皇太后。刘太后临朝听政，任命张豺为丞相；张豺辞让不接受，请求任命彭城王石遵、义阳王石鉴为左右丞相，以安抚他们，刘太后听从了。
张豺和太尉张举谋划诛杀司空李农，张举向来和李农友好，秘密告诉了李农；李农逃到广宗（今河北广宗县），率领乞活军（胡三省注：李恽、田徽的余部，自永嘉以来屯聚在上白）数万家防守上白（今河北威县东北）。刘太后派张举统领宿衞军队包围他。张豺任命张离为镇军大将军，监中外诸军事，作为自己的副手。
彭城王石遵从幽州到达河内郡（治所在今河南沁阳市），听说石虎去世；姚弋仲、蒲洪、刘宁以及征虏将军石闵、武衞将军王鸾等人讨伐梁犊返回，在李城（今河南温县东）遇到石遵，共同劝石遵说：“殿下年长且贤明，先帝也有意以殿下为继承人；（胡三省注：指石虎想听从张举的话。）只是因为晚年昏聩糊涂，被张豺欺骗。如今女主临朝，奸臣掌权，上白的包围还没解除，京城的宿衞空虚，殿下如果声讨张豺的罪行，击鼓进军讨伐他，谁会不打开城门，倒戈迎接殿下呢！”石遵听从了他们的建议。
五月，石遵从李城起兵，返回直奔邺城，洛州刺史刘国率领洛阳（今河南洛阳东北）的部众前往会合。檄文传到邺城，张豺非常恐惧，急忙召回包围上白的军队。丙戌日，石遵的军队驻扎在荡阴（今河南汤阴县），士兵九万人，石闵为前锋。（胡三省注：张豺将要出兵抵抗。）邺城的老臣、羯族士兵都说：“彭城王前来奔丧，我们应该出城迎接，不能为张豺守城！”（胡三省注：《方言》说：耆，就是长；《说文解字》说：老；《左传注》说：强；《礼记音义》说：至，指到了老年。羯士，是石氏的同族。）他们翻墙出城，张豺斩杀他们，也不能阻止。张离也率领龙腾卫士二千，打开城门迎接石遵。刘太后恐惧，召张豺入宫，对着他悲伤哭泣说：“先帝的棺材还没安葬，而灾祸就到了这种地步！如今继位的儿子年幼，托付给将军；将军打算怎么办？想给石遵加授重要职位，能平息祸乱吗？”张豺惶恐害怕，不知该怎么办，只说“是是”。于是下诏，任命石遵为丞相，领大司马、大都督、督中外诸军，录尚书事，加黄钺、九锡。己丑日，石遵到达安阳亭（安阳县，属魏郡，今河南安阳市附近的都亭），张豺害怕，出城迎接，石遵命令拘捕他。庚寅日，石遵穿上铠甲，炫耀兵力，从凤阳门进入邺城，登上太武前殿，捶胸顿足，极尽哀伤，然后退到东阁（太武殿的东阁）。在平乐市（邺城的市场，今河北临漳县境内）斩杀张豺，灭他三族。假传刘太后的命令说：“继位的儿子年幼，是先帝因私人恩情所授，皇业至关重要，不是他能承担的；应该由石遵继位。”于是石遵即位，大赦天下，解除对下白的包围。辛卯日，封石世为谯王，（胡三省注：《载记》说：石世共在位三十三天。）废黜刘太后为太妃；（胡三省注：《考异》说：《晋春秋》及《十六国春秋钞》，都说废太后为昭仪。这里依从《载记》。《十六国春秋》及《载记》，又说石世在位三十三天。按四月己巳到五月庚寅，共二十二天。）不久把他们都杀了。
李农前来认罪，石遵让他恢复职位。尊母亲郑氏为皇太后，（胡三省注：郑氏就是石邃的母亲。郑后被废见九十五卷成帝咸康三年。）立妃子张氏为皇后，已故燕王石斌的儿子石衍为皇太子。任命义阳王石鉴为侍中、太傅，沛王石冲为太保，乐平王石苞为大司马，汝阴王石琨为大将军，武兴公石闵为都督中外诸军事、辅国大将军。（胡三省注：这为石闵掌握兵权，消灭胡羯埋下伏笔。）
甲午日，邺城中刮起暴风，拔起树木，雷电交加，冰雹大如盂和升。太武晖华殿发生火灾，以及各个门观楼阁都荡然无存，皇帝的车驾、服饰、器物，烧掉大半，（胡三省注：金属器物、乐器都烧光了，大火一个多月才熄灭。）
当时沛王石冲镇守蓟城（今北京西南），听说石遵杀石世自立，对他的僚属说：“石世接受先帝的遗命，石遵擅自废黜并杀死他，罪过没有比这更大的了！命令内外戒严，我将亲自讨伐他。”于是留下宁北将军沭坚戍守幽州，率领五万部众从蓟城南下，向燕、赵地区传发檄文，响应的人云集；到达常山郡（治所在今河北正定县南）时，部众达十多万人，驻扎在苑乡（今河北任县东北）；遇到石遵的赦书，石冲说：“都是我的弟弟；死去的不能追回，为什么还要相互残杀呢！我将要回去了。”他的部将陈暹说：“彭城王篡位弑君，自立为帝，罪过极大！大王虽然向北撤军，我将向南进军，等到平定京城，擒获彭城王，然后奉迎大王。”石冲于是又进军。石遵紧急派王擢送信劝谕石冲，石冲不听。石遵派武兴公石闵和李农率领十万精锐士兵讨伐他，双方在平棘（今河北赵县东南）交战，石冲的军队大败；在元氏（今河北元氏县西北）擒获石冲，赐他死；活埋他的士兵三万多人。