入宫见高宗，高宗问他说：“我想立武昭仪为皇后，褚遂良坚决认为不行。褚遂良是受遗命的大臣，事情应当就此停止吗？”李积回答说：“这是陛下的家事，何必再问外人！”（胡三省注：自从李积说这话，李林甫效仿用来造成明皇杀三个儿子的祸患。德宗时关于舒王的议论也效仿这种说法，若不是李泌，东宫就危险了！）高宗于是拿定主意。许敬宗在朝廷宣扬说：“农夫多收十斛麦，还想换个妻子；何况天子想立皇后，和别人有什么关系而胡乱提出异议呢！”（胡三省注：用农夫比喻天子，许敬宗侍奉君主，没有比这更不恭敬的了！）武昭仪让身边的人把这话报告给高宗。庚午日，贬褚遂良为潭州都督。（胡三省注：潭州在京城以南二千四百四十五里。）