李泌听他如此说，心中犹然生出一股不平之气，觉得一位父亲能说出如此话来，也真是冷血无情。
但他又蓦然想起在正月里那个阴晦的日子里，躺在榻上昏迷不醒的李亨在梦呓中痛彻心扉的呼喊“建宁”名字的情景，不由心中一叹，暗道：“都说天家无情，果如是乎？”
那一点怨气也就随即散去了，只得耐心劝导他说：“若有此心，广平当怨之。广平每与臣言其冤，辄流涕呜咽。臣今必辞陛下去，始敢言之耳。”
李亨显然被他一连串的质问逼到了墙角，但口中仍自强辩道：“渠尝夜扪广平，意欲加害……”他声音慢慢放低，说到最后似乎也没了底气。
李泌见他堂堂九五之尊，竟然如小孩儿般抵赖，立即反问道：“此皆出谗人之口，岂有建宁之孝友聪明，肯为乎！且陛下昔欲用建宁为元帅，臣请用广平。建宁若有此心，当深憾于臣；而以臣为忠，益相亲善，陛下以此可察其心矣。”
说道这里，李亨终于哑口无言，眼中眼泪扑簌簌落下，四十多岁的人了，却如犯了错的孩子一般，喃喃道：“先生言是也。既往不咎，朕不欲闻之。”
李泌也不想让这位堂堂天子如此尴尬，见他终于再次表现出了悔意，便诚恳地说道：“臣所以言之者，非咎既往，乃欲陛下慎将来耳。昔天后有四子，长曰太子弘，天后方图称制，恶其聪明，鸩杀之，立次子雍王贤。贤内忧惧，作，冀以感悟天后。天后不听，贤卒死于黔中。其辞曰：
‘种瓜黄台下，瓜熟子离离。
一摘使瓜好，再摘使瓜稀，
三摘犹为可，四摘抱蔓归！’
今陛下已一摘矣，慎无再摘！”
李泌这番话可谓苦口婆心，李亨听了之后良久无言，终于叹道：“安有是哉！卿录是辞，朕当书绅。”
李泌诚恳道：“陛下但识之于心，何必形于外也！”
李亨这才连连点头，表示接受……
其时，李泌知道，广平王李俶因收复两京而屡立大功，惹得张良娣心怀嫉妒。那妇人担心将来李俶先一步把太子坐实了，便没了自己儿子的机会，这才在禁中屡屡散布流言，一会儿说广平王在长安接受回纥王子和军队的效忠了，一会儿又说李俶受到百姓的顶礼膜拜而沾沾自喜了，这些风儿吹到天子李亨耳朵里，眼前虽然还没有什么，但怕是终有一天会让这位耳根子极软的天子猜忌，故此他才借这个机会给李亨提前做个提醒。
这时候，殿中监李辅国进来侍候，添了些酒水，又换了一炉香，磨磨蹭蹭地不肯出去。李亨知他有事，便问道：“你有何事？奏来便可。”
李辅国笑道：“咱家也无甚要紧事，只是见先生来了，刚好想请陛下一个口谕，是不是把这禁中的钥匙交还给先生保管？……咱家管了这一些时候，虽无甚纰漏，到底原先还是由先生管的。”
二人何等聪明？听他如此说，自然明白他的用意。李亨倒也没说什么，鼻子里“嗯”了一声，不置可否。李泌正要请归隐，哪里还有心思揽这趟差事？他见李亨也并无特别要求，便拱手说道：“陛下，臣看还是由他继续掌管一段时间吧!”
李亨见他如此说，便点头同意。李辅国趴下叩了三个头，转身喜滋滋地去了。
李泌哪里想得到他因急于归隐而忽视的这一点纰漏，在将来造成了多大的祸患！
终于，在李泌的坚请之下，李亨才恩准他归隐衡山，不仅降旨为他扩建了原来的书斋——“端居室”，还赐了不少珍贵的典籍藏书给他，并按朝中只有宰相才能享受的三品职衔发给他官俸。到了后来，大唐社稷又临危难，“白衣宰相”李泌再次出世，那就是另外一段故事了。
且说洛阳收复后，天子李亨才正式进入长安。长安百姓倾城而出，在国门外夹道奉迎，欢呼“万岁”的队伍足足延伸出了二十余里。
一个月后，太上皇李隆基的銮驾也从成都抵达了凤翔，李亨忙派去了三千朔方精骑将他奉迎至咸阳望贤宫南楼中。在百官和父老的围观下，特意更换上了紫袍的天子李亨远远下马，小步急趋至楼下，纳头便拜；已经白发苍苍、老态龙钟的李隆基忙在高力士等人的搀扶下，步履蹒跚地从楼上下来，摩挲着李亨的肩膀，不由得老泪纵横……。才四十来岁，头发就已花白了大片的李亨更是扑倒在地，抱着父亲的双脚呜咽起来。
一对历经磨难、久别重逢的父子再次相见，自有一番“动人的真情”，在场的群僚百官、父老乡党，无不被眼前的一幕深深地打动，一起陪着掉了不少眼泪。
父子二人哭了一会儿，李隆基将李亨扶起，早就侍立在身后的高力士就立即将一袭华贵的黄袍捧了过来，李隆基取了，亲手为李亨披在了身上。李亨急忙跪下坚辞不受，李隆基双手替他拉着肩上的袍领，言道：“天数、人心皆归于汝，使朕得保养馀齿，汝之孝也！”
之后又履行了一套繁复的程序，李亨才得以将这件黄袍正式穿在了身上。