（胡三省注：《旧林甫传》说：“李林甫把张九龄的话告诉牛仙客，牛仙客第二天见皇上哭着辞让官爵。”按当时没听说牛仙客在京城。现在依从《唐历》。）
玄宗很高兴，第二天，又以给牛仙客实封的事来说，张九龄像起初一样坚决反对。玄宗发怒，变了脸色说：“事情都由你做主吗？”张九龄叩头谢罪说：“陛下不知道臣愚笨，让臣在宰相职位上待罪，事情有不合适的，臣不敢不把话说完。”玄宗说：“你嫌弃牛仙客出身寒微，像你有什么门第呢？”张九龄说：“臣出身岭海孤贱，（胡三省注：张九龄，韶州人。）不如牛仙客出生在中原；（胡三省注：牛仙客，泾州人。）但臣在台阁任职，掌管诰命有多年了。（胡三省注：张九龄历任司勋员外郎、中书舍人。）牛仙客是边地小吏，不识字，如果委以重任，恐怕不符合众人的期望。”李林甫退下后说：“如果有才能见识，何必一定要有学问！天子用人，有什么不可以的！”十一月，戊戌日，赐牛仙客爵陇西县公，食实封三百户。
起初，玄宗想任命李林甫为宰相，询问中书令张九龄，张九龄回答说：“宰相关系到国家的安危，陛下任命李林甫为宰相，臣恐怕将来会成为国家的祸患。”玄宗不听从。当时张九龄正以文学被玄宗看重，李林甫虽然怨恨他，还是违心侍奉他。侍中裴耀卿与张九龄友好，李林甫一起嫉恨他们。这时，玄宗在位多年，渐渐放纵奢侈的欲望，对政事懈怠。而张九龄遇到事情无论大小都极力争辩；李林甫则巧妙地窥伺玄宗的心意，每天想着用来中伤张九龄的办法。
玄宗做临淄王时，赵丽妃、皇甫德仪、刘才人都受到宠爱，（胡三省注：唐玄宗设置六仪，德仪是其中之一。）赵丽妃生下太子李瑛，皇甫德仪生下鄂王李瑶，刘才人生下光王李琚。等到玄宗即位，宠幸武惠妃，赵丽妃等人的宠爱都衰退了；武惠妃生下寿王李瑁，宠爱超过其他皇子。太子与李瑶、李琚在宫内宅第相会，（胡三省注：当时太子、诸王都住在禁中。）各自因为母亲失宠而有怨恨的话。驸马都尉杨洄娶咸宜公主，常常窥伺三个皇子的过失告诉武惠妃。（胡三省注：咸宜公主，是武惠妃的女儿，所以杨洄依附武惠妃。）武惠妃哭着对玄宗诉说：“太子暗中结党，将要害妾母子，也指斥皇上。”玄宗大怒，把这事告诉宰相，想把他们都废黜。张九龄说：“陛下即位将近三十年，太子诸王不离深宫，（胡三省注：离，力智翻。）每天接受圣上的教诲，天下的人都庆幸陛下在位长久，子孙昌盛。现在三个皇子都已成年，没听说有大的过错，陛下为什么一旦因为没有根据的话，在喜怒之际，就把他们都废黜呢！况且太子是天下的根本，不可以轻易动摇。从前晋献公听信骊姬的谗言杀申生，导致三世大乱。（胡三省注：《左传》记载，晋献公杀其世子申生，立骊姬之子；里克杀了他。公子夷吾、重耳及子圉争国，三世大乱。）汉武帝相信江充的诬陷治戾太子的罪，京城流血。（胡三省注：事见《汉纪》。）晋惠帝用贾后的谗言废愍怀太子，中原遭受涂炭。（胡三省注：事见《晋纪》。）隋文帝听信独孤后的话废黜太子杨勇，立隋炀帝，于是失去天下。（胡三省注：事见《隋纪》。）由此看来，不可以不谨慎。陛下如果一定要这样做，臣不敢奉诏。”玄宗不高兴。李林甫起初没有说话，退下后私下对受宠的宦官说：“这是主上的家事，何必问外人！”玄宗犹豫不决。武惠妃秘密让官奴牛贵儿对张九龄说：“有废就有兴，您为他提供援助，宰相之位可以长久保持。”张九龄呵斥了他，把他的话告诉了玄宗；玄宗为此变了脸色，所以直到张九龄罢相，太子得以无事。李林甫日夜在玄宗面前说张九龄的坏话，玄宗渐渐疏远张九龄。
（胡三省注：《明皇杂录》说：“李林甫请求拜见，多次陈述牛仙客实封之事，张九龄很有诽谤之言。当时正是秋天，皇上命令高力士把白羽扇赐给他。张九龄惶恐，作赋进献。”《新传》也这样说。按《实录》，牛仙客加实封在十月。而张九龄《集》中《白羽扇赋序》说：“开元二十四年夏盛暑，奉敕让大将军高力士赐宰相白羽扇，张九龄也在其中。私下有所感触，立刻进献赋”等等。敕令回复说：“朕近来赐羽扇，姑且用来消暑，赞赏那强劲的翅膀，正可利用，与那被丢弃在箧笥中，意义不同。”然而皇上在盛夏普遍赐给宰臣扇子，不是在秋日单独赐给张九龄，只是张九龄因此献赋，自己寄托心意而已。）
李林甫引荐萧炅为户部侍郎。萧炅一