杨勇内宠很多，昭训云氏尤其受宠（胡三省注：《姓苑》说云姓是缙云氏之后，又《魏书·官氏志》记载达宥氏后改云氏）。太子妃元氏不受宠，得心病，两天就去世了（胡三省注：元妃去世见一百七十七卷十一年），独孤皇后怀疑有别的原因，严厉责备杨勇。从此云昭训专掌东宫内政，生长宁王杨俨、平原王杨裕、安成王杨筠；高良娣生安平王杨嶷、襄城王杨恪；王良媛生高阳王杨该、建安王杨韶；成姬生颍川王杨煚。皇后更加不满，多次派人侦察，寻找杨勇的过失。
晋王杨广更加伪装自己，只和萧妃居住，后宫有子女都不养育，皇后因此多次称赞杨广贤德。对掌权的大臣，杨广都尽心结交（胡三省注：指杨素等人）。文帝和皇后每次派侍从到杨广住处，无论贵贱，杨广必定和萧妃到门口迎接，摆设美食，赠送厚礼；来往的奴婢仆人，无不称赞他仁孝。文帝和皇后曾到他的府第，杨广把美貌姬妾都藏到别的房间，只留老丑的，穿无花纹的衣服侍奉；屏帐改用素色绸缎；故意弄断乐器的弦，不擦去灰尘。文帝见了，以为他不好声色，回宫后告诉侍臣，心里很高兴，侍臣都祝贺，从此对他的宠爱超过其他儿子。
文帝秘密让善于相面的来和给诸子看相，来和说：“晋王眉上双骨隆起，贵不可言。”文帝又问上仪同三司韦鼎：“我的儿子谁能继位？”韦鼎回答：“至尊、皇后最疼爱的人应当继位，不是臣敢预知的。”（胡三省注：来和、韦鼎都在文帝未显达时就认识他，所以特别相信）文帝笑说：“你不肯明说吗！”
晋王杨广容貌俊美，性格聪慧，深沉庄重；好学，擅长写文章；恭敬对待朝臣，礼节极其谦卑，因此名声远扬，超过诸王。
杨广任扬州总管，入朝后将要返回治所，入宫辞别皇后，伏在地上流泪，皇后也流泪。杨广说：“臣本性愚钝，常守兄弟情谊，不知犯了什么罪失去东宫宠爱，他总怀着怒气，想加害于我。常怕像曾参那样因流言受害（胡三省注：用曾参母子事），或被毒酒害死，因此忧心积虑，怕遭不测。”皇后气愤地说：“睍地伐（杨勇小字）越来越让人无法忍受，我为他娶元氏女，他竟不以夫妇之礼对待，专宠阿云（胡三省注：阿是前缀），生下那么多猪狗般的孩子（胡三省注：曹操说“如袁本初、刘景升的儿子，不过是猪狗”，后用来诋毁他人之子）。前儿媳遭毒害而死，我也不能彻查，他为什么又对你来这一套！我在尚且如此，我死后，他会把你们当鱼肉宰割！想到东宫没有正妻所生的嫡子，你父亲去世后，你们兄弟要向阿云的儿子下拜问安，多痛苦啊！”杨广又下拜，呜咽不止，皇后也悲痛不已。从此皇后决心要废杨勇立杨广。
杨广和安州（今湖北安陆）总管宇文述向来交好，想让宇文述亲近自己，奏请任命他为寿州（今安徽寿县）刺史（胡三省注：淮南郡旧属南则为豫州，属北则为扬州，开皇九年改寿州）。杨广尤其亲近信任总管司马张衡，张衡为杨广谋划夺取继承权。杨广向宇文述问计，宇文述说：“皇太子失宠已久，天下没听说他有什么美德。大王仁孝闻名，才能盖世，多次领兵，屡立大功（胡三省注：指南平陈、北伐突厥）。主上和皇后都宠爱你，天下人也期望你继位。但废立是国家大事，处在人家父子骨肉之间，确实不易谋划。不过能改变主上心意的只有杨素，杨素和弟弟杨约商议后才行动。我向来了解杨约，请允许我入朝，和杨约见面，共同谋划。”杨广很高兴，多带金银财宝，资助宇文述入关。
杨约当时任大理少卿，杨素凡事都先和杨约商量后才做。宇文述邀请杨约，陈列很多珍宝器物，和他畅饮，趁机一起赌博，常假装不胜，把带来的金银财宝都输给杨约。杨约得到很多，逐渐向宇文述致谢，宇文述趁机说：“这是晋王的赏赐，让我和你欢乐罢了。”杨约大惊：“为什么这样？”宇文述说明杨广的意思，劝说道：“坚守正道是臣子的本分，变通合义是贤达的良策。自古贤人君子，无不顺应时势以避祸患。你兄弟功名盖世，当权多年，被你家屈辱的朝臣，数得过来吗？再说，皇太子因愿望不能实现，常对执政者咬牙切齿；你虽得主上信任，想害你的人也不少！主上一旦去世，你靠谁庇护？如今皇太子失皇后宠爱，主上早有废黜之心，这是你知道的。现在若请立晋王，全在你兄长一句话。若能趁机立大功，晋王必永远感激，这就能摆脱危如累卵的处境，成就稳如泰山的安稳。”杨约同意，告知杨素。杨素听后大喜，拍掌说：“我的智谋远不如这，多亏你提醒。”杨约知道计划可行，又对杨素说：“如今皇后的话，主上无不听从，应趁机早日结交，就能长保荣华，传给子孙。兄长若犹豫，一旦