几天后，杨素入宫赴宴，隐约称赞“晋王孝悌恭俭，像主上”，试探皇后心意（胡三省注：揣度皇后的心思）。皇后哭着说：“你说得对！我儿非常孝顺，每次听说主上和我派使者到，必定在边境迎接；说到分别，没有不哭的。他的妻子也很可怜，我派婢女去，常和婢女同睡共食。哪像睍地伐和阿云对坐，整天宴饮，亲近小人，猜忌骨肉！我更疼阿（杨广小字），常怕他被暗害。”杨素知道皇后心意后，就极力说太子不成器。皇后于是送杨素黄金，让他劝文帝废立。
杨勇很清楚他们的谋划，忧愁恐惧，无计可施，让新丰县（今陕西临潼东北）人王辅贤搞诅咒厌胜之术；又在后园造庶人村，房屋简陋，杨勇时常在里面休息，穿布衣、铺草褥，希望以此避祸。文帝知道杨勇不安，在仁寿宫（今陕西麟游）派杨素观察杨勇的行为。杨素到东宫，故意停留不进，杨勇穿戴整齐等待，杨素却很久不进门来激怒杨勇；杨勇怀恨，表现在言语神色上。杨素回去说：“杨勇怨恨，恐怕有变故，希望严加防备！”文帝听了杨素的诋毁，更加怀疑杨勇。皇后又派人监视东宫，细微小事都上报，还加以歪曲来构成杨勇的罪名。
文帝于是疏远猜忌杨勇，在玄武门到至德门（胡三省注：玄武门是隋大兴宫城正北门，至德门在宫城东北隅）之间设置哨兵，监视动静，都随时奏报。又将东宫宿卫中侍官以上的人（胡三省注：侍官指直阁、直寝等，属东宫率府，类似十二卫府），名册全归属各卫府，有勇健的都调走。调出左卫率苏孝慈为淅州（今河南淅川）刺史（胡三省注：苏孝慈有才干，所以调出），杨勇更不高兴。太史令袁充对文帝说：“臣观天象，皇太子应当被废。”文帝说：“天象早有显示，群臣不敢说罢了。”袁充是袁君正的儿子（胡三省注：袁君正见一百六十二卷梁武帝太清三年）。
晋王杨广又令督王府军事姑臧（今甘肃武威）人段达私下贿赂东宫宠臣姬威，让他监视太子动静，密告杨素；于是内外议论纷纷，每天都有杨勇的过失传来。段达威胁姬威说：“东宫的过失，主上都知道了。已奉密诏，必定废立；你若告发，会得大富贵！”姬威答应，立即上书告发。
秋季，九月，壬子日，文帝从仁寿宫回到长安（胡三省注：《考异》说《帝纪》记载丁未日返回，现从《太子勇传》）。第二天，驾临大兴殿（胡三省注：开皇三年文帝入新都，名城为大兴城，正殿为大兴殿，宫为大兴宫，北苑为大兴苑；一说因文帝从大兴郡袭封随公登位，故以“大兴”名宫殿城苑），对侍臣说：“我刚回京师，本该开怀欢乐，不知为何却愁闷不乐！”吏部尚书牛弘回答：“臣等不称职，让至尊忧虑劳累。”文帝因多次听到诋毁，怀疑朝臣都知道内情，故意在众人中发问，希望听到太子的过失。牛弘的回答不合心意，文帝变了脸色，对东宫官属说：“仁寿宫离这里不远，而我每次回京师，都要严备仪仗侍卫，像进入敌国。我因腹泻，不能脱衣睡觉。昨夜想近厕所，因在后房怕有紧急情况，又移到前殿，难道不是你们想败坏我家国家业吗！”于是逮捕太子左庶子唐令则等人交有关部门审讯；命杨素陈述东宫情况告知近臣。
杨素于是公开说：“臣奉诏回京，令皇太子审查刘居士余党（胡三省注：指从仁寿宫奉诏回长安，刘居士事见上卷十七年）。太子接诏后，脸色大变、情绪激动，怒不可遏，对我说：‘居士党羽都已伏法，让我到哪里追查！你做右仆射，责任不轻，自己去审查，与我无关！’又说：‘从前大事（胡三省注：指禅代之事）不成，我先被诛杀，如今做了天子，竟让我不如各弟弟，一事以上，不能自己做主！’接着长叹回头说：‘我太碍事了。’”文帝说：“这孩子不能继承皇位很久了，皇后常劝我废他。我因他是平民时所生，又是长子，希望他逐渐改正，容忍到现在。杨勇曾指着皇后的侍女对人说：‘这些都是我的东西。’这话多奇怪！他的妻子刚去世时（胡三省注：指元妃去世时），我很怀疑她是被毒害，曾责备他，杨勇就怨恨说：‘会杀元孝矩（元妃之父）。’这是想害我而迁怒他人。长宁王（杨勇长子杨俨）刚出生时，我和皇后共同抚养，他却心存隔阂，不断派人来要回去。再说云定兴的女儿，是在外私通所生，想来这出身，未必是他的亲骨肉！从前晋太子娶屠户之女，儿子就喜欢屠杀（胡三省注：事见八十三卷晋惠帝元康九年）。如今若不是亲骨肉，就会乱了宗族。我虽德不如尧舜，终究不能把百姓交给不肖子！我常怕他加害，像防大敌；现在要废他以安天下！”
左卫大将军五原公元旻劝谏：“废立是大事，诏令若实行，后悔莫及。谗言无孔不入，望陛下明察。”
文帝不回应，命姬威陈述太子的罪状。姬威说：“太子向来和我谈话，一心想骄奢，还说：‘若有劝谏的，就该斩首，不杀百来人，议论自然停止。’”“营造宫殿，四季不停。前左卫率苏孝慈被解职，太子捋着胡须、扬着胳膊说：‘大丈夫总有一天，绝不会忘记，一定要快意恩仇。’又东宫所需物品，尚书多依法不给，就发怒