起初，杨素曾因小错被敕令送南台（胡三省注：御史台称南台），命治书侍御史柳彧审理。杨素恃贵，坐在柳彧的坐榻上。柳彧从外面进来，在阶下端着笏板，神情严肃对杨素说：“奉敕审理公的罪！”杨素立即起身。柳彧靠案而坐，让杨素站在庭中，辨明事情原委。杨素因此怀恨。蜀王杨秀曾向柳彧求李文博所撰《治道集》（胡三省注：李文博是博陵人，仕隋不得志，性耿直，好学，着《治道集》十卷流行），柳彧给了他；杨秀送柳彧十名奴婢。到杨秀获罪，杨素上奏柳彧以宫内大臣身份结交诸侯，除名为民，发配到怀远镇（胡三省注：《新唐志》营州有怀远城）。
文帝派司农卿赵仲卿到益州彻底查办杨秀的事，杨秀的宾客经过之处，赵仲卿必苛法深究，州县官被牵连的过半数。文帝认为他能干，赏赐丰厚。
很久后，贝州（今河北清河）长史裴肃（胡三省注：《隋志》清河郡后周置贝州）派使者上书，称：“高熲有天才，是开国元勋，被众人嫉妒，以至被废；希望陛下记他大功，忘他小过。另外两名庶人（杨勇、杨秀）获罪已久，难道不会改过！望陛下施君父之慈，顾念天性亲情（胡三省注：《经》说父子之道是天性），各封小国，看他们表现：若能向善，逐渐增加封地；若不悔改，再贬削不晚。如今自新之路断绝，看不到他们的悔意，难道不可怜吗！”书奏上，文帝对杨素说：“裴肃关心我家事，很真诚。”于是征召裴肃入朝。太子听说后，对左庶子张衡说：“让杨勇自新，想干什么？”张衡说：“看裴肃的意思，是想让他像吴太伯、汉东海王（胡三省注：吴太伯注已见前，汉东海王刘强事见《光武纪》）。”裴肃到后，文帝当面说明杨勇不可再用的意思，让他回去。裴肃是裴侠的儿子（胡三省注：裴侠见一百五十六卷梁武帝中大通六年）。
杨素的弟弟杨约及堂叔杨思、杨文纪、族叔杨忌都任尚书、列卿，诸子无汗马功劳，却位至柱国、刺史；广积资产，从京师到各都会，邸店、碾硙（胡三省注：碾是磨物的器具，磑是磨）、良田美宅，不可胜数；家僮上千，后庭妓妾穿绫罗绸缎的上千；府第奢华，模仿皇宫；亲戚故吏遍布高官。废一太子、一王后，权势更盛。朝臣有违逆的，有的被处死；依附他或有亲戚关系的，即使无才，也必提拔；朝廷上下都顺从，无人不怕他。敢与杨素对抗不屈的，只有柳彧、尚书右丞李纲、大理卿梁毗。
起初，梁毗任西宁州（今四川西昌）刺史（胡三省注：《隋志》越巂郡后周置严州，开皇六年改西宁州，十八年改巂州，梁毗任刺史大概在十八年前），共十一年，蛮夷酋长都以金多为豪强，互相攻夺，无安宁之年，梁毗担忧。后来因酋长们争相送金给梁毗，梁毗把金放在坐旁，对着痛哭，说：“这东西饿不能吃，冷不能穿，你们因此互相残杀，数不胜数，如今送来，是想杀我吗！”一点没接受。于是蛮夷感悟，不再互相攻击。文帝听说后称赞，征召为大理卿，断案公平。梁毗见杨素专权，怕成国家祸患，于是上密奏：“臣听说臣不可作威作福，否则危害家族，祸乱国家（《书·洪范》之言）。左仆射越国公杨素，受宠日重，权势日盛，官员都看他眼色行事。违逆他的如严霜夏日凋零，迎合他的如甘雨冬日滋润；荣辱由他一句话，废兴听他指挥；他偏爱的都不是忠臣，推荐的都是亲戚，子弟分布各地，跨州连县。天下太平，或许还能容他；天下有难，必是祸根（胡三省注：黎阳之变，果然如梁毗所言）。奸臣专权，逐渐而来，王莽靠多年积累，桓玄靠换代之际，最终灭汉、倾晋（胡三省注：二事见《汉》《晋纪》）。陛下若以杨素为阿衡，臣怕他未必是伊尹。望借鉴古今，酌情处置，使大业永固，天下幸甚！”书奏上，文帝大怒，收梁毗入狱，亲自审问。梁毗极力说“杨素恃宠弄权，带兵时杀戮无道。又太子、蜀王被废时，百官无不震惊，只有杨素扬眉吐气，喜形于色，以国家有乱为幸。”文帝无法反驳，释放了他。
后来文帝也逐渐疏远猜忌杨素，下诏：“仆射是国之宰辅，不必亲自处理琐事，只需三五天到省一次，评论大事。”表面优待，实际夺他的权。杨素因此在仁寿末年，不再参与省中事务。调出杨约为伊州（今河南汝州）刺史（胡三省注：《隋志》河南郡陆浑县，东魏置伊川郡及北荆州，后周改和州，开皇初改伊州）。
杨素被疏远后，吏部尚书柳述更掌权，代理兵部尚书，参与机密（胡三省注：按《柳述传》，仁寿中判兵部尚书事，不久拜兵部尚书，参与机密，上表辞让，令代理）。杨素因此恨他。
太子问贺若弼：“杨素、韩擒虎、史万岁都称良将，他们的优劣如何？”贺若弼说：“杨素是猛将，不是谋将；韩擒虎是斗将，不是领将；史万岁是骑将，不是大将。”太子说：“那么大将是谁？”贺若弼下拜说：“只有殿下选择！”贺若弼意在自许。
11 交州（今越南河内）俚人首领李佛子作乱，占据越王故城（胡三省注：此城大概是秦汉间骆越王所筑），派侄子李大权据守龙编城（胡三省注：交州旧治龙编县