刘备攻取汉中后，进一步逼近下辩。曹操认为武都地理位置偏远，想要迁移百姓，但又担心百姓眷恋故土。杨阜在百姓中素有威望，他先后迁移了上万户百姓和氐族人，安置在京兆、扶风、天水等地。他将郡治迁至小槐里，百姓们背着孩子跟随他迁移。杨阜治理地方只抓大方向，百姓们不忍心欺骗他。文帝曾问侍中刘晔等人：“武都太守是个什么样的人？”大家都称赞杨阜有宰相的风范。杨阜还没来得及被重用，文帝就驾崩了。杨阜在武都太守的职位上任职十多年后，被征召为城门校尉。杨阜曾看到明帝穿着绣花的头巾，披着半袖的缥绫，就问明帝：“这在礼仪上是什么样的服装呢？”明帝无言以对，从此不再穿着不符合礼仪的服装接见杨阜。
杨阜后来升任将作大匠。当时，朝廷刚开始修建宫殿，征召了许多美女充实后宫，明帝还经常外出打猎。秋天，大雨伴随着雷电，许多鸟雀被击毙。杨阜上疏说：“我听说贤明的君主在位，臣子们都会直言进谏。尧、舜有圣德，还广泛征求臣民的意见；大禹勤于治水，却力求宫殿简朴；成汤遇到旱灾，主动承担责任；周文王以身作则，治理国家；汉文帝亲自践行节俭，衣服都十分简朴：这些都是能够显扬美名、为子孙后代谋划的好榜样。陛下继承了武皇帝开创的大业，守护着文皇帝的基业，应该学习古代圣贤的善政，反思末世的恶政。所谓善政，就是节俭、重视民力；所谓恶政，就是随心所欲、为所欲为。希望陛下回顾古代盛世之所以兴盛，以及末世之所以衰败的原因，近观汉末的变乱，足以让人警醒。如果当年桓帝、灵帝不废弃高祖的法令，像文帝、景帝那样节俭，太祖虽然有神武之才，又怎么能施展呢？陛下又怎么能处于如此尊贵的地位呢？
如今吴、蜀尚未平定，军队还在征战，希望陛下三思而后行，谨慎行事，以史为鉴，防微杜渐。最近天降大雨，雷电频繁，这是天地神明对帝王的警示。陛下应该自我反省，古代圣人早就告诫过我们。希望陛下在无形的隐患之外考虑问题，在微小的萌芽之初就谨慎对待，效仿汉文帝遣散宫女，让她们自行婚配。最近征调的宫女，名声不好，应该重新考虑。各种修建工程，务必节俭。《尚书》说：‘九族和睦，天下协和。’凡事都要考虑得当，遵循中道，精心谋划，节省开支。等到吴、蜀平定后，上下安乐，九族和睦。陛下如果能这样去做，祖先也会感到欣慰，即使是尧舜也会感到惭愧。如今应该向天下展示诚信，安定百姓，让远方的人归心。”当时，雍丘王曹植因为不受重用而心怀怨恨，作为皇室至亲，法禁十分严格，所以杨阜又提到了九族和睦的道理。明帝下诏回复说：“我刚刚收到你的密表，先是用古代贤明的君主来讽刺我昏庸的政事，言辞恳切，态度诚恳。我反思自己的过错，将努力改正，接受你的帮助和拯救，你的建议我都完全接受了。仔细思考你的忠言，我非常赞赏。”
杨阜后来被调任为少府。当时，大司马曹真正在伐蜀，但遇到大雨，无法前进。杨阜上疏说：“从前，周文王有赤乌的吉兆，但仍然日夜操劳，无暇顾及饮食；周武王看到白鱼入舟，君臣都大惊失色。即使是吉祥的征兆，他们仍然忧心忡忡，更何况现在出现了灾异，我们怎么能不感到惊恐呢？如今吴、蜀尚未平定，而上天屡屡降下灾变，陛下应该深刻反思，专心应对，坐不安席，思考如何以德治国，以节俭安抚百姓。最近各路军队刚出发，就遇到了大雨，被山险阻碍，已经拖延了很多天。运输的辛劳，背负的痛苦，耗费已经很多，如果再没有后续的支援，必然会违背我们的初衷。《左传》说：‘看到可以前进的时机就前进，知道难以成功就后退，这是军队的良好策略。’如今白白地让六军困在山谷之间，前进没有收获，后退又无处可退，这不是用兵的正确方法。周武王曾因天时不利而撤军，商朝最终灭亡，这是因为他深知天命。今年收成不好，百姓饥荒，陛下应该下诏减少膳食，简化服饰，停止一切技巧珍玩的制作。从前，邵信臣在太平盛世担任少府，还上奏罢免了不必要的开支；如今军用不足，更应该节约。”皇帝立刻下令召回各路军队。
后来，皇帝下诏，要求大家讨论政治上对百姓不便的地方。杨阜认为：“实现良好治理的关键在于任用贤能，国家兴盛的关键在于重视农业。如果舍弃贤能而任用自己亲近的人，这是对治理的极大忽视。大兴土木，建造豪华的宫殿和高大的台榭，妨碍百姓的生产，这是对农业的极大伤害。工匠们不专注于自己的技艺，却竞相制作奇巧的物品来迎合上意，这是对根本的极大损害。孔子说：‘苛刻的政令比老虎还要可怕。’如今一些只懂文墨的官吏，不懂得治理的要领，却喜欢