在仕途上也官职升得更高了，他也算得上个两朝老臣了，可是司马氏的命运还是操控在他人手中，只不过以前是曹操，
现在是曹丕而已，要想真正的将自己司马家的命运真正掌握在自己手中，不将生死操控在他人手中，他司马懿还有很长的一段路要走！
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督军御史中丞，封安国乡侯。
黄初二年（221年），免去督军官职，升任侍中尚书右仆射。
黄初五年（224年），曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军假节，领兵五千，加给事中录尚书事。
司马懿力辞不受，曹丕说：朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。
黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。
临行，曹丕下诏给司马懿说：我深深地担心后勤和朝内之事，所以将这些大事委托给你。
历史上曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗！
之后曹丕由广陵（今江苏扬州广陵区）回师京都，又下诏对司马懿说：我向东用兵孙权，你该总理京都洛阳的事情，我在洛阳，你则应当总理东征孙权的战事。
于是又命司马懿留镇许昌，可见那时的他已是深得曹丕的信任器重，而曹丕身体状况还行，也才三十九岁，才活到了而立之年的尾巴，
明年才进入不惑之年，而曹丕也以为自己至少还能活一二十年，牢牢掌控司马懿这个双刃剑还是绰绰有余的，
说不定曹丕还能熬死司马懿，可惜天不遂人愿，前一年还身体状态良好，御驾亲征的曹丕，第二年的身体状况便急转直下，要先一步去了。
黄初七年（226年）五月，曹丕病重。临终时，令司马懿与中军大将军曹真镇军大将军陈群征东大将军曹休为辅政大臣。
曹丕对太子曹叡说：在这里的三位重臣，一定不要怀疑他们。
可见生命垂危的曹丕已经在忧心儿子曹叡能不能驾驭住司马懿了，曹叡即位，改封司马懿为舞阳侯。
孙权得知魏文帝去世后，于八月出兵攻魏。
命诸葛瑾张霸兵分两路进攻襄阳，亲自率军进攻江夏郡（治石阳县，即今武汉黄陂西南）。
司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。
太和元年（227年）六月，魏明帝曹叡命司马懿驻扎宛城，加督荆豫二州诸军事。
蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。
但曹叡不听，任命孟达领新城（今湖北房县）太守。
曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。
诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。
孟达闻此泄露，准备马上起兵。
申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解。
孟达得信大喜，但是犹豫不决。
司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。
司马懿说：孟达没有信义，现在正是他犹豫不决之时，应当趁他没有决定而及时平定他。
司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下，当然那已经是好多年之前的事情了，
换做现在，他的身体能不能支撑起八天的日夜兼程都还得两说了，当然若是像上次那般的大逃亡却又是又要另说了，如果跑得不快的话那命都早没了，就算是跑不动的话也得拼了命的往前跑。
吴蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥木兰塞等地。
此前，诸葛亮曾告诫孟达加紧防范，孟达写信给诸葛亮认为：宛城和洛阳相距八百里，离我处一千二百里，上表给天子，来回路程，少需一个月，那时我的城池已修固，诸军都作好了准备。
我驻扎的地形深险，司马懿必不会亲自来，其他部将来，则不足为患。
而司马懿先斩后奏，仅八日就兵临城下，孟达又写信给诸葛亮，惊叹：我想要举事，而司马懿八日就兵临城下，何其神速也！上庸城（今湖北竹山县西南）三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。
太和二年（228年）正月，司马懿兵分八路攻城，仅十六天，孟达的外甥邓贤部将李辅开城投降。
魏军入城，擒斩孟