简文帝病逝后，谢安与王坦之共同辅佐孝武帝，稳定了东晋的政局。
谢安深知门阀争斗的危害，他采取“和靖”的政策，调和各大门阀之间的矛盾，重用有才能之人，无论其出身贵贱。
他推荐自己的侄子谢玄出任兖州刺史，镇守广陵，招募流民组建“北府兵”。
谢玄不负众望，训练出了一支战斗力极强的军队，成为东晋抵御前秦入侵的主力。
同时，谢安还注重发展经济，减轻百姓赋税，鼓励农桑，使东晋的国力得到了一定的恢复。
在谢安的努力下，东晋朝廷逐渐稳定下来，各大门阀之间的关系也趋于缓和。
他本人则因功绩卓着，被任命为中书监、录尚书事，成为东晋的实际执政者。
谢安执政期间，始终保持着清正廉洁的作风，不结党营私，不贪图富贵，深受百姓的爱戴和大臣的敬重。
他的居所简陋，衣物朴素，出门从不讲究排场，与其他门阀大族的奢华形成了鲜明的对比。
有人劝他为自己的家族谋取更多的利益，谢安却说道：“我身为宰辅，当以天下为重，岂能因一己之私而损害国家利益？”
东晋太元八年（公元383年），前秦皇帝苻坚统一北方后，不顾大臣的反对，率领八十万大军南下，欲一举消灭东晋，统一全国。
消息传到东晋，朝野上下一片恐慌，许多大臣主张南迁避敌，唯有谢安镇定自若，他力排众议，主张坚决抵抗。
孝武帝任命谢安为征讨大都督，总揽全局，负责抵御前秦的入侵。
谢安深知此战的重要性，他一方面安抚民心，稳定朝堂局势，另一方面积极调兵遣将，制定作战计划。
他任命弟弟谢石为征讨大都督，侄子谢玄为前锋都督，率领八万北府兵迎击前秦大军；又派胡彬率领水军增援寿阳，形成水陆夹击之势。
战前，谢玄前往谢安府中询问作战策略，谢安却只是淡淡地说：“朝廷已另有安排。”
随后便不再提及军事之事，反而邀请谢玄等人下棋。
谢安的从容不迫，让谢玄等人逐渐安定下来，也增强了全军的信心。
前秦大军一路南下，很快便攻占了寿阳，胡彬率领的水军被困于硖石。
苻坚得知后，亲自率领八千骑兵前往寿阳督战，并派朱序前往东晋军营劝降。
朱序原本是东晋将领，后来被迫投降前秦，他心中始终忠于东晋。
见到谢石、谢玄后，朱序暗中透露了前秦大军的虚实，建议东晋军队趁前秦大军尚未集结完毕，主动发起进攻，打敌人一个措手不及。
谢石、谢玄采纳了朱序的建议，决定主动出击。
他们派刘牢之率领五千北府兵突袭洛涧，大败前秦军队，斩杀前秦将领梁成。
洛涧大捷极大地鼓舞了东晋军队的士气，谢石、谢玄趁机率领大军沿淝水两岸推进，与前秦大军隔淝水对峙。
苻坚站在寿阳城楼之上，看到东晋军队阵容整齐，士气高昂，又误以为对岸的八公山上的草木都是东晋的士兵，心中不禁有些畏惧，这便是“草木皆兵”的由来。
为了打破对峙的局面，谢玄派人前往前秦军营，向苻坚提出建议：“君悬军深入，置阵逼水，此乃持久之计，非欲速战也。若移阵少却，使晋兵得渡，以决胜负，不亦善乎？”
苻坚认为，东晋军队渡河之时，正是发动攻击的好时机，于是便同意了谢玄的请求，下令军队后撤。
然而，前秦大军人数众多，指挥混乱，后撤的命令一经下达，士兵们便纷纷后退，无法停止。
朱序见状，在军中大喊：“秦军败矣！秦军败矣！”
前秦士兵误以为真，顿时军心大乱，纷纷四散奔逃。
谢玄率领东晋军队趁机渡过淝水，发起猛烈进攻。
前秦大军溃不成军，自相践踏，死者不计其数。
苻坚在逃跑过程中中箭受伤，单人独骑逃回北方。
淝水之战，东晋以八万兵力大败前秦八十万大军，成为中国历史上以少胜多的经典战役。
此战不仅保住了东晋的半壁江山，也为江南地区的经济文化发展创造了稳定的环境。
淝水之战胜利的消息传到建康时，谢安正在与客人下棋。
他看完捷报后，若无其事地将捷报放在一边，继续下棋。
客人忍不住询问战况，谢安才缓缓说道：“小儿辈遂已破贼。”
其从容不迫的气度，令世人折服。
然而，当客人离开后，谢安回到内室，再也抑制不住心中的喜悦，跨过门槛时，脚上的木屐齿都被碰断了，却浑然不觉。
淝水之战后，谢安的声望达到了顶峰，谢氏家族的势力也空前强大，谢石、谢玄、谢琰等家族子弟皆身居要职，掌握着东晋的军政大权。
然而，功高震主，谢安的权势引起了孝武帝的猜忌，也遭到了其他门阀大族的嫉妒。