谢石听说苻坚在寿阳，十分害怕，想不交战而拖垮秦军。谢琰劝谢石听从朱序的建议。十一月，谢玄派广陵相刘牢之率领五千精兵奔赴洛涧，在离洛涧十里的地方，梁成依托洛涧布阵等待他们。刘牢之径直前进渡过洛涧，攻击梁成，大败秦军，斩杀梁成和弋阳太守王咏；又分兵截断他们的退路，秦步兵骑兵崩溃，争相逃进淮水，士兵死亡一万五千人，擒获秦扬州刺史王显等，收缴了他们全部的武器军粮。于是谢石等各路军队，水陆相继前进。秦王苻坚与阳平公苻融登上寿阳城观望，看到晋军布阵严整，又望见八公山（今安徽寿县北）上的草木，都以为是晋兵，回头对苻融说：“这也是强敌，怎么能说他们弱小呢！”怅然若失，开始有畏惧之色。
秦兵紧靠淝水布阵，晋兵不能渡河。谢玄派使者对阳平公苻融说：“您孤军深入，却紧靠淝水布阵，这是持久的办法，不是想速战速决。如果移动阵地稍向后退，让晋兵能渡河，来决一胜负，不是很好吗！”秦众将都说：“我军人多他们人少，不如阻拦他们，使他们不能上岸，可以万无一失。”苻坚说：“只带兵稍退，让他们渡河到一半，我用精锐骑兵逼近消灭他们，没有不胜的！”苻融也认为对，于是指挥军队后退。秦兵一退就停不下来。谢玄、谢琰、桓伊等领兵渡河攻击秦军。苻融骑马巡视阵地，想指挥后退的士兵，马倒下，被晋兵杀死，秦兵于是溃败。谢玄等乘胜追击，到达青冈（今安徽寿县西北）；秦兵大败，自相践踏而死的，布满田野堵塞河流。逃跑的人听到风声鹤叫，都以为是晋兵来了，日夜不敢休息，在草野中赶路在露天里住宿，加上饥饿寒冷，死亡的人有十分之七八。起初，秦兵稍退时，朱序在阵后大喊：“秦兵败了！”众人于是狂奔。朱序趁机和张天锡、徐元喜都来投奔晋军。缴获秦王苻坚乘坐的云母车（胡三省注：晋朝制度，云母车，用云母装饰的牛车，臣下不能乘坐，用来赏赐王公）。又夺取寿阳，擒获秦淮南太守郭褒。
苻坚中了流箭，单骑逃到淮北，十分饥饿，有百姓进献一壶饭、一块猪腿，苻坚吃了，赏赐十匹帛、十斤绵。百姓推辞说：“陛下厌倦安乐，自己陷入危难。我是陛下的子民，陛下是我的父亲，哪有儿子喂父亲而求回报的呢！”头也不回地离开。苻坚对张夫人说：“我现在还有什么脸面治理天下呢！”流泪不止。
这时，各路军队都溃败了，只有慕容垂率领的三万人独能保全，苻坚率领一千多骑兵投奔他。世子慕容宝对慕容垂说：“家国覆灭，天命人心都归向您，只是时机未到，所以暂时隐藏。现在秦主兵败，投靠我们，这是上天借机会恢复燕国，这个机会不能失去，希望不要因为小恩小惠而忘记国家重任！”慕容垂说：“你说得对。但他诚心投靠我，怎么能害他！上天如果抛弃他，不愁他不灭亡。不如保护他的危难来报答恩德，慢慢等待他出现破绽再图谋他，既不辜负往日的心意，又能以道义夺取天下。”奋威将军慕容德说：“秦国强大时吞并燕国，秦国衰弱时图谋它，这是报仇雪耻，不是辜负往日心意；哥哥为什么得到机会却不夺取，放弃几万部众交给别人呢？”慕容垂说：“我从前被太傅慕容评不容，无处安身，逃到秦国避难，秦主把我当国士对待，恩礼周到。后来又被王猛陷害，无法自证清白，秦主却能明察，这份恩情怎能忘记！如果氐族的气运真的穷尽，我会安抚关东，恢复先业，关西终究不会归我所有。”冠军行参军赵秋说：“明公应当恢复燕国，有谶语为证；现在时机已到，还等什么！如果杀了秦主，占据邺都，向西进军，三秦也不会归苻氏所有！”慕容垂的亲信大多劝他杀苻坚，慕容垂都不听，把军队全部交给苻坚。平南将军慕容暐驻守郧城，听说苻坚战败，抛弃部众逃跑；到荥阳，慕容德又劝慕容暐起兵恢复燕国，慕容暐不听。
谢安收到驿站送来的信，知道秦兵已败，当时正和客人下围棋，收起信放在床上，毫无喜悦之色，继续下围棋。客人问他，他慢慢回答说：“小辈们已经打败贼兵了。”下完棋后，回到内室，过门槛时，不知不觉木屐的齿被碰断了。
丁亥日，谢石等回到建康，得到秦国的乐师，能演奏旧时的音乐，从此宗庙里才开始有完备的乐器演奏。乙未日，任命张天锡为散骑常侍，朱序为琅邪内史。
7秦王苻坚收集逃散的部众，到洛阳时，有十多万人，百官、礼仪器物、军队阵容大致齐备。