马谡违背诸葛亮的指挥调度，军事行动混乱无序，放弃水源，上山扎营，不在山下据守城池（胡三省注：《张合传》说马谡依靠南山扎营。舍，通“舍”。上，音时掌翻。） 。张合截断了他的取水道路，发起进攻，大败马谡，马谡的士兵四处溃散。诸葛亮进军没有了依托，只好率领西县的一千多户百姓退回汉中（胡三省注：《续汉书·郡国志》记载：西县，前汉时属陇西郡，后汉时属汉阳郡，有幡冢山、西汉水。） 。诸葛亮将马谡关进监狱，并处死了他。诸葛亮亲自去祭奠，为他流泪，还安抚他的遗孤，恩情如同生前一样。杀马谡，是执行王法；对他的遗孤施恩，是不忘故人之情。蒋琬对诸葛亮说：“当年楚国杀了成得臣，晋文公得知后，喜悦之情溢于言表（胡三省注：《左传》记载：晋文公和楚国的子玉（成得臣）在城濮交战，楚军大败。晋军进入楚军营地，吃了三天楚军的粮食，晋文公却还面带忧虑，说：‘成得臣还在，我的忧虑就不会消除。’等到楚国杀了成得臣，他的喜悦之情才显现出来。杜预解释说：喜悦之情表现在脸上。） 。如今天下还未平定，却杀了有智谋的人，难道不可惜吗！”由此可见，蒋琬也很看重马谡。诸葛亮流着泪说：“孙武之所以能在天下取得胜利，是因为他执法严明（胡三省注：《孙子·始计篇》说：法令谁能执行？意思是法令能执行的一方必然胜利。所以他训练吴王宫中的美人作战时，一定要杀掉吴王宠爱的两个姬妾来严明军法。） 。正因如此，晋悼公的弟弟扬干扰乱军法，魏绛就杀了他的仆人（胡三省注：《左传》记载：晋悼公会合诸侯，他的弟弟扬干扰乱军队行列，魏绛杀了扬干的仆人。晋悼公认为魏绛能够用刑罚来辅助治理百姓，就让他辅佐新军。） 。如今天下分裂，战争刚刚开始，如果再废弃军法，还怎么讨伐敌人呢！”
马谡还没战败的时候，裨将军巴西人王平多次规劝他，马谡却不听。等到战败，众人都四散逃亡，只有王平率领的一千人鸣鼓坚守阵地。张合怀疑有伏兵，不敢逼近，于是王平从容地收集各营的残兵败将，率领将士们返回。（胡三省注：根据《王平传》，王平识字不过十个。看他收拢马谡战败后溃散的士兵，抵御曹爽突然来袭的军队，就知道用兵的策略，并不在于识字多少。迸，音北孟翻。还，音从宣翻，又音如字。）诸葛亮处死马谡和将军李盛，剥夺将军黄袭等人的兵权后，王平却得到特别的尊崇和显耀，被加封为参军，统领五部兵马，同时兼管军营事务（胡三省注：王平既要统领五部兵，当时诸葛亮屯兵汉中，又让他兼管军营屯驻之事。） ，还晋升为讨寇将军，封亭侯（胡三省注：后汉的制度，列侯分为县侯、乡侯、亭侯。） 。诸葛亮上疏请求自贬三级，后主刘禅任命诸葛亮为右将军，代行丞相的职权。
这时，赵云、邓芝的军队也在箕谷战败，赵云收拢军队坚守，所以损失不大，赵云也因此被贬为镇军将军（胡三省注：根据《晋书·职官志》，镇军将军的地位在四征、四镇将军之上。如今赵云从镇东将军被贬为镇军将军，大概蜀汉的制度是，镇东将军是专门镇守一方的，而镇军将军是散号将军，所以这是贬职。） 。诸葛亮问邓芝：“街亭兵败，军队和将领都不再相互照应；箕谷兵败，军队和将领却没有失散，这是为什么呢？”邓芝回答说：“赵云亲自断后，军中物资和器械几乎没有丢弃，所以士兵和将领才没有失散。”赵云军中还有剩余的绢帛，诸葛亮让他分给将士们，赵云却说：“战事没有取得胜利，为什么还要赏赐？这些物资请全部送到赤岸库（胡三省注：《水经注》记载：褒水从衙岭山向西北流出，向东南流经大石门，经过以前的栈道下谷，民间称之为‘千梁无柱’。诸葛亮给哥哥诸葛瑾写信说：‘之前赵子龙撤军时，烧毁了赤崖阁道沿谷一百多里，阁道的梁一头嵌入山腹，一头立在水中。现在水势大且湍急，无法立柱。’又说：‘不久前大水突然暴发，赤崖以南的桥阁全部毁坏。’当时赵子龙和邓伯苗一个在赤崖屯田，一个在赤崖口屯兵，只能沿着山崖相互听到声音。后来诸葛亮在五丈原去世，魏延先撤退并烧毁了阁道，就是这条道。赤崖就是赤岸，蜀汉在这里设置仓库，用来储存军资。） ，等到十月再作为冬季的赏赐。”诸葛亮十分赞赏他的做法。
有人劝诸葛亮再次发兵，诸葛亮说：“我们的大军在祁山、箕谷的兵力都比敌人多，却没能打败敌人，反而被敌人打败，问题不在兵力少，而在一个人身上 。如今我打算减少兵力，精简将领，严明刑罚，反思过错，研究变通的方法，为将来做准备。如果做不到这些，就算兵力再多又有什么用！从今往后，凡是对国家忠心、为国家考虑的人，只要能经常指出我的过失，那么大事就可以成功，敌人