7月28日消息，Meta近期發布了目前全球最強的開源大模型LLAMA 3.1 405B，引發了業界的關注。近日，Meta發布了關于LLAMA 3.1 405B的研究文章，詳細介紹了其在 16,384 個 英偉達（NVIDIA）H100 80GB GPU 的集群上訓練Llama 3.1 405B 模型所遇到的問題。

據介紹，LLAMA 3.1 405B在16,384 個 H100 80GB GPU 的集群上持續訓練了54天，在此期間遇到了 419 個意外的組件故障，平均每三個小時就發生一次故障。其中一半的故障，都是由于GPU 或其板載 HBM3 內存問題。

超級計算機是極其復雜的設備，使用數以萬計的處理器、數十萬個其他芯片和數百英里的電纜連接在一起。在一臺復雜的超級計算機中，每隔幾個小時就會發生故障，這是正常的，開發人員的主要技巧是盡量確保系統保持正常運行，無論這種局部故障如何。

比如高達16,384個H100 GPU 訓練的規模和同步性質使其容易失敗。如果故障未得到正確緩解，單個 GPU 故障可能會中斷整個訓練作業，從而需要重啟。然而，LLAMA 3 團隊保持了超過90%的有效訓練時間。

總結來說，在為期 54 天的訓練中，有 466 次工作中斷，其中 47 次是計劃性的，419 次是意外的。計劃內中斷是由于自動化維護造成的，而意外的中斷主要源于硬件問題。其中，GPU 問題是最大的一類，占意外中斷的 58.7%。只有三起中斷事件需要大量的人工干預，其余的則由自動化管理。

在 419 次意外中斷中，148 次 （30.1%） 是由各種 GPU 故障（包括 NVLink 故障）引起的，而 72 次 （17.2%） 是由 HBM3 內存故障引起的，這并不奇怪，因為 Nvidia 的 H100 GPU 消耗約 700W 并承受大量熱應力。有趣的是，在 54 天內只有兩個 CPU 出現故障。

雖然 GPU 是最重要的組件，但恰好也很脆弱，但 41.3% 的意外中斷是由多種因素引起的，包括軟件錯誤、網絡電纜和網絡適配器。

為了提高效率，Meta 的團隊減少了作業啟動和檢查點時間，并開發了專有的診斷工具。PyTorch 的 NCCL 飛行記錄器被廣泛用于快速診斷和解決掛起和性能問題，尤其是與 NCCLX 相關的問題。該工具可捕獲集體元數據和堆棧跟蹤，有助于快速解決問題。

編輯：芯智訊-浪客劍