跨多個數據中心和 GPU 架構訓練生成式 AI 模型
一位行業分析師最近透露,中國已經開發了跨多個數據中心的單一生成式 AI (GAI) 模型,考慮到在單個數據中心使用不同 GPU 的復雜性,更不用說在多個地理位置使用服務器了,這是一項巨大的壯舉。Moor Insights & Strategy的首席分析師Patrick Moorhead在X(前Twitter)上表示,中國是第一個實現這一成就的國家,他是在一次可能無關的NDA會議的對話中發現的。
本文引用地址:http://www.j9360.com/article/202409/463387.htm這種在不同地點/架構中訓練 GAI 的技術對于中國保持其 AI 夢想向前發展至關重要,尤其是在美國制裁阻止其獲得最新、最強大的芯片來推動其研發的情況下。由于英偉達不想失去中國市場,因此它制造了功能較弱的 H20 AI 芯片,這些芯片屬于華盛頓的限制性性能參數。然而,有傳言稱,即使是這些降級的芯片也可能很快被禁止,這凸顯了中國科技公司在當前政治氣候下面臨的不確定性。
由于這種不確定性,中國研究人員一直在努力將不同品牌的 GPU 融合到一個訓練集群中。通過這樣做,這些機構可以將他們有限的受制裁高端、高性能芯片(如 Nvidia A100)庫存與功能較弱但現成的 GPU(如華為的 Ascend 910B 或上述 Nvidia H20)相結合。這項技術可以幫助他們解決中國高端 GPU 短缺的問題,盡管歷史上效率會大幅下降。
然而,中國似乎已經找到了解決這個問題的方法,尤其是跨多個數據中心開發單一 GAI 的消息。雖然我們還沒有關于這個 GAI 的任何信息,但它顯示了中國研究人員將不遺余力,以確保他們能夠繼續推動中國的 AI 雄心向前發展。正如華為所說,盡管受到美國的制裁,中國將想方設法繼續推進其人工智能發展。畢竟,需求是發明之母。
評論