IT之家 5 月 29 日消息，根據英偉達在 2023 年臺北電腦展會上的演講，該公司宣稱其 GPU 可以大幅降低訓練大型語言模型（LLM）的成本和耗能。

英偉達首席執行官黃仁勛在演講中，向 CPU 行業發起了挑戰，他認為生成式人工智能和加速計算是未來計算的方向。他宣布傳統的摩爾定律已經過時，未來的性能提升將主要來自生成式人工智能和基于加速計算的方法。

英偉達在展會上展示了一份 LLM 的總體擁有成本（Total Cost of Ownership，TCO）分析：首先，他們計算了訓練一個 LLM 所需的 960 個 CPU 組成的服務器集群的完整成本（包括網絡、機箱、互連等所有設備），發現這需要花費約 1000 萬美元（IT之家備注：當前約 7070 萬元人民幣），并消耗 11 千兆瓦時的電力。

相比之下，如果保持成本不變，購買一個價值 1000 萬美元的 GPU 集群，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時）下訓練 44 個 LLM。如果轉而保持電力消耗不變，那么可以通過 GPU 集群實現 150 倍的加速，以 11 千兆瓦時的電力消耗訓練 150 個 LLM，但這需要花費 3400 萬美元，此外這個集群的占地面積比 CPU 集群小得多。最后，如果只想訓練一個 LLM，那么只需要一個價值 40 萬美元、消耗 0.13 千兆瓦時電力的 GPU 服務器就可以了。

英偉達所要表達的意思是，相比 CPU 服務器，客戶可以以 4% 的成本和 1.2% 的電力消耗來訓練一個 LLM，這是一個巨大的成本節省。