10月18日消息，根據外媒CRN報道稱，英特爾已經意識到，在與英偉達（NVIDIA）在云端AI大模型訓練方面競爭沒有優勢，因此正通過Gaudi 3 轉向更注重經濟高效的企業級和邊緣AI系統領域。

CRN稱，英特爾將旗下最新的Gaudi 3 AI加速器定位為有價值產品，是市場上最佳性價比的產品。雖然從性能角度來看，Gaudi 3 沒有追上英偉達最新的GPU，但該芯片也受到了很多企業的關注，因為這些企業需要具有成本效益的 AI 系統進行訓練，并在更大程度上推理更小的、基于任務的模型和開源模型。

英特爾在上個月就曾宣布，AI加速器芯片是扭虧為盈的關鍵產品，Gaudi 3 將于 10 月在戴爾科技和超微電腦的服務器中首次亮相。預計Gaudi 3 將在第四季度晚些時候全面上市，比英特爾在 4 月份給出的第三季度上市時間有所延遲。

惠普企業預計將在 12 月推出自己的 Gaudi 3 系統。包括聯想在內的其他 OEM 的廠商可能也將會推出基于Gaudi 3 的系統。

在云方面，Gaudi 3 將于明年初通過 IBM Cloud 上托管的服務提供，并且很快將在 Intel Tiber AI Cloud 上提供，Intel Tiber AI Cloud 是英特爾最近更名的云服務，旨在支持商業應用程序。

在最近的一次新聞發布會上，英特爾強調了其圍繞 Gaudi 3 的競爭信息，稱與 2022 年首次亮相的英偉達H100 GPU 相比，它提供了“性價比優勢”，尤其是在推理方面。

特別是隨著“以推理為中心”的大語言模型（LMM）的推出，英特爾稱Gaudi 3系列性能與英偉達備受歡迎的H100性能相當，尤其是在推理工作負載大幅上升的情況下。根據英特爾計算，在80億參數的Llama 3模型中，Gaudi 3比H100快約9%，性價比高80%；在Llama 2模型中，Gaudi 3速度要高19%，性價比差異則高達2倍，確實令人印象深刻。

雖然英特爾Gaudi 3在這兩項LLM測試表現優于英偉達H100和H200，但在FB16和FP8格式的浮點運算的測試中，表現仍不如H100。Gaudi 3 可以針對每種格式執行每秒 1835 萬億次浮點運算 （TFLOPS），而 H100 的 BF16 可以達到 1979 TFLOPS，FP8 可以達到 3958 TFLOPS。

這也表明，英特爾AI芯片在計算力方面仍然存在不足，更何況英偉達新一代更強的Blackwell GPU即將上市，還有AMD等人工智能計算領域的強有力的競爭對手的競爭。AMD上漲宣布，其即將推出的 Instinct MI325X GPU 在推理工作負載方面的性能可以超過英偉達的 H200，并誓言其下一代 MI350 芯片將性能提高一個數量級。

因此，英特爾決定不參與主流的AI模型訓練市場競爭，不打算在該領域與英偉達的GPU正面交鋒。

轉換賽道

在接受 CRN 采訪時，英特爾 AI 加速部門負責人 Anil Nanduri 表示，到目前為止，圍繞訓練 AI 模型的基礎設施的購買決策主要基于性能而不是成本，這一趨勢在很大程度上使英偉達受益，它使該公司能夠在 AI 開發人員中建立起強大的生態。反過來看，開發人員對英偉達的全套技術進行了大量投資，以構建他們的應用程序，從而也提高了他們將開發轉移到另一個平臺的難度和成本。

“如果你在那個背景下思考，就會發現一個現有的好處，即所有的前沿模型研究、所有功能都是在事實上的平臺上開發的，你正在構建它，你正在研究它，你本質上也在潛意識中優化它。然后使該端口轉移到 不同的平臺 是一項工作。”Nanduri 說。

至少目前，像 Meta 和 Microsoft 這樣的超大規模企業在超強大的 AI 數據中心基礎設施上投入大量資金以推動尖端功能，而無需立即產生利潤，這可能是有意義的。例如，據 CNBC 和其他出版物上個月報道，OpenAI 今年的收入為 36 億美元，預計今年將產生 50 億美元的虧損，其中一部分與服務有關。

但許多企業負擔不起此類投資并接受此類損失。Nanduri 稱，他們可能也不需要大規模的 AI 模型來回答遠遠超出其關注領域的主題的問題。“我們開始看到的世界是，人們正在質疑 投資回報、成本、電力和其他一切。但我們認為，客戶真的想要一個無所不知的巨型模型嗎？”Nanduri 說。

Nanduri 認為，對于許多企業來說，答案是否定的，他們會將選擇更小、基于特定任務的模型，這些模型具有更輕的性能需求。雖然從正面性能的角度來看，Gaudi 3 “沒有趕上”英偉達的最新 GPU，但加速器芯片非常適合為代表企業運行基于任務的模型和開源模型提供更具經濟效益的系統，而這正是英特爾的“傳統優勢”所在。

“對于我們有很多牢固關系的企業來說，他們并不是 AI 的第一批快速采用者。他們實際上對如何部署都非常深思熟慮。所以我認為這就是促使我們評估產品市場契合度以及我們的客戶群的原因，我們傳統上在這些領域有著牢固的關系。”他說。

今年年初成為英特爾數據中心和人工智能集團負責人的 前HPE 資深人士賈斯汀·霍塔德 （Justin Hotard） 表示，他和其他領導者在聽到企業客戶想要更經濟的人工智能系統后確定了這一戰略，這有助于讓英特爾相信此類產品可能有很大的市場。

“我們覺得我們在產品方面所處的位置、參與的客戶、我們正在解決的問題，這就是我們的賽道。可以肯定的是，市場將在那個領域開放，并且會有一群人構建自己的推理解決方案，”他在新聞發布會上回答 CRN 的問題時說。

在今年 8 月的一次金融會議上，英特爾CEO帕特·基辛格也承認，該公司不會“很快與高端AI訓練競爭”，其競爭對手已經“遙遙領先”，因此英特爾將押注于企業和邊緣的 AI 部署。

“如今，70% 的計算是在云中完成的。80% 以上的數據仍保留在本地或由企業控制。仔細想想，這是一個非常鮮明的對比。因此，任務關鍵型業務數據已經到此為止，對 AI 的所有熱情都已到此為止。我會爭辯說，過去 25 年的云數據還沒有轉移到云中，我也不認為它會轉移到云中，”他在德意志銀行分析師會議上這樣說道。

押注開放生態系統

英特爾還希望通過跨硬件基礎設施、軟件平臺和應用程序采用開放式生態系統方法來幫助 Gaudi 3 贏得客戶。英特爾的高管們表示，這與英偉達的“圍墻花園”戰略形成鮮明對比。

英特爾數據中心和人工智能事業部產品管理副總裁 Saurabh Kulkarni表示，客戶和合作伙伴可以選擇將 Gaudi 3 從一個具有 8 個加速器芯片的系統擴展到一個具有 8000 多個芯片的 1024 節點集群，中間有多個配置選項，所有這些都意味著不同的性能水平。

他說，為了實現硬件生態系統，英特爾正在通過為 OEM 提供參考架構和設計來降低使用門檻，“然后可以將其用作我們的客戶以模塊化方式復制和構建基礎設施的藍圖”。

這些參考架構將由各種開放標準提供支持，從用于連接的以太網和 PCIe 到用于分布式存儲的 DAOS 和用于編程的 SYCL，英特爾表示這有助于防止供應商鎖定。

在軟件方面，英特爾高管 Bill Pearson 表示，該公司的開放方法意味著合作伙伴和客戶可以從不同供應商的各種工具中進行選擇，以滿足 AI 系統的各種軟件需求。他將此與英偉達的方法進行了對比，后者創建了許多僅適用于英偉達自己GPU的工具。

“我們不是創建客戶或開發人員可能需要的所有工具，而是依靠我們的生態系統合作伙伴來做到這一點。我們與他們合作，然后幫助客戶選擇對他們的特定企業有意義的產品。”英特爾數據中心和 AI 集團軟件副總裁 Pearson 說。

這種開放式生態系統軟件方法的一個關鍵方面是企業 AI 開放平臺 （OPEA），該組織于今年早些時候在 Linux 基金會下成立，旨在作為可用于 AI 系統的微服務的基礎。該小組的成員包括 AMD、英特爾 和 Rivos 等芯片公司，以及各種軟件提供商，包括 VMware 和 Red Hat 等虛擬化提供商，以及 Domino、Clarifai 和 Intel 支持的 Articul8 等 AI 和機器學習平臺。

“當我們研究如何利用這些微服務實施解決方案時，堆棧的每個組件都有多個產品/服務，因此您需要非常具體地說明什么最適合您的產品/服務。你有偏好嗎？它是采購協議嗎？這是技術偏好嗎？有關系偏好嗎？”

“然后客戶可以選擇對他們的業務有意義的部分、組件和成分。對我來說，這是我們開放式生態系統最好的一點，就是我們不會把答案交給你。相反，我們為您提供工具，讓您選擇最佳答案，“他補充道。

英特爾面向 AI 系統的軟件方法的關鍵是專注于檢索增強生成 （RAG），它允許 LLM 對專有企業數據執行查詢，而無需微調或重新訓練這些模型。

“這最終使組織能夠更快、更經濟高效地定制和啟動 GenAI 應用程序，”Pearson 說。

為了幫助客戶設置基于 RAG 的 AI 應用程序，英特爾計劃在今年晚些時候推出面向企業 RAG 的英特爾 AI，這是由英特爾和第三方開發的解決方案目錄，將于今年年底前首次亮相。這些解決方案適用于從代碼生成和代碼轉換到內容摘要和問答等各種使用案例。

Pearson 表示，英特爾“具有獨特的優勢”，可以利用英特爾和合作伙伴開發的技術解決企業在部署基于 RAG 的人工智能基礎設施時面臨的挑戰，這些技術從配備 OEM 的 Gaudi 和 Xeon 芯片的經過驗證的服務器開始，包括軟件優化、矢量數據庫和嵌入模型、管理和編排軟件、OPEA 微服務和 RAG 軟件。

“所有這些都使企業客戶能夠輕松實施基于英特爾 AI for Enterprise RAG 的解決方案，”他說。

渠道將成為 Gaudi 3 勝出的“關鍵”

在上周接受 CRN 采訪時，英特爾公司副總裁兼美洲銷售組織和全球客戶總經理 Greg Ernst 表示，渠道合作伙伴對于將基于 Gaudi 3 的系統送到客戶手中至關重要。

Ernst 表示，為了讓英特爾達到這一點，這家芯片制造商需要 Gaudi 3 獲得服務器供應商的廣泛支持，“像 World Wide Technology 這樣的合作伙伴可以真正團結起來”。他補充說，英特爾”與合作伙伴一起在如何銷售產品和實施產品支持方面做了大量學習”。

“現在我們已經為規模化做好了準備，合作伙伴將成為其中的關鍵，”他說。

IBM Cloud 產品和行業平臺總經理 Rohit Badlaney 告訴 CRN，該公司的“構建”獨立軟件供應商 （ISV） 合作伙伴、增值分銷商和全球系統集成商是 IBM 計劃銷售基于 Gaudi 3 的云服務的三種主要方式，這些服務將主要圍繞其 Watson AI 平臺。

“我們有一個完整的銷售生態系統團隊，他們將專注于構建 ISV，包括嵌入和構建我們的 Watson 平臺，現在我們的 Red Hat 開發人員堆棧正在進行同樣的努力，”他在上個月的英特爾新聞發布會上說。

Badlaney 表示，IBM Cloud 已經測試了英特爾對 Gaudi 3 的“性價比優勢”聲明，并對他們的發現印象深刻。

“當我們查看 Gaudi 3 的功能時，特別是我們的 watsonx 數據和 AI 平臺，從成本效益的角度來看，它在我們的測試中確實與眾不同。因此，我們將將其應用于的第一組用例是圍繞我們自己的品牌模型和我們看到的其他一些模型進行推理，“他說。

戴爾企業戰略高級副總裁 Vivek Mohindra 表示，通過將 Gaudi 3 納入其 PowerEdge XE9680 產品組合，他的公司為合作伙伴和客戶提供了替代采用英特爾競爭對手加速器芯片的系統的機會。他補充說，戴爾用于管理高性能計算和 AI 工作負載的 Omnia 軟件與 OPEA 微服務配合良好，為企業提供了一個部署新基礎設施的“簡單按鈕”。

他在英特爾的新聞發布會上說：“它也為客戶提供了一個選擇，然后在軟件上，我們的 Omnia 堆棧可以與 [英特爾的] OPA 互操作，這為客戶提供了相對容易地采用和擴展它的巨大能力。”

總部位于伊利諾伊州諾斯布魯克的系統集成商 International Computer Concepts 的首席技術官 Alexey Stolyar 告訴 CRN，他的公司開始圍繞 Gaudi 3 進行高級培訓課程，他可以看到需要由此類芯片實現經濟高效的 AI 系統，這主要是因為訓練或微調大型模型需要多少功率。

“你會發現，世界上很多地方都將關注比這些巨大的模型更小、更高效、更精確的模型。大型企業擅長一般任務，但不擅長非常具體的任務。企業將開始開發自己的模型或微調特定的開源模型，但它們將變得更小，效率更高，“他說。

Stolyar 說，雖然 International Computer Concepts 尚未開始主動與客戶討論 Gaudi 3 系統，但一位客戶已經與他的公司接洽，為客戶計劃針對特定工作負載銷售的交鑰匙設備開發 Gaudi 3 系統，因為基準測試表明該芯片表現良好。

然而，這位解決方案提供商高管也指出，他不確定 Gaudi 3 代表著多大的機會，并補充說，英特爾的成功將在很大程度上取決于 Gaudi 3 系統相對于由英偉達芯片和軟件提供支持的系統易用性。

“我認為客戶想要其他選擇。我認為擁有良好的競爭是好的，但在這種易用性出現之前，它不會發生。英偉達已經這樣做了一段時間。他們一直在那個生態系統中微調他們的軟件包等，“他說。

一家解決方案提供商的一位高級領導告訴 CRN，他的公司與英特爾代表的對話給他的印象是，這家芯片制造商并不尋求與英偉達正面交鋒，而是希望贏得 AI 市場的一定“百分比”。

“他們一直在談論 Gaudi 3 很長一段時間：嘿，這將是我們的目標。我們要競爭。但我認為他們也帶著一些溫和的期望進來。比如，讓我們在這個市場中競爭。我們本身不會與英偉達正面交鋒，但我們可以解決其中的一些問題并為客戶提供選擇。讓我們挑選出五個客戶，去和他們談談，”這位不愿透露姓名的高管說，他要求坦率地談論他與英特爾的合作。

這位解決方案提供商負責人表示，他確實認為像由 Gaudi 3 提供支持的具有成本效益的 AI 系統可能會有市場，因為他從客戶那里聽說，他們越來越意識到高昂的 AI 基礎設施成本。

“從某種程度上講，當你采取這種方法時，你承認別人已經贏了。但如果它做到了別人沒有做到的這些事情（高性價比），你不考慮它就是個傻瓜，因為它會為你節省金錢、電力和其他一切。但這不是一種接管世界的策略，“他說。

編輯：芯智訊-浪客劍 來源：CRN