晶圓級處理器開發商 Cerebras 正在研究一種光學子態，以將其系統性能提高 4000 倍，并呼吁行業合作和標準化。

目前的 Cerebras WSE3 處理器建立在一塊 300 毫米晶圓上，擁有 900 million晶體管，功耗為 20kW。這家總部位于加州的公司必須開發自己的晶圓級封裝，用于 I/O、電力輸送和冷卻，目前正在研究光學互連。

該公司首席系統架構師本周在法國格勒諾布爾舉行的 Leti 創新日上發表了講話，探討了如何利用小芯片和 3D 異構封裝技術應對可擴展性挑戰。“它不是小芯片，但它仍然是 3D 集成的候選者，”Cerebras 聯合創始人兼首席系統架構師 JP Fricker 表示。“這項技術將帶來變革。”

然而，性能、擴展和功耗的一個關鍵限制是片外 I/O。

“I/O 是大型計算的一個限制，會阻止您進入非常大的系統。這些技術現在已經存在，但我們需要發明技術來將它們整合在一起。我們正在開發這些技術，我們的目標是構建比現在快 4000 倍的超級計算機，并將 1000 個晶圓連接在一起。”

“目前，I/O 位于芯片的兩個邊緣，但如果 I/O 分布在芯片上，效果會更好。縮短通道長度可以減小 SERDES 的尺寸，從而節省空間和功耗。”

“我們希望擁有大量的光學引擎，”他說。“目前它們是外部的，但最終我們會將這些激光器放入芯片中。”他說，這些將用于多個通信通道，數據速率合理，為 100 到 200Gbit/s，而不是粗管道。

“我們有自己的晶圓級引擎，并采用第三方晶圓級可編程光學互連，將它們組合在一起，利用晶圓的整個表面連接到晶圓上，”他說。“這需要異質晶圓對晶圓的封裝。”

Celestia AI 和 LightMatter 等公司一直在開發這些光互連技術，特別是針對超大規模和 AI 芯片公司。

“但我們需要發明或重新利用技術。當前的互連間距太粗，我們無法獲得愿意集成該技術的晶圓廠，因為它太小眾了，所以我們需要創建一種不同的工藝。混合鍵合可實現 12 微米以下的更細間距和更高的組裝產量，但它僅在特定晶圓廠中可用，并且晶圓廠中的工藝對有限，例如 5nm 到 5nm 晶圓，但不能使用不同的代工廠，而且兩年后也是如此。”

工藝步驟中也存在挑戰。

“為了進行混合鍵合，晶圓廠會在最后的銅層之一處停止，這個銅層不容易探測，但這使得運送到另一家晶圓廠變得困難。”

“我們希望開發一種新技術，通過一個共同的頂層來標準化晶圓的表面處理，并將這一層用作晶圓堆疊的標準接口，這樣不同的晶圓可以以不同的方式制造，但最后一組接口對于不同工廠之間的鍵合來說是通用的。這也意味著鍵合可以由第三方完成，而不僅僅是大批量工廠，”他說。

測試探針在銅層上留下的標記對于平坦化來說也是一個問題，必須去除這些標記或使用非接觸式測試系統。

但他表示，這一做法具有顯著的優勢。

“我們可以通過光學晶圓傳輸電力，因為元件更稀疏，有許多硅通孔 (TSV) 和非常短的通道，并且這些元件通過使用多種波長位于單層中。這樣就可以在同一系統中從頂部傳輸電力并從底部移除冷卻。”

“在我們的案例中，計算晶圓上的網絡基于可配置結構，該結構在晶圓上運行工作負載之前設置。當您在光域中使用電路交換執行此操作時，您可以將電氣交換發展到光域，但您不需要經常這樣做。

跨越英偉達的護城河

英偉達的護城河有多寬？這是如今投資者心中3萬億美元的問題。至少部分答案可能在今年晚些時候以IPO的形式出現。Cerebras Systems是一家試圖在人工智能芯片戰場上挑戰英偉達的初創公司 AI，該公司將于2024年底進行首次公開募股。

Eclipse Ventures的創始人兼管理合伙人Lior Susan 于2015年首次投資Cerebras ，當時該公司有五張演示幻燈片和新計算機架構的理論計劃。八年后，這家初創公司提供了具有大量內存的特殊大型芯片，適用于模型訓練和推理等生成式人工智能工作負載。這些與 Nvidia 芯片（包括 B100 和 H100）相抗衡。

與 Nvidia 競爭最“煩人”的事情是 CUDA 但根據 Susan 的說法，

CUDA 是 Nvidia 構建的軟件層，旨在幫助開發人員處理和指導其圖形處理單元。該平臺擁有數百萬行代碼，可節省開發人員的時間和金錢，在這一點上，它是大部分人工智能生態系統的默認代碼。

Cerebras有自己的軟件，可以與初創公司的芯片配合使用。但即使是精心設計的替代品也比 CUDA 落后數年。隨著開發人員的知識和習慣的建立，這種領先優勢將很難打破。

“我個人完全低估了銷售芯片的CUDA部分，”Susan說。“你是沖著硬件來的。你留下來是因為軟件。他補充說：“作為技術人員，我們總是喜歡哭泣，說我們不喜歡某些東西，但后來我們繼續使用它。因為沒有比這更好的了。

半導體行業資深人士、Thomvest董事總經理Umesh Padval稱CUDA為堡壘。它在 2007 年發展緩慢，但近年來像滾雪球一樣越滾越大，大約有 500 萬開發人員編寫 CUDA 代碼，向規范添加可用數據，排除錯誤并相互支持。

隨著時間的流逝，Nvidia 在 CUDA 之上疊加了更多工具和資產。像單詞庫和訓練數據這樣的東西，初創公司可以利用這些數據，這樣他們就不會在每次決定將人工智能革命的力量指向一個新的用例時從頭開始。例如，Modulus 是一個幫助人工智能理解物理的庫。

“他現在有數以百萬計的軟件開發人員，他們知道這門語言，并且已經使用了很長時間，”Padval在談到英偉達首席執行官黃仁勛時說。“總有一天會解決的，但這是一條很大的護城河。”

越過這條CUDA護城河是關鍵。Business Insider 獲得的亞馬遜內部文件就是一個例子。文件稱，亞馬遜的 Neuron 軟件旨在幫助開發人員使用 AWS 的 AI 芯片構建 AI 工具，但目前的設置“阻止了從 NVIDIA CUDA 的遷移”。這是阻礙一些AWS客戶使用亞馬遜人工智能芯片的主要因素之一。

任何構建CUDA替代品的人都不能完全忘記它。如果初創公司出于這種意圖從頭開始構建技術，他們可以嘗試完全避免這種情況 。但是，大多數 AI 開發人員如果想改變他們的硬件，就必須通過艱苦的工作來改變他們的軟件。

AMD是英偉達最直接的競爭對手 ，擁有自己的平臺ROCm。它帶有一個名為 Hipify 的工具，可將 CUDA 軟件代碼轉換為更便攜的東西。

“你用CUDA編寫一個程序。要在AMD GPU上運行它，您可以使用Hipify工具進行切換，“AI芯片初創公司Positron的聯合創始人兼首席執行官Thomas Sohmers說。“坦率地說，我還沒有看到有人使用Hipify。

9月，包括高通、谷歌和英特爾在內的一群 AI 名人和 Nvidia 競爭對手成立了 UXL 基金會 ，以構建一個與芯片無關的競爭對手軟件平臺。該軟件要到 2024 年底才能投入使用。其他攻破CUDA堡壘的嘗試都失敗了 。

然而，時間和慣性是一個強大的組合，正如KG Ganapathi樂于解釋的那樣。

他的創業公司Vimaan正在為未來的“黑暗倉庫”開發技術，不需要人工操作。它使用計算機視覺和機器學習來理解和編目每個項目的形狀、大小、數量和位置。Vimaan 已獲得亞馬遜 工業創新基金 的資助，并且是 Nvidia 初創公司 Inception 計劃的一部分。

Vimaan團隊已經在CUDA中構建了整個系統，而Ganapathi現在沒有興趣改變它，即使有明確的理由這樣做。

“我是否要借此機會切換我們在英偉達平臺上構建的整個基礎設施？”他說。“可能不會。”

盡管如此，Thomvest 的 Padval 相信 Nvidia 客戶希望通過多樣化他們的 GPU 和支持軟件來源來降低風險。這意味著競爭對手仍將受到資本以及產品測試和購買的推動。

“客戶喜歡領導者。但他們也覺得他們想要第二個來源，這樣他們就有了選擇，“他說。

由于CUDA可能是英偉達護城河中最重要的元素，因此對該公司市場份額的長期預測可以表明這種影響力有多大。

Eclipse Ventures的Susan表示，這個市場是如此巨大，即使從英偉達手中奪走一小部分也是值得的。

“我說嘿，我最大的競爭對手價值3.5萬億美元，所以你知道，如果我得到10%，我就是一個快樂的人，”他說。

來源:半導體行業觀察