Sandisk Corp. 正在尋求 3D-NAND 閃存的創(chuàng)新，該公司聲稱該創(chuàng)新可以取代基于 DRAM 的 HBM（高帶寬內(nèi)存）用于 AI 推理應(yīng)用。

當(dāng) Sandisk 于 2025 年 2 月從數(shù)據(jù)存儲公司 Western Digital 分拆出來時，該公司表示，它打算在提供閃存產(chǎn)品的同時追求新興顛覆性內(nèi)存技術(shù)的開發(fā)。在 2 月 11 日舉行的 Sandisk 投資者日上，即分拆前不久，即將上任的內(nèi)存技術(shù)高級副總裁 Alper Ilkbahar 介紹了高帶寬閃存以及他稱之為 3D 矩陣內(nèi)存的東西。

在同一場演講中，Ilkbahar 表示，通過優(yōu)化 NAND 閃存的帶寬，而不是芯片面積和成本，該公司提出了一種稱為高帶寬閃存 （HBF） 的架構(gòu)。

方法是將 NAND 內(nèi)存陣列劃分為多個微型陣列，并并行訪問每個陣列。這些多個微型陣列可以使用鎧俠BICS 3D-NAND技術(shù)在垂直維度上堆疊。這已經(jīng)被用來生產(chǎn)16層的研發(fā)存儲器，其容量是HBM的8到16倍，價格類似，Ilkbahar說。

“我們正在根據(jù)主要 AI 參與者的意見來開發(fā)它，”Ilkbahar 告訴投資分析師聽眾。他補(bǔ)充說，HBF 有可能取代數(shù)據(jù)中心 GPU 中的 HBM，并將其用途擴(kuò)展到支持 AI 的智能手機(jī)和其他邊緣設(shè)備。

目前，一個典型的 AI-GPU 包括 2 個 GPU 邏輯芯片和 8 個 HBM。即將推出的 AI-GPU 使用這 8 個 HBM 來提供 192GB 的 DRAM。Ilkbahar 說，使用 HBF 可以為組件提供 4TB 的非易失性內(nèi)存。

Ilkbahar 說，像 GPT4 這樣要求苛刻的現(xiàn)代 LLM 有 1.8 萬億個參數(shù)，使用 16 位權(quán)重，需要 3.6TB。“這意味著整個模型可以放在單個 GPU 上，避免大量數(shù)據(jù)移動，”他觀察到。這種效率對于即將推出將文本與音頻和視頻相結(jié)合的多模態(tài)模型非常重要。

由于內(nèi)存、性能和功耗限制，智能手機(jī)上的 AI 一直專注于減小 LLM 大小，但結(jié)果并不令人滿意。Ilkbahar 說，這推遲了邊緣 AI 的發(fā)展。但是，更高級的 LLM，或者基于專家混合模型的 LLM，可能具有 640 億個參數(shù)，具有 8 位權(quán)重，需要 64GB 的內(nèi)存。“單個 HBF 芯片可以包含該模型，”Ilkbahar 說。

Ilkbahar 承認(rèn) HBF 不能直接替代 HBM，但表示 Sandisk 已決定以最少的協(xié)議更改驅(qū)動基于相同電氣接口的開放標(biāo)準(zhǔn)接口。為此，Sandisk 正在組建一個由行業(yè)杰出人士和合作伙伴公司代表組成的技術(shù)顧問委員會。

Ilkbahar 沒有透露合作伙伴的姓名，也沒有提供引入 HBF 的時間表。他確實展示了一個路線圖，顯示與第一代 HBF 相比，容量和讀取帶寬翻了一番，能效提高了 36%。