Rebellions尋求成為首家大規模生產人工智能芯片以支持語言模型的韓國初創企業
在位于首爾南部的一座辦公大樓里,一打芯片并排放在架子上,每個芯片旁邊都有自己的電風扇來降溫。
這些名為ATOM的芯片是韓國初創企業Rebellions開發的最新神經處理單元(NPU),目標是擁有多達70億個參數的人工智能模型。它們的性能正在進行測試,并與同一樓層上另一個房間里的幾個Nvidia的A100 GPU進行比較。
作為下一代人工智能芯片,NPU是針對同時進行矩陣運算進行優化的處理器,意味著它們在深度學習方面比通用中央處理單元(CPU)和圖形處理單元(GPU)更進一步。
2020年由五名韓國工程師共同創立的無晶圓廠人工智能芯片初創企業Rebellions被認為是與Nvidia在該領域匹敵或競爭的最佳希望。
Rebellions首席執行官兼聯合創始人樸成炫(Park Sung-hyun)在本周早些時候接受《韓國時報》采訪時表示,ATOM將于2024年上半年利用三星的5納米技術進行大規模生產,這將是韓國芯片工業的重要里程碑,因為ATOM將是第一個在大規模生產水平上支持語言模型的國產芯片。
“我們在AI推理方面比Nvidia的GPU更節能,”樸成炫說道,指的是通過訓練后的人工智能模型運行實時數據以進行預測或解決任務的過程。他補充說,ATOM在語言模型推理基準測試中的延遲只有Nvidia A2的一半,功耗效率是Nvidia A100的五倍。
從視覺上看,ATOM芯片只需要風扇降溫,而Nvidia芯片需要在空調環境中運行——這意味著更多的功耗和更高的運營成本。
Rebellions的崛起正值全球半導體行業為AI芯片展開激烈競爭之際,這受到了openAI的ChatGPT的普及以及對Nvidia GPU的需求不斷增長的推動。
韓國以其在內存芯片制造業中的地位而聞名,正準備在這個蓬勃發展的市場上獲得牢固的立足點。例如,三星電子正在與臺積電競爭AI芯片制造業的主導地位,而韓國政府則旨在到2030年將國內數據中心中本地開發的AI芯片份額增加到80%。
Rebellions已經獲得了韓國科技行業幾個最大公司的支持,包括三星、KT和Kakao。
今年1月,Rebellions完成了由KT領投的最新一輪融資,總額達到1.24億美元,迄今為止,KT在這家初創企業上已經投資了超過5000萬美元。這將Rebellions的估值提高到6.5億美元,成為韓國資金最多的芯片初創企業。
樸表示,進入大規模生產將對公司的收入產生重大推動,經過多年的原型階段。根據樸的說法,KT,韓國第二大電信運營商和韓國最大的數據中心公司,將成為Rebellions在開始大規模生產ATOM后的首個客戶。樸認為,電信公司是AI芯片最理想的客戶。
“AI行業的未來將成為基礎設施游戲。電信公司愿意向建立數據中心投入大量資金,”他說道。
樸成炫還希望與韓國最大的數據中心公司的合作伙伴關系將成為其全球擴張的參考,尤其是在美國市場。樸成炫表示,該公司已與一些美國主要的超大規模云服務提供商進行了談判,例如IBM。
樸成炫于2014年從麻省理工學院獲得電氣工程和計算機科學博士學位,曾在美國芯片行業工作了六年,曾在三星的美國研究部門、英特爾和SpaceX工作過。
盡管在美國芯片行業有著豐富的經驗,但樸成炫認為在韓國創辦半導體公司有更好的機會。“在半導體硬件生態系統中,亞洲將是下一個大事件,”他說道。“韓國和臺灣正在迎頭趕上。”
樸成炫于2020年回到祖國,并與另一位在美國具有行業背景的韓國人工智能芯片專家吳進旭(Oh Jin-wook)以及其他聯合創始人一起創立了Rebellions。
對于樸成炫來說,這不是一個容易的決定,因為當時他在美國的行業網絡大部分在美國。Rebellions最初的團隊成員包括來自IBM、英特爾和蘋果以及三星美國的人物。
現在,它擁有大約120名員工,其中近100名是工程師。隨著團隊的擴大,它吸引了本地背景的專家,其中來自韓國大型半導體公司的員工占據了近70%,根據樸的說法。
Rebellions在2021年推出了名為ION的第一款產品,使用臺積電制造的芯片,針對金融行業的AI任務。然后,該公司決定重新將重點放在AI模型的芯片上,因為與金融公司相比,數據中心公司的需求更高。
三星,韓國最大的芯片制造商,是Rebellions的ATOM的制造合作伙伴。去年10月,這兩家公司加深了他們的合作關系,宣布計劃在ATOM之后共同開發REBEL,這是該初創企業的下一代NPU,用于更大參數規模的LLMs,并與Nvidia的頂級GPU H200進行比較。
樸成炫對REBEL寄予更大的希望,該芯片預計將在今年下半年完成開發并開始大規模生產,采用三星的4納米制造工藝。
隨著生成式人工智能市場的不斷擴大,樸成炫預計推理芯片的需求將成為一個關鍵增長點。
“AI訓練流量取決于開發人員的數量,而AI推理流量隨著最終用戶的數量增加而增加,”樸成炫說道。“目前,訓練和推理市場幾乎占據一半,但未來推理流量將大幅增加。”
在兩年半的時間里,樸成炫看到了該公司在韓國LLM市場中的份額增長了30%,在推理任務方面占據了“至少3到5%”的份額。根據分析師的估計,目前,據估計,Nvidia在全球AI芯片市場的份額高達90%。
評論