a一级爱做片免费观看欧美,久久国产一区二区,日本一二三区免费,久草视频手机在线观看

博客專欄

EEPW首頁 > 博客 > 小米正搭建GPU萬卡集群,將對AI大模型大力投入

小米正搭建GPU萬卡集群,將對AI大模型大力投入

發布人:芯股嬸 時間:2024-12-30 來源:工程師 發布文章

12月26日,記者獲悉,小米正在著手搭建自己的GPU萬卡集群,將對AI大模型大力投入。小米大模型團隊在成立時已有6500張GPU資源。 

一名知情人士對記者表示,該計劃已經施行數月之久,雷軍在其中扮演了重要的領導角色。“在AI硬件這件事情上,最核心的是手機而不是眼鏡,小米在這個領域不‘all in’是不可能的。”

小米對AI大模型的重視度提升此前已有信號。12月20日,據第一財經報道,DeepSeek開源大模型DeepSeek-V2的關鍵開發者之一羅福莉將加入小米,或供職于小米AI實驗室,領導小米大模型團隊。

此前DeepSeekV2在模型架構上的重要創新在于對MLA(Multi-head Latent Attention)的采用,這項技術在降低大模型使用成本上發揮了關鍵作用,而羅福莉是這項工作的核心人物之一。

2023年4月,小米AI實驗室大模型團隊正式組建,任命欒劍擔任大模型團隊負責人,向小米技術委員會副主席、AI實驗室主任王斌匯報。

欒劍此前為AI實驗室語音生成團隊的負責人,曾任東芝(中國)研究院研究員、微軟(中國)工程院高級語音科學家、微軟小冰首席語音科學家及語音團隊負責人等職位。 

同一時間,雷軍發文談論對大模型和AIGC的看法時表示,小米在AI領域已經耕耘多年,有AI實驗室、小愛同學、自動駕駛等團隊。“對于大模型,我們當然會全力以赴,堅決擁抱。我們正在研發一些有趣的技術和產品,等我們打磨好了,再給大家展示。”

隨后,在小米2023周年演講上,雷軍再度談及公司大模型業務進展。 

他稱團隊成立之后,小米大模型技術的主力突破方向為輕量化、本地部署。作為最新成果,小米已初步跑通手機端側大模型(13億參數級別),在部分場景效果接近云端60億參數級別的大模型,將同步推送升級大模型版本的小愛同學。

彼時,小米有MiLM-6B/1.3B兩個參數級別模型。王斌在接受界面新聞等媒體采訪時強調,包括數據、算法等在內,小米所訓練的模型都是從零開始,但團隊也不反對第三方大模型,將以開放態度堅持自研與第三方合作相結合,來推動其大模型發展。

值得注意的是,小愛同學首次升級時的大模型版本就采用了第三方和自研的混合方案。

公開資料顯示,自2016年組建AI團隊以來,小米人工智能團隊經過7年6次擴展,相關領域人員規模已達3000多人,其AI技術能力已覆蓋視覺、聲學、語音、NLP、知識圖譜、機器學習、大模型、多模態方向,并逐步接入手機、汽車、AIoT、機器人等業務板塊。


*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。



關鍵詞: 科技

技術專區

關閉