a一级爱做片免费观看欧美,久久国产一区二区,日本一二三区免费,久草视频手机在线观看

新聞中心

EEPW首頁 > 新聞縱覽 > 大語言和多模態并行發展 智譜發布全新模型 全方位提升AI體驗

大語言和多模態并行發展 智譜發布全新模型 全方位提升AI體驗

作者: 時間:2024-12-03 來源: 收藏

隨著AI的發展,端側AI模型越來越受到廣大客戶及廠商的關注,業界領先的大模型公司智譜于近日推出了四個全新的端側模型,加速AI前沿技術路徑與創新應用場景探索,推動AI大模型普惠化發展。

本文引用地址:http://www.j9360.com/article/202412/465122.htm

四個模型中,GLM-Edge-4B-chat、GLM-Edge-1.5B-chat為端側大語言模型,GLM-Edge-V-5B、GLM-Edge-V-2B為端側多模態模型,這四個模型分別具有4.3B/1.5B/4.8B/2B參數量。兩個端側的大語言模型適合意圖理解、智能對話、文本創作、知識庫問答等,兩個端側的多模態模型適用于視覺理解、創意描述、本地搜索、圖片問答等。這四個模型即將在Github、Huggingface、模搭等多個開源社區上發布。

為了確保這些新模型能夠在實際應用中發揮卓越性能,英特爾與智譜緊密合作,利用最新的英特爾酷睿Ultra處理器(第二代)硬件平臺和OpenVINOTM AI推理加速軟件對模型的性能進行優化。通過與英特爾的緊密合作,智譜的新模型在計算效率、推理速度和能效比等方面得到了顯著提升。

英特爾酷睿Ultra處理器集成了專門的AI加速器,顯著提升AI和機器學習任務的處理能力。OpenVINOTM是由英特爾發起的AI推理優化部署軟件框架,旨在優化和加速深度學習模型在各種英特爾硬件上的推理性能,提供高效的模型優化和跨平臺部署能力,使得開發者能夠在CPU、GPU、NPU 等多種硬件上實現卓越的AI推理性能。

在強大的硬件基礎上,OpenVINO采用多種優化策略對智譜模型進行優化。INT4低精度模型量化;基于kvcache的stateful模型優化;基于模型圖融合優化,包括SDPA GQA,RoPE fusion等等。

通過這些優化,英特爾在基于酷睿Ultra第二代處理器的AIPC上做到了對相關模型的Day 0(第零日)支持并取得了很好的性能(如下圖):

image.png

AI PC領域,英特爾正在引領市場前行。英特爾目前已出貨了超過2,000萬臺AIPC設備,構建了擁有超過100ISV300多項AI應用、500多個AI模型的龐大生態系統。

在產品層面,英特爾也在與OEM廠商密切合作,推出以酷睿Ultra處理器為核心的AIPC。酷睿Ultra同時實現了出色的性能和續航能力,基于強大的x86架構,通過CPUGPU算力,酷睿Ultra能夠充分發揮AI技術的優勢。

未來英特爾會與智譜進一步加強在端側模型上的合作,并利用酷睿Ultra處理器上不斷提升的AI能力,充分賦能更多AIPC上的應用,讓用戶在基于英特爾酷睿Ultra的AIPC上有更好的體驗。





關鍵詞:

評論


相關推薦

技術專區

關閉