國內廠商,去搞AI ISP芯片了
最近,有消息稱字節在研某款 AI 智能眼鏡正在考慮采用恒玄 2800 + 研極微的 ISP 芯片方案(但這不代表是最終方案)。
本文引用地址:http://www.j9360.com/article/202503/468490.htm對于 AI 眼鏡來說,SoC 的選擇往往決定了產品的體驗上限,比如 Meta-Rayban 采用的是高通 AR1 的芯片方案。但實際上,為了滿足 AI 智能眼鏡拍攝的功能需求,則還需要外掛一塊 ISP 芯片。
其實,越來越多的廠商在開卷 ISP 芯片,并且在 AI 的需求下,很多芯片企業開始推出 AI ISP 芯片。
ISP 芯片,開始被重視
ISP 芯片不是一個新鮮事物。
ISP 是 Image Signal Processor 的簡稱,即圖像信號處理器。主要用于對圖像傳感器采集到的原始圖像信號進行處理。
在圖像處理這塊,大家更熟知的是 CMOS 圖像傳感器。CIS 芯片功能相當于人類的視網膜,用來捕捉光線。而 ISP,相當于大腦皮層中對應視覺處理的那一部分,用于處理圖像。CIS 和 ISP 湊在一起完成視覺感知的任務。
2021 年有一陣手機廠商自研芯片潮,都不約而同的選擇了 ISP 芯片。
vivo 在 2021 年 9 月推出了自研獨立 ISP 芯片 V1,到目前已經推出了三代 ISP 芯片;小米推出了 ISP 澎湃 C1,與小米 MIX FOLD 折疊屏手機同時發布。
都選擇自研 ISP 芯片,正是因為 ISP 對于圖像改善的影響非常大。在同等 CMOS 的條件下,好的 ISP 芯片對圖像質量的改善空間可達 10%~15%。
ISP 芯片越來越被重視,與 AI 硬件的發展,尤其是 AI 眼鏡離不開關系。
需要了解的是,ISP 芯片分為集成和獨立兩種。集成 ISP 是指將 ISP 集成在 SoC 處理器中,比如高通驍龍系列、英偉達 Tegra 系列處理器內部都集成有 ISP 芯片。
獨立 ISP 芯片則是獨立于 SoC 處理器而存在的,也就是外掛形式。雖然成本更高,但優勢明顯。除了運算能力、成像質量更優秀外,因 ISP 帶有可編程性,一般的獨立 ISP 芯片都是手機商向 ISP 提供商定制的,所以與相機其他組件的契合度更佳,成像也有屬于自己的特色。
前文提到 AI 眼鏡中,使用最多的是高通 AR1 芯片,其早就已經實現手機級別的 ISP。從已經流出的產品配置信息來看,小米 AI 眼鏡也是采用驍龍 AR1 雙 ISP 芯片+索尼 IMX681 傳感器的組合。
但高通 AR1 芯片的價格還是太高了。現在,廠商在評估 AI 眼鏡時,以恒玄為代表的 MCU 外加 MTK 或 ISP 也是一個不錯的方案。外掛 ISP 芯片的方案,相比于高通 AR1 芯片具備高性價比,低功耗長續航的特點。
并且,XR Vision Pro 報道,調校 ISP 芯片也可以達到接近于高通 AR1 實現的拍攝效果,該方案的成本是高通 AR1 芯片方案的幾分之一,整體 AI 智能眼鏡的 BOM 成本可以控制在千元以內,產品零售價可以做到 1500 以內。
影目科技 X 系列和閃極 AI「拍拍鏡」AI 眼鏡都搭載了紫光展銳 W517 芯片;雷神科技的 AI 眼鏡采用了多種技術路線,其中也包括 MCU 級 SoC+ISP 方案等。整體來看,MCU 級 SoC+ISP 方案可能更受到一些新興廠商青睞。
一位熟悉產業鏈上下游的投資人透露,預計今年年底恒玄會推出主控芯片加上 ISP 集成的 SoC,這套方案的價格更便宜,功耗也能控制得更好,會比 AR1 更適合用在 AI 眼鏡上,華為就在等這套方案。
都有誰在做 ISP 芯片?
帶上鏡頭的 AI 眼鏡,需要大量的圖片計算,所有這也是 ISP 暴漲的主要原因。
我們細數國內 ISP 企業,各家有各家的看點。
先看海思,海思的芯片實力很強,一般做的是集成 ISP。從麒麟 950 開始,海思的 SoC 芯片中開始集成自研的 ISP 模塊。以 Hi3559A 為例,我們可以看一下其 ISP 整體的結構。
3559A 是一個通用 ISP,所以功能很全,如果用 FPGA 去實現這些,估計沒有幾個能做出來,ISP 的特殊點就是針對不同的鏡頭、環境、Sensor 等不同去調整需要實現的算法。
在 ISP 芯片方面,因為智能手機對于成像要求越來越高,高通和聯發科的 ISP 實力也是很強的。國內有一家企業與聯發科關系匪淺,專門做的是 ISP 芯片,那就是星宸科技。
星宸科技的 ISP 芯片廣泛應用于智能安防、智能車載、視頻對講等領域,其產品線豐富,涵蓋了 IPC SoC(網絡攝像機芯片)、NVR SoC(網絡視頻錄像機芯片)以及 USB 視頻會議攝像頭芯片等。
星宸科技的第一大股東是 SigmaStar,而 SigmaStar 由聯發科間接持股 100%。因此,星宸科技的控股股東是聯發科。雖然聯發科已明確表示不謀求星宸科技的控制權,但是星宸科技的多名管理層及核心技術人員出自聯發科系統,例如董事陳恒真、監事蔡秉憲等曾在聯發科任職。
現在星宸科技在智能眼鏡里的進展也很快,據了解,其智能眼鏡芯片 SSC309QL 正與多家品牌客戶對接測試,集成了自研的 ISP 4.0 及 NPU,在視覺處理和各類多態大模型的適配上提升比較大。
富瀚微的 ISP 產品主要應用在安防監控、車載攝像頭等。CES2025 上發布了智能眼鏡芯片 MC6350。其中集成了富瀚微自研的 AI ISP,在暗光下表現不錯,解決目前主流智能眼鏡產品在暗光下拍攝效果不佳的問題。
當然也有前文提到的恒玄科技,恒玄科技ISP 芯片主要特點是能夠與音頻處理技術緊密結合,其在研智能眼鏡專用 SoC 項目,主打單芯片集成低功耗 ISP 技術。
擅長暗光環境的 AI ISP 興起
AI ISP 的核心在于,將人工智能算法與 ISP 技術深度融合。
通過集成深度學習、機器學習等 AI 算法,AI ISP 能夠實現對圖像內容的智能分析和處理,如物體識別、人臉檢測、場景分類等。
AI ISP 的市場還是很大的。據市場研究機構預測,全球 ISP 芯片市場銷售額將從 2023 年的 6.65 億美元增長至 2030 年的 10.2 億美元,年復合增長率達到 6.4%。
目前來看,AI ISP 的應用更多的是在低光成像(AINR)方面。AI ISP 能夠實現在信噪比(SNR)上 6~12dB 的顯著提升。當同等硬件條件下,AI-ISP 與傳統 ISP 的比較顯示,AI-ISP 不僅提高了畫質性能,而且在成本效益上也表現出巨大的優勢。
AI ISP 的結合是有企業走在前面的,華為海思 2021 年就推出了「越影 AI ISP」,把傳統 ISP 技術與 AI 深度學習相結合,相比上一代旗艦 ISP,低照場景下的圖像信噪比提升了 4 倍。
全志科技在財報中表示,在視覺類應用的低光場景下,為解決低光拍攝和錄制問題,研發了全新一代 AI-ISP 降噪算法,配合深度優化的軟件,實現 AI 降噪功能的高效運行,并在相同信噪比情況下,實現 2~4 倍感光度提升,同時搭配了人臉檢測、人形偵測、人臉識別、人形追蹤等檢測類和識別算法應用,在客戶的產品上實現了量產落地。
全志科技的 AI ISP 技術已經應用于其多款芯片產品中,如高集成視覺 SoC、智慧視覺處理器等。這些產品廣泛應用于智能電視、智能安防、智能車載等多個領域,為用戶提供高質量的圖像處理體驗。
國科微新一代 4K AI 視覺處理芯片 GK7606V1 系列,也是搭載的自研 AI ISP。測試結果顯示,國科微 AI ISP 技術能夠極低照度的黑光場景下,對圖像進行全方位的優化和增強,使得圖像更加清晰、細膩,色彩更加生動飽和。
愛芯元智此前也公布了其 AI-ISP 技術,并將其命名為「愛芯智眸」。愛芯元智公司的 AI ISP 采用了混合精度、存算一體的架構設計,使得在有限的功耗下仍能達到高算力。與傳統圖像處理相比,AI ISP 能夠實現多種算法并行工作,尤其在去噪、差值和銳化等方面的表現更加自然、問題更少。
飛凌微(思特威子公司)發布的 AIoT 應用系列首款高性能端側視覺AI SoC 芯片 A1,其中也集成自研的 AI ISP 部分,覆蓋 0.3MP 至 8MP 分辨率。其優點在于:高性能暗光降噪和圖像增強算法、最多 3 幀 HDR 合成、高分辨率 RGB-IR 圖像處理等。
結語
隨著人工智能技術的飛速發展,AI ISP 芯片正逐漸成為國內芯片廠商的新焦點。
從華為海思的「越影 AI ISP」到愛芯元智的「愛芯智眸」,再到國科微的 4K AI 視覺處理芯片。AI ISP 芯片在智能手機、安防監控、智能駕駛等領域展現出強大的性能和應用潛力。
雖然當前的 AI-ISP 技術已經實現了顯著的進步,不斷推高了畫質處理的邊界,但用戶對畫質的渴望似乎總是無窮無盡的。特別是在經濟因素的影響下,基于卷積網絡的 AI-ISP 技術仍未能完全滿足所有客戶的多樣化需求。
特別是那些非技術領域的消費者,他們對 AI 技術抱有更高的期望,希望它能帶來質的飛躍和更為顯著的畫質提升,這也反映了大眾對于新技術盛大承諾的渴望和好奇心。
展望未來,AI-ISP 技術發展面臨三點潛在的機遇:第一,用戶對畫質的不斷追求,意味著對更高標準的 AI-ISP 解決方案有持續的需求。第二,隨著相關技術領域的進步,比如 AR,VR,顯示技術,自動駕駛等,將會帶來新的畫質上限提升需求,促進 AI-ISP 技術的進一步革新。第三,AI-ISP 所引領的技術難度降低和成本的下降,可能為更廣泛的應用提供了可能性,從而開拓新的市場和應用場景。
評論