深度揭秘OPPO自研影像專用NPU:AI能效比暴漲40倍,秀四大黑科技
作者 | 云鵬
編輯 | 心緣
如今,自研芯片已經成為科技巨頭們的兵家必爭之地,通過芯片自研實現“人無我有”的產品特性,或許才能在內卷嚴重的市場中殺出一條路,對于手機行業來說,這一需求尤為迫切。就在今天的OPPO未來科技大會上,OPPO帶來了自家首個影像專用NPU芯片馬里亞納 MariSilicon X。
該芯片基于DSA架構和臺積電先進6nm工藝制造,通過AI算力與算法的結合,在高分辨、高色數無損成像、AI算法和HDR動態范圍等方面,將手機計算影像的表現推上了一個新的臺階。“4K + 20bit RAW + AI + Ultra HDR”的影像能力第一次被帶到了移動設備上。
今天發布的這個馬里亞納 X將作為影像專用NPU,與手機SoC一起構成手機核心運算的“左右大腦”,OPPO將這種設計稱之為“一機雙芯”。OPPO如何實現這枚影像專用NPU與SoC的高效協同,在AI性能方面取得突破性提升?他們又是如何將這樣一款自研芯片從圖紙上做到手機里?通過深挖馬里亞納 X的核心技術及研發歷程,我們試圖瞥見OPPO芯片版圖一隅。
影像NPU到底是什么“一機雙芯”時代已經到來
提及手機自研芯片,蘋果的A系列芯片一直在性能側引領著行業,隨著M1系列移動芯片的落地,整個科技行業都愈發強烈地感受到了自研芯片能夠給產品帶來的強大優勢。目前高通、聯發科等主流芯片廠商的通用移動SoC性能隨著工藝、架構、算法的提升,都有顯著提升,但即便如此,智能手機廠商們依然在近幾年積極布局自研芯片。事實上,通用芯片為了保證更好的適用性,勢必會做出一定的平衡取舍,每家廠商的產品其實都會根據產品特性,對于某方面性能有著更專用的需求,此時通用芯片就有些力不從心。想要做出“人無我有”的獨特產品優勢,光靠吃通用芯片“大鍋飯”是不夠的。一直以來,OPPO的智能手機產品都非常注重影像能力,計算攝影時代,手機影像能力的提升需要強大AI算力的支持,通用芯片已經無法滿足計算影像對芯片提出的AI算力和能效要求。OPPO要實現自己的影像目標,就必須需要通過自研專用NPU的形式,最大化地解決算力和能效的問題,這也是OPPO要做馬里亞納 X的根本原因。為此,OPPO做出了全球首個專門為手機影像打造的專用NPU。
AI計算涉及大量的神經網絡模型,而NPU(神經網絡處理器)也就應運而生,相比傳統CPU和GPU,專門針對神經網絡計算進行特殊優化設計的NPU,在處理AI任務時,性能和能效比都會高很多。需要特別注意的是,雖然現在主流移動SoC中都有設計ISP模塊,但ISP的主要作用是對于傳感器采集到的圖像信息進行處理,而并不具備馬里亞納 X這樣的強勁AI性能,這也是影像專用NPU區別于ISP的重要一點。在OPPO看來,通過影像專用NPU這種“專芯專用”的方式,才能解決目前ISP和通用芯片算力不足的難題,這將是未來手機計算影像發展的主流方向。得益于馬里亞納 X芯片的加入,OPPO首次完成了影像鏈路的垂直整合,馬里亞納 X將通用平臺、圖像傳感器和影像算法三者整合貫通,實現軟硬件生態的打通。
AI能效比暴漲40倍影像四大核心領域關鍵突破
作為一個影像專用NPU,馬里亞納 X主要在AI計算能效、Ultra HDR、實時RAW計算、RGBW PRO四個關鍵技術領域實現了突破,其中AI能效比表現尤其突出。
蘋果一直被認為是手機AI算力領域的天花板,而這次馬里亞納 X,其18TOPS的AI算力已經可以比肩蘋果A15,而在峰值算力強勁的同時,實現較好的能效比才是關鍵,這一點在手機這類移動設備上顯得尤為重要。馬里亞納 X能夠實現11.6TOPS/W的能效比。值得一提的是,該結果是基于真實落地商用的復雜AI算法和隨機生成圖片得來,實際上,如果基于現實世界的人像、風景等真實圖片進行處理,馬里亞納 X的能效比還會更高。
為了更直觀的感受這一能效比,OPPO也將搭載馬里亞納 X的機型與搭載驍龍888的Find X3 Pro進行了對比,能夠發現,馬里亞納 X運行OPPO自研AI降噪模型的性能可以達到40FPS,大約是OPPO Find X3的20倍。而在此基礎上,馬里亞納 X的功耗僅有800毫瓦,僅為OPPO Find X3上驍龍888的一半,因此能效比達到了40倍。
要知道,應用在視頻拍攝中,最低性能門檻也要有30FPS,可以說,馬里亞納 X讓算法在視頻端的應用從不可能變為了可能。基于這樣的AI性能及高能效比,馬里亞納 X在手機影像領域實現了諸多突破。比如在成像的動態范圍方面,馬里亞納 X最高能夠支持20bit Ultra HDR成像、覆蓋100萬:1的最大亮度范圍,這樣的能力已經媲美“人眼級”,也是目前行業中如驍龍8、天璣9000這類主流移動SoC HDR能力的4倍。
同時值得一提的是,在無損成像方面,OPPO這次將所有復雜的算法和運算都放在RAW域上進行處理,并且是實時進行的。馬里亞納 X最高支持20bit的RAW計算,將傳統模式下只能在后處理完成的計算推向了最前端,為整個影像鏈路輸出無損計算后的高質量數據,從而帶來后期成像的更高畫質輸出。從本質原理上來看,手機攝影是一個采集事物表面反射的光轉換成數字圖片的過程,在這個轉換過程中會有大量的信息損失,比如從原始的RAW信息轉換為RGB信息,再轉換為YUV信息。馬里亞納 X則可以重塑轉換鏈路,將處理節點前置在信息量100%的RAW域直接做實時計算。
RAW有更原始的信息,線性度、色彩更好。當然,在RAW上處理,對算法復雜度、實際相應的硬件投入各方面都會要求更高,但這恰恰是馬里亞納 X的強項。值得一提的是,OPPO這次將馬里亞納 X自研芯片與此前的定制化RGBW圖像傳感器進行了深度耦合,通過與馬里亞納 X進行協同,RGBW傳感器的能力也被最大化地釋放了出來,OPPO將其稱之為RGBW Pro Mode。
具體來看,馬里亞納 X針對RGBW傳感器收集圖像信息的特點,針對性地優化了RAW信息的處理管線,在HDR AI降噪這類典型應用場景中,根據OPPO實際測試,馬里亞納 X通過雙鏈路的設計和2x RAW計算,能夠實現8.6dB信噪比和1.7倍解析力提升。OPPO認為,無損計算將是計算影像的必然趨勢,因此他們也會在該技術領域繼續深耕。在強勁AI性能和對影像體驗的直觀改善背后,馬里亞納 X芯片在架構和工藝制程層面也進行了大膽突破。馬里亞納 X采用了AI時代的DSA架構理念,通過AI芯片化的專芯專用,彌合了傳統硬件和AI算力鴻溝。在芯片工藝方面,馬里亞納 X成為了全球首個采用臺積電6nm的移動端獨立影像專用NPU。
更先進的制程工藝,是高能效比的基礎,同時6nm的產能也相對穩定,能夠一定程度上避免了缺芯情況的發生。總體來看,得益于馬里亞納 X在AI、HDR處理、無損計算、圖像傳感器深度耦合四大核心技術領域的突破,OPPO將智能手機計算影像推向了“4K+20bit RAW+AI+Ultra HDR”的新極限。
歷時三年、千人團隊影像專用NPU是一次“閱兵”
從這些核心技術和優勢中我們能看到,馬里亞納 X這個專為影像設計的NPU芯片,能夠從“源頭”強化手機拍攝的整個鏈路,從而實現拍攝質量和體驗的提升。今天,我們能夠看到馬里亞納 X出色表現,這背后是OPPO歷時三年,投入上千人團隊的艱辛研發歷程所結出的果實。早在2019年,OPPO就開始在自研芯片領域加大布局力度,此前OPPO的“馬里亞納計劃”也多次引起業內的廣泛熱議。近兩年,手機“百瓦快充”大戰激戰正酣,而OPPO是最早發布120W有線充電的廠商,當年的“充電5分鐘,通話2小時”也成為了膾炙人口的OPPO宣傳語。而在這樣的快充技術背后,實際上OPPO已經在多年前就實現了快充全鏈路芯片自主定義、自主研發設計。可以看到,自研芯片對于產品競爭力的顯著提升是不言而喻的,因此OPPO也一直在自研芯片的路上堅持走下去。
此次馬里亞納 X的誕生,并不是一蹴而就,更不是曇花一現,對于OPPO來說,這只是自研芯片之路上的一次“閱兵”。目前,除了高通、聯發科、展銳等三方移動SoC廠商,有能力為自家手機產品做SoC的科技公司只有蘋果、三星和華為。毫無疑問,自研芯片就是技術研發實力的直觀體現,也是后續各家廠商角逐的重點賽道。OPPO馬里亞納 X的落地,證明了OPPO具有芯片設計、完成芯片生產、將其落地在終端產品中并真正實現應用體驗直觀提升的全鏈路能力。OPPO的自研芯片版圖,基本框架已經搭好,而接下來OPPO要做的,就是補齊更多技術模塊,向著更高的目標進發。
結語:瞄準SoC,OPPO自研芯片之路趨穩
這次OPPO帶來的馬里亞納 X自研影像專用NPU芯片,以出眾的AI能力為基礎,切入手機影像領域,將手機影像體驗帶到了“4K + 20bit RAW + AI + Ultra HDR”的水平。當下,自研芯片對于手機廠商的重要性愈發凸顯,尤其是專用自研芯片,在特定領域性能、功耗方面的優勢是傳統通用芯片無法相比的。而OPPO能夠將馬里亞納 X落地,也是多年來積累的芯片技術的一次集中展示。未來,自研芯片仍將是科技公司的核心戰場,OPPO的馬里亞納 X明年在Find X系列中表現如何,OPPO的首款SoC芯片又將何時到來,我們拭目以待。
*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。