針對這一技術趨勢，Arm近日在中國市場發布了面向視覺應用設備的全新Arm?智能視覺參考設計。該參考設計首次將Arm現有子系統IP與第三方IP進行整合，旨在幫助中國客戶加快視覺應用設備的開發，并廣泛應用于家庭與辦公室安全、智能零售結算系統、工業自動化等各種場景。Arm 物聯網事業部業務拓展副總裁馬健介紹，“由于中國視覺市場在世界上的領先地位以及創新活躍度，Arm 智能視覺參考設計將服務于中國市場。”

隨著視覺應用設備需求持續增長，客戶希望能夠將自己的IP集成到解決方案中，以獲得更大的靈活性，實現產品差異化并集成更廣泛的功能。作為面向中國市場為主的參考設計，Arm智能視覺參考設計將Arm與安謀科技市場領先的IP相結合，提升設備處理能力，增強機器學習能力，并加速開發進程。馬健指出，“Arm計算的不同細分的表現都不同凡響，更在智能攝像頭市場以 9 成以上的市占率獨占鰲頭。在視覺成為邊緣設備普世能力的未來，中國更是引領視覺技術發展的中堅市場，創新活躍度高漲，競爭激烈。中國客戶促使我們以新的方式更好的支持他們的差異化創新。Arm在中國市場發布 Arm 智能視覺參考設計，為視覺芯片及系統設計奠定堅實可靠的基礎，并支持靈活配置，為客戶降本增效，使視覺軟硬件聯合創新成為可能，加速系統開發進程。與此同時，我們開始組建Arm智能視覺合作伙伴計劃，和芯片設計、軟件、算法、系統集成等伙伴攜手，進一步加速視覺系統的開發，該計劃已經吸引了10余家伙伴的加入，我們歡迎更多生態伙伴加入 Arm 智能視覺生態。”

馬健介紹，此次發布的Arm智能視覺參考設計的硬件部分包括 CPU、ISP、NPU 和 VPU 處理器選項以及將這些元件粘合在一起的子系統 IP，首次將Arm的IP與安謀科技的 IP 合在一起，并由安謀科技預先集成和預先驗證。

Arm Corstone?-1000：該組件整合了Cortex-A和Cortex-M處理器，內置安全性，能夠在受限的功耗范圍內為不同應用提供高效和高性能。

Arm Corstone-300：這是一個低功耗子系統，可用于機器學習工作負載，實現"永遠在線"的功能。

Arm Mali?-C55圖像信號處理器(ISP)：該ISP在芯片面積極小的情況下提供可配置、高能效和高性能的圖像質量。

與此同時，來自安謀科技的第三方IP提供了更多視頻和機器學習能力的選擇。

"玲瓏"V5視頻處理器：該處理器支持緊湊、多格式(如H.264、H.265)且高效的視頻編解碼處理。

"周易"NPU：該NPU在廣泛的機器學習應用中提供高達4TOPS的性能，并支持TensorFlow、Caffe、ONNX、PyTorch等行業主流AI框架。

 在此次Arm和安謀科技的合作中，該智能視覺參考設計采用了安謀科技自研 VPU 和 NPU。“玲瓏” VPU 作為編解碼融合、靈活可配、可編程的多核視頻處理器，不斷在編碼標準、編碼質量、PPA（功耗、性能、面積）等各個方面進行提升，并保持與 Arm 架構以及多媒體生態的兼容，安謀科技目前已經完成了兩代VPU產品的研發，增加了 AVS2 和 AV1 的格式，滿足行業對標準的需求。除了增加格式之外，V5、V7 的 HEVC 編碼質量提升了 15%，對比 V5、V7，全新一代視頻處理器“玲瓏”V6、V8 的 H.264 編碼質量提升了 10%，現已經全面達到并高于行業客戶對編碼質量的要求。安謀科技智能物聯及汽車業務線負責人趙永超介紹，“面對多樣化的產品需求，“玲瓏”VPU 不斷增強圖像的前后處理能力，增加了按任意比例縮放優化的后處理，增加了 OSD 的前處理和 YUV 到 RGB 的后處理等。“玲瓏” VPU 軟件可編程，因此，在硬件量產后仍然可以進行優化和迭代，并根據客戶的需求進行升級。由于 AFBC (Arm Frame Buffer Compression, Arm系統層面上的無損壓縮) 的支持，“玲瓏” VPU 可以降低 35% 的帶寬。綜上，“玲瓏”VPU 可以為合作伙伴提供靈活的組合和選擇。“

此外，生態伙伴可以通過Arm虛擬硬件(Arm Virtual Hardware, AVH)獲取Arm智能視覺參考設計的虛擬模型，幫助軟件開發者在芯片完備之前就開始開發和優化代碼。

智能視覺技術對智慧家居、智慧城市、零售和智能制造等領域的應用日益廣泛。在智能家居領域，除了安全監控、智能門禁和個性化的家庭環境體驗外，在中國人口老齡化的情況下，關系到千家萬戶的用例是通過攝像頭監測老年人的日常生活，睡眠質量等，并及時報警或提醒看護人員。在智慧城市方面，中國在將視覺技術應用于城市安全監控和智能交通管理方面都處于世界領先地位，智能視覺技術還可以應用于智能化的垃圾處理和回收，達到綠色環保的目的。在零售方面，通過智能攝像頭和視覺分析技術，可以進行人流統計和行為分析，有助于優化商店布局，推廣策略和服務響應，提升顧客體驗和銷售效益。在智能制造領域，智能視覺在監測和質量控制、自動化導航和定位、工藝控制和輔助操作等方面都具有廣泛的應用，可以提高生產線的效率、質量和安全性，為制造業帶來了更高的競爭力和生產效益。

智能視覺參考設計的目標受眾通常是邊緣 AI 領域公司的初創公司、跨界創新公司或者是希望進行垂直整合的系統公司。由于種種原因，這些公司并不擁有涵蓋所有芯片架構前端、后端設計師的龐大團隊，他們在視覺領域的第一顆芯片通常要借力于芯片設計公司，通過這項生態計劃，我們希望使芯片設計服務伙伴們能夠訪問并熟悉 Arm 的參考設計，并在參考設計的基礎上快速流片，助力客戶推出滿足 SystemReady 和 PSA 安全標準的芯片。

馬健提到，Arm 智能視覺參考設計包含了云原生的開源視覺軟件堆棧，但是該軟件棧距離面向不同視覺市場的量產軟件還存在著差距，這就需要智能視覺軟件開發經驗的合作伙伴來幫助客戶適配不同的應用場景，為不同的 OEM 定制軟件，并進行整合、測試和調優，達到量產水平。