1   嵌入式開發挑戰及賽靈思的解決方案

在嵌入式AI 產品落地的過程中，開發者遇到最多的問題或者說挑戰主要有三個：①該方案是否靈活可擴展，能夠適配不同規模的產品？②是否有簡單易用的AI 開發工具以降低FPGA 開發門檻？③如何突破瓶頸，在算力有限的邊緣端實現最大性能？ 

賽靈思在2020 年初正式推出了Vitis^TM AI 解決方案，它是一套面向賽靈思自適應  Zynq? SoC，Zynq? MPSoC，Alveo?及Versal? ACAP 的AI開發平臺，它能夠為用戶帶來最強大的機器學習加速性能，這主要通過方案中的神經網絡加速引擎DPU、一系列自動化軟件工具（定點器、編譯器、優化器）和AI運行時來實現。 

與傳統的基于RTL語言開發AI加速IP方案的最大不同在于，VitisTMAI 向用戶提供一個通用的且可配置的神經網絡加速引擎DPU，同時，所配套的軟件工具也都完全一致，這就保證了開發者在不同大小的器件、甚至不同工藝制程的器件上靈活切換的可能。其次，VitisTM AI支持主流的機器學習框架，如Pytorch，Tensorflow 和Caffe；在開放模型庫AI model zoo中涵蓋了上百個經過充分優化、驗證及部署的模型文件，其中不乏業界最先進的3D目標檢測算法、多任務學習算法、超分辨率增強算法，或時下最流行的Yolo、Mobilenet、RefineDet、ResNet 系列，用戶可以免費下載或重新訓練；此外，對賽靈思AI部署環節的軟件庫AI Library 也做了專門的優化，除了用自動化的定點器和編譯器將模型轉化為可部署形式外，用戶還可以直接調用相應的軟件API，無需額外開發，從而實現快速部署。最后，為了幫助客戶實現邊緣端的性能突破，賽靈思在基于VitisTM 統一軟件開發平臺環境中，集成了大量經過底層優化的加速庫，通過C++、OpenCL library 的方式提供給用戶，所以除了DPU 對AI 部分的加速以外，我們對包括前處理、后處理的整體應用（全流程）都可以加速，從而可實現邊緣端應用的性能最大化。 

2   關注汽車、智慧城市、工業等領域

 賽靈思（Xilinx）在嵌入式人工智能領域主要關注ADAS 及自動駕駛，智慧城市，醫療，工業視覺這幾個領域。

 1）賽靈思在汽車領域已深耕多年，隨著汽車產業向高度自動化和全自動駕駛方向發展，賽靈思也不斷在探索提供符合汽車質量要求的自適應系列芯片及AI 解決方案。具體來說，賽靈思主要關注前視、后視、環視、盲區檢測、自動泊車、智能座艙及多傳感器融合等，覆蓋從L2 到L5 級別的ADAS 及自動駕駛領域的應用。 

2）我們知道，汽車是一個特殊的場景，它對整個ADAS 或自動駕駛系統的實時性和正確性有極高的要求，這就需要嵌入式芯片具備卓越的AI加速能力，以實現低時延、靈活應變的芯片架構，以適配不同的軟硬件工作負載，此外還需要滿足行業最高的可靠性測試標準，而賽靈思恰恰具備了這些能力。賽靈思在2021年6 月推出7 nm VersalTM AI Edge  系列，和當前Zynq UltraScale+? MPSoC 系列，都涵蓋了汽車等級，并提供行業領先的算力及靈活性。 

其實，賽靈思在目前基于Zynq UltraScale+ MPSoC 的16nm 器件上，已經取得了許多量產成績，例如斯巴魯的EyeSight選擇了賽靈思產品實現其ADAS系統中自適應巡航控制、車道保持輔助和預碰撞制動等功能；在低速駕駛方案中，自動泊車輔助（AVA）和代客自動泊車（AVP）也有多家客戶選擇XA 系列芯片及VitisTM AI 來實現環視系統的AI加速。 

對于ADAS和自動駕駛而言，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個必然的趨勢。如今，汽車搭載了越來越多的傳感器，如攝像頭、雷達、激光雷達、毫米波雷達、超聲波等，賽靈思也為這種多傳感器架構帶來了巨大價值。賽靈思產品一方面能夠增強高級信號處理、點云預處理，另一方面，通過Vitis AI還可以實現點云機器學習加速、Image-Lidar  融合算法加速、4D 雷達機器學習加速等；這些在汽車多傳感器方案，甚至5G結合AI的車路協同中都扮演重要的角色。

3）賽靈思產品在智慧城市領域已有廣泛的應用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP 支持策略、H264/H265 視頻編解碼處理單元等能力以外，還具備強大的實時AI處理能力。2021年4 月，賽靈思面向邊緣計算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260 視覺開發套件。同樣得益于VitisTM AI 所帶來的AI性能加速，用戶能夠在相關的邊緣設備上實現多路、最高分辨率達4k、60幀的實時人臉檢測、ID跟蹤等功能；此外，Kria SoM 也完全兼容賽靈思開放式AI 模型庫，用戶可以從中選取模型任意切換或重新訓練部署，總之，Kria SoM 非常適合智能相機、嵌入式視覺及其它安全、零售分析、智慧城市和機器視覺應用的生產和原型開發。 

4）醫療及工業視覺也是賽靈思嵌入式AI 落地的重要場景。在醫療領域，我們可以提供基于深度學習的醫療影像分析或超分辨率增強，用AI為醫護人員在內窺鏡、超聲、核磁、X光檢測等場景提供更準確的判斷。自2019 年新冠病毒蔓延以來，賽靈思及業內合作伙伴Spline.ai 利用VitisTMAI，將集成了深度學習處理單元DPU 的MPSoC 邊緣器件和AWS物聯網服務結合，針對肺部感染及新冠病毒預測系統開發了可擴展的智能解決方案。在工業視覺領域，賽靈思產品也在智慧工廠、智能工業相機、視覺控制等方面發揮重要的影響力，AI的作用主要體現在如缺陷檢測、文字識別、實時分析等機器學習支持的預測性維護控制、遠程診斷等端上智能化。 

(注：本文部分內容來源于《電子產品世界》2021年9月期)