本文來為貿澤電子獨家原創文章

視覺AI應用發展至今，已經遍地開花，你能想到的或想不到的地方，它都存在。至于它的邊界在哪里，說是潛力無限也好不夸張，就像今天要評測的Xilinx Kria? KV260視覺AI套件，他刷新了我對視覺AI及FPGA上手難易度的認知。

 1  套件介紹及開箱

Xilinx Kria? KV260視覺AI入門套件是一個開箱即用平臺，開發人員可以通過首選設計環境，在任何抽象層添加定制和差異化功能，包括應用軟件、AI模型乃至FPGA設計。該套件是超快速簡易平臺，用于開發應用以使用Kria? K26系統模塊（SOM）進行批量部署。

這個套件包括最多支持八個接口的多攝像頭、三個MIPI傳感器接口、一個USB攝像頭、一個內置ISP組件、HDMI DisplayPort輸出以及千兆以太網和USB 3.0/2.0連接功能。該套件還允許開發人員針對任何傳感器或接口進行擴展，并訪問Pmod生態系統。KV260針對視覺應用進行了優化，通過安森美半導體的影像接入系統（IAS）和Raspberry Pi連接器提供多攝像頭支持。

圖1

在拿到了板卡之后，內部主要有兩個盒子，一個是板卡包裝盒，可以從外包裝上看到，這個就是Kria? 板卡的外包裝，此板卡為視覺AI套件，和視覺AI套件對應的還有機器人套件：

圖2

另一個是配件包盒子，配件包盒子就是一個簡簡單單的牛皮紙盒，但內部提供的配件是非常多的：

圖3

打開板卡包裝盒，板卡正面特寫，可以看到板卡由核心板和一個載板構成，該板卡提供了非常多的外部接口，如千兆以太網、4個USB3.0，1個HDMI，1個DP接口以及一個12V電源輸入接口，兩個MIPI接口，一個PMOD接口，串口等等，外設接口提供的非常全面，美中不足的是沒有提供開關：

圖4

板卡背面特寫：

圖5

電源適配器需單獨購買：

圖6

電源適配器貼心的提供了不同標準接口：

圖7

HDMI連接線：

圖8

千兆網線：

圖9

MicroUSB線：

圖10

Cmos Sensor：

圖11

Sensor正面：

圖12

Sensor背面：

圖13

提供的SD卡架和TF卡，這個出廠里面是空的，并沒有燒錄鏡像。

圖14

此外，Xilinx還提供了一個安裝架，用來固定板卡，安裝完成后十分的漂亮（如圖15所示）。

 2  套件外觀與接口通過基本外觀

圖15可以看到，板卡其實是由兩部分構成的，在紅色風扇下面壓著的，就是我們的核心板，底部的就是載板，通常被稱為Carrier Board。

圖15

這種通過核心板+擴展版的設計方法能夠有效的減少設計時間與設計風險，核心板與底板可以替換、升級，非常方便。Xilinx將他們的核心板成為SOM(System-on-Module)，這塊板卡所使用的核心板型號為K26 SOM，官網頁面如下圖16所示：

圖16

這個SOM核心器件使用了Xilinx的ZYNQ Ultrascale+系列SOC/FPGA，該SOM資源種類、資源量、接口種類都非常豐富，如下表1所示：

表1

通過以上資源，給了我們非常大的空間與舞臺，讓我們在這個SOM上實現我們的想法。

對于這個視覺開發套件的載板，也就是Carrier Board，也提供了非常多的外部接口，如下表所示，它針對AI應用，引出了K26 SOM內偏向于視覺的接口，供我們針對性選用。

KV260載板的硬件框圖如下圖17所示：

圖17

KV260對應此硬件框圖，提供的外部接口資源如下圖18所示：

圖18

 3  上手體驗&運行Demo

Xilinx為我們提供了頁面，告訴我們如何開始，官網頁面點此查看。

  首先，根據頁面我們需要準備好一些配件：

● KV260電源和適配器（12V，3A）

● MicroSD卡（16GB）

● USB-A至micro-B電纜

● 13MP自動聚焦RGB攝像頭（AR1335）模塊

● 以太網電纜

● HDMI電纜（連接至監視器）

此外，我還準備了讀卡器和DP線纜。

根據頁面所述，我們可以選擇直接使用編譯好的ubuntu或者petalinux，我選擇使用petalinux。點擊下方按鈕繼續：

圖19

接下來就是下載鏡像和一些燒錄，格式化TF卡等等工具，鏡像下載界面點此查看。

燒錄器下載鏈接：https://www.balena.io/etcher/

除了頁面要求外，我另外準備了串口通信工具MobaXterm，這個軟件的Home版本是免費的，足夠我們使用。

另外，TF卡格式化工具我選擇了老牌的SDFormatter，簡單可靠好用。

鏡像與工具準備完成如下圖20所示：

圖20

然后，進入“開始設計”的步驟2，按照動圖提示，先鏈接其他連線、TF卡、Sensor，最后再給板卡鏈接適配器進行供電。

通過終端連接板卡，如下圖21所示，可以看到已經有啟動的log信息輸出：

圖21

提示進行登錄：

圖22

由于是第一次進入板卡系統，要求設置個新密碼并確認，按照要求輸入即可。

成功進入系統：

圖23

然后我們可以嘗試進行運行Xilinx提供的只能攝像頭加速應用。

Xilinx憑借Kria? KV260視覺AI入門套件向用戶推出“加速應用”的概念。這些是為AI及軟件開發者預先構建的應用，可幫助他們領先一步開發目標終端應用。

您可以快速運行一款我們的加速應用，甚至可以使用不同的人工智能模型或傳感器對其進行定制。聽起來讓人很振奮！我們來試用一下智能相機加速應用。

KV260 Vision AI入門套件的獨特之處在于：它能夠加載和運行能通過配置硬件來實現多種功能的應用。“xmutil”實用程序可用于加載各種應用。一個加速應用可在既定的時間加載。我們將首先加載一個應用，將SOM編程為智能相機，該應用能夠處理來自MIPI或USB相機的1080p視頻流，并通過HDMI或DisplayPort進行顯示，或通過有線以太網進行流處理。

 4  智能攝像頭加速應用簡介

內置機器學習并能執行面部/行人檢測的超高清攝像頭，支持從各種視頻源（Mipi攝像頭、視頻文件&USB攝像頭）捕獲信息，能夠通過基于ROI編碼的視頻的HDMI、DisplayPort或RTSP傳輸功能輸出處理過的視頻。

最普及的使用案例：智慧城市應用（面部、行人檢測和交通管理）和視頻分析功能。

圖24

系統可輸入直流或交流電進行供電，通過AC-DC或DC-DC電路進行變換后與系統的多模式電源管理系統交互，PAC5556支持UART、SPI、CAN和IIC等多種通信方式，隨后通過驅動電路驅動電機進行旋轉，通過霍爾傳感器反饋位置或無霍爾傳感器的轉子位置估算技術進行換向及調速，同時系統支持信號監測技術，可實時監測電流、電壓及功率等信息。

 5  啟動智能攝像頭加速應用

在運行目標上動態安裝智能相機應用軟件包。Xilinx能夠采用運行時軟件包管理（rpm）格式為用戶提供軟件包饋送，使他們能夠在使用dnf軟件包管理器實用程序命令“dnf install”運行 Linux 啟動器映像的基礎上，動態加載 Xilinx加速應用。此外，Xilinx還可提供xmutil實用程序（xmutil getpkgs），用于搜索軟件包饋送并查詢針對Vision AI入門套件提供的加速應用軟件包組。命令如下：

1）運行sudo xmutil getpkgs命令，獲取所提供的應用軟件包組列表。

圖25

2）運行sudo dnf install packagegroup-kv260-smartcam.noarch命令，從上表安裝智能相機加速應用軟件包組。出現提示時，按“是”，等待大約2分鐘，安裝204個軟件包。

圖26

出現提示，輸入Y確認安裝。

圖27

正在下載…

圖28

自動進行安裝：

圖29

安裝完成。

圖30

 6  加載智能相機加速應用固件

在執行/opt/xilinx/bin上提供的新安裝應用之前，需要使用xmutil實用程序命令加載 FPGA 固件（PL 位流+設備樹覆蓋+ PL驅動程序）。按照以下步驟在Vision AI入門套件上加載智能相機加速應用固件。

1）運行sudo xmutil listapps命令，列出Vision AI入門套件上可用的現有應用固件。

圖31

2）運行sudo xmutil unloadapp命令，卸載默認的“kv260-dp”應用固件。

圖32

3）運行sudo xmutil loadapp kv260-smartcam命令，加載智能相機加速應用固件。

圖33

運行智能相機加速應用。

將AR1335攝像頭模塊對準用戶面部并運行智能相機加速應用。要使用IAS攝像頭模塊運行加速應用，請使用以下命令：

圖34

注：“--usb”的參數0取決于USB網絡攝像頭在Vision AI入門套件上運行Linux時檢測到的媒體節點。在本案例中，它是/dev/media0，所以我們使用“--usb 0”。

您也可從Jupyter Notebook控制智能相機應用。Linux啟動完成后，請通過在瀏覽器中輸入SOM的IP地址來啟動Jupyter筆記本。通過該筆記本的單元來練習Kria? SOM的智能相機功能。

 7  運行人臉識別加速器效果

直接拍攝快速識別到人臉，當遮擋時識別不到，移開后又識別到人臉。

圖35

 8  小結

Xilinx Kria? KV260視覺AI入門套件板載接口充足，最令人欣喜的是加速應用生態系統，可以通過首選設計環境在任何抽象等級添加定制和差異化功能，從應用軟件到AI模型再到FPGA設計。我相信各類開發人員，不管有沒有FPGA經驗都可以在短時間內運行應用程序，是我目前見過最快最簡單的開發平臺。