系統組成及工作原理

實時紅外圖像自動跟蹤系統，對紅外成像傳感器獲取的地面場景圖像數據中指定目標區域進行實時自動跟蹤，實時解算出目標在圖像場景中的精確位置，并輸出目標偏離系統視軸的方位，通過伺服控制回路，驅動穩定平臺跟蹤目標。同時，圖像跟蹤系統接受來自外部控制系統的控制命令和數據，并按總體通訊協議要求向外部控制系統回送跟蹤系統的狀態、圖像數據和系統關鍵參數。

根據系統總體要求，選擇Altera公司Stratix系列的EP1S25。實時圖像跟蹤系統總體框圖如圖1所示，圖像跟蹤系統接受來自紅外成像焦平面視頻數據流，通過視頻信號行場和像素時鐘用來確定視場中每個像素的空間位置，視頻信號分為兩路處理，一路經過系統中的Nios II相關跟蹤部分作自動跟蹤處理，另一路通過采集和顯示邏輯送到LCD監視器用來觀察系統跟蹤情況。啟動相關跟蹤之前，系統通過遠距離的RS485接收目標位置和大小參數，將選定目標分割后的數據保存到目標模板存儲區，形成初始模板。利用模板對目標進行跟蹤，對跟蹤結果進行預測外推，得到目標的坐標參數誤差后，通過RS232控制伺服系統對目標進行跟蹤。為了減小外圍電路使用，系統采用對二值化后的數據進行相關匹配方式。考慮到EP1S25帶有1944576 bits的RAM，因此利用RAM模塊用來做高速相關匹配模板存儲區，例化兩場圖像數據需要120000bits，僅占片內RAM總容量的6%。

圖 1 系統的總體結構框圖

跟蹤算法

目前有多種算法可用于目標跟蹤。為了發揮FPGA實現并行算法的優勢和NiosⅡ的靈活性，系統采用自遞歸的0tsu分割和相關跟蹤算法對紅外目標進行穩定跟蹤，為了提高跟蹤精度，克服分割后的噪聲干擾，采用形態學方法去除噪聲突出目標。整個算法的實現過程如圖2所示。

圖2 跟蹤原理算法圖

目標分割

目標圖像的分割效果尤其是有效地使目標從背景中分離出來是保證系統穩定跟蹤的關鍵。系統采用自遞歸的Otsu的聚類分割法。用聚類準則分割圖像，當目標在圖像中占有適當的比例時，分割結果比較好，而且算法比較簡單，有利于實時處理。然而對小目標圖像卻不能把目標從背景中分割出來，經常會把很多背景錯分為目標，為此，我們提出了利用Otsu準則對圖像進行自遞歸分割。即在第一次Otsu方法分割之后，將分割得到的亮像素再次利用Otsu分割準則計算得到新的分割閾值。

圖3 硬件實現相關匹配算法原理圖

相關跟蹤

相關跟蹤算法將系統的基準圖像 (即模板)在實時圖像上以一定的偏移值平移，然后根據一定的相似性度量準則對基準圖像和與基準圖像同樣大小的實時圖像塊進行相關匹配，最匹配的那個位置就認為是目標位置。考慮利用FPGA實現算法，系統采用絕對差相關算法。

為了保證系統實時性，減小算法對圖像RAM的使用量，采取如下方式對算法進行優化：圖像經過分割后得到二值化圖像，運用異或運算處理來代替相關度的復雜計算：即將圖像和模板的二值灰度函數進行異或運算，其最小值即為正確匹配位置。

目標預測

在目標跟蹤過程中，根據目標在運動過程中具有軌跡的連續性的特點，首先利用目標過去的位置信息預測當前位置，然后在預測點周圍一定范圍內進行匹配。這樣既能減少計算量，在一定程度上又能排除其它物體對跟蹤的影響，從而保證匹配的可靠性。系統中采用最佳線性逼近預測法。

模板刷新

相關跟蹤算法進行跟蹤時，用事先存儲好的模板在波門范圍內進行匹配，尋找最佳匹配點。在跟蹤過程中，隨著視場范圍內場景的變化，目標形體的變化，需要及時更新模板，使得模板始終正確地反映要跟蹤地目標。

系統采用模板的自適應刷新。根據相關峰確定是否更換模板，若所尋找到的相關峰同某個閥值比較，若小于該閥值，則認為此時的目標己經和模板存在較大的差距，此時應該及時更新模板。經大量試驗，閥值選取0.985有較好的跟蹤效果。

跟蹤算法實現

為了滿足系統實時性，系統采用NiosⅡ的定制指令和VHDL編寫硬件算法加速器保證系統運行速度，在系統目標跟蹤算法中，對需要循環迭代浮點處理的Otsu分割和運動預測算法，采用自定義的單精度浮點運算指令加速計算結果，表1 所示為采用自定義浮點指令和軟件實現浮點運算性能對比。定制指令邏輯和Nios II的連接在SOPC Builder 中完成。NiosⅡCPU配置向導提供了一個圖形用戶界面，在該界面中可導入設計文件，設置定制指令名，并分配定制指令所需的CPU時鐘周期數目。系統生成時，Nios II IDE為每條用戶指令產生一個在系統頭文件中定義的宏，可以在C或C++應用程序代碼中直接調用這個宏。

系統的相關匹配算法采用VHDL語言硬件并行實現，并且作為Avalon總線的用戶外設集成到Nios  II中實現算法的硬件加速單元。通過SOPC Builder中元件編輯器在GUI下將用戶邏輯封裝成一個 Nios Ⅱ的用戶外設。這樣用戶可以像Altera提供的外設元件一樣使用自定義的邏輯組件。

圖3為硬件實現相關匹配算法原理圖，主要包括一個帶圖像行移位FIFO的模板寄存器組和目標模板生成模塊、集成相關運算的Avalon總線接口。

圖4  系統對2公里外的靶機目標跟蹤效果圖

實驗結果

系統在夜間對2公里外的多云天空中靶機目標進行跟蹤實驗，圖像格式為384