FPGA已經存在了十幾年的時間，在傳統概念中，FPGA價格昂貴，設計門檻較高，多用于通信和高端工業控制領域。最近幾年，低成本FPGA不斷推陳出新。半導體工藝的進步不僅帶來FPGA成本的降低，還使其性能顯著提升，同時不斷集成一些新的硬件資源，比如內嵌DSP塊、內嵌RAM塊、鎖相環(PLL)、高速外部存儲器接口(DDR/DDR2)、高速LVDS接口等。在Altera公司90nm的Cyclone II FPGA內部，還可以集成一種軟處理器Nios II及其外設，它是目前FPGA中應用最為廣泛的軟處理器系統。

作為一個平臺，FPGA顯然已經非常適合于高性能低成本的視頻和圖像應用。它可以幫助用戶靈活定制系統，縮短產品研發和更新換代的周期，使用戶緊跟技術和市場發展潮流。本文首先將回顧視頻和圖像處理的應用領域、視頻處理流程、發展趨勢，以及設計者必須應對的挑戰。然后，對FPGA內部的資源和算法實現進行簡單介紹。隨后，本文將介紹Altera公司及其合作伙伴在視頻圖像應用領域提供給用戶的解決方案。最后給出設計視頻圖像處理系統的工具和流程。

技術與挑戰

視頻和圖像處理技術的應用非常廣 泛，主要包括數字電視廣播、消費類電子、汽車電子、視頻監控、醫學成像，以及文檔影像處理等領域。一個典型的視頻處理系統包括：視頻采集、預處理、壓縮、信號發送和接收、解壓縮、后處理，最后到顯示控制部分，驅動顯示設備。在視頻處理系統的所有組成模塊中，都有FPGA成功應用的案例，如表1所示。

視頻和圖像處理技術可謂日新月異，研究人員對于視頻圖像和人眼感官的研究從來就沒有停止過，新需求不斷催生技術革新和新標準，主要體現在以下幾個方面：從標清(SD)到高清(HD)，分辨率越來越高，需要實時處理的數據量越來越大；視頻和圖像壓縮技術日趨復雜，如MPEG-4第2部分，H.264 AVC，JPEG2000等；對視頻系統智能的要求提高，如智能拍攝、運動檢測、對象識別、多通道、畫中畫、透明疊加效果等；消費者欣賞能力的提高，希望圖像更穩定、更清晰、色彩更艷麗、亮度更符合人眼的感官需求。

雖然技術難度不斷增大，成本和上市時間依然是視頻和圖像應用系統設計中兩個重點考慮因素。同時，產品差異化和自主知識產權也是一些有想法的中國公司追求的目標。

如果單純使用現成的專用視頻圖像處理芯片(ASSP)，根本無法設計出具有自主知識產權的產品，無法體現產品的差異化。而且，使用ASSP很難做到靈活、易升級、以及緊跟技術發展的潮流。廠商自己開發ASIC的周期又太長，前期投入太大，風險很高，無法保證投資回報，也無法保持技術領先。

目前，就算功能最為強大的單片DSP處理器也不能實時壓縮(H.264)高清視頻。而使用DSP陣列的成本讓人難以接受，同時多片DSP處理器將帶來系統分割和調試的困難，增加系統的不穩定性，增加PCB成本。如果使用單片FPGA，或采用FPGA加DSP處理器協同工作的方案，這些困難均可迎刃而解。

總之，使用FPGA技術可以幫助用戶在保證合理成本的前提下，開發高性能的產品。利用FPGA的可靈活升級性，用戶可以滿足千變萬化的市場需求，使自己的產品迅速推陳出新，緊跟業界發展趨勢，做出有自己特色、自主知識產權的產品，始終保持產品的差異化和領先性。

　　

圖1 使用Altera VIP套件實現系統示意圖

FPGA構架與算法實現

Cyclone II FPGA的構架非常適合于實時視頻圖像處理，其特點如下：

* 全并行邏輯構架：實現邏輯和算術功能；

* 豐富的硬件乘法器：實現高速實時計算；

* 豐富的內嵌RAM資源：用于存取部分(或幾行)幀信號；

* 高速外部RAM接口：用于存取整幀信號；

* 高速收發通道，支持LVDS，Mini-LVDS，RSDS電平：實現高速視頻傳送；

* 內嵌鎖相環：作靈活時鐘管理，產生各種頻率和相位的時鐘信號；

此外，用邏輯單元或內嵌RAM塊也可以靈活實現移位寄存器和乘法功能。

而且，在Cyclone II FPGA內部，可以實現一個或多個軟處理器Nios II，用戶可以根據自己的需求靈活定制Nios II及其外設。Nios II可以輔助高速視頻通道作一些復雜的管理工作。這樣，FPGA就兼有了硬件和軟件(Nios II)的現場可編程能力。

前面已經提到過，在FPGA內部，同一種算法可以由不同的資源來實現。當然，不同的實現方法具有不同的性能，用戶可以根據FPGA的實際資源和性能要求靈活選擇。色彩空間轉換是視頻處理中的常用功能，這里將舉例說明如何使用FPGA的內部資源來實現這一算法。如何使用FPGA的內部資源來實現這一算法。

TV解碼芯片將模擬電視信號轉換成數字的Y?CrCb信號，其中Y?表示亮度，Cr和Cb兩個信號表示色彩。在計算機系統中，常用R?G?B?來表示視頻，R?G?B?是經過Gamma校正的RGB信號，取值范圍是0~255。Y?CrCb信號不能直接用在計算機系統中，因此，需要將視頻信號由Y?CrCb空間轉換到R?G?B?空間。

將ITU-R BT.601標準的Y?CrCb信號轉換為R?G?B?信號的常用公式如下：

R?= 1.164(Y?-16) + 1.596(Cr -128)

G? = 1.164(Y?-16) -0.813(Cr -128)- 0.391(Cb -128)

B?= 1.164(Y? -16) + 2.018(Cb -128)

這里的R?G?B?和Y?CrCb都為8比特信號。

要實現上式中的乘法運算，有3種方法，如表2所示。由此可見，FPGA是一個資源平臺，用戶可以根據自己的性能需求、器件資源分布情況，靈活決定實現方法。

參考設計、IP核與解決方案

Altera在提供可編程 器件的同時，也為用戶構建自己的系統提供了豐富的IP模塊。這樣，用戶不用去再花時間從頭開發那些成熟模塊，而可以將主要精力放在有自己特色的技術創新上，以及保證整個系統可以正確的協同工作。

在視頻和圖像處理領域，Altera開發了一組IP核，稱之為VIP (Video Image Proce ssing)套件。該IP套件包括常用的9個IP核，如表3所示。用戶可以使用這些IP構建出類似如圖1所示的系統。

Avalon控制接口是一種片內系統全交叉總線結構。Nios II處理器可以作為一個智能管理單元，對Gamma校正和畫中畫圖像混合模塊進行動態參數配置。圖1中只表示了一路視頻處理功能，用戶也可以根據自己的需要放置多路，共享Nios II和外部存儲器。

關于視頻數據的傳送，Altera為用戶開發了ASI/SDI、IP承載視頻的IP核與參考設計。在圖像視頻壓縮與解壓縮領域，Altera與多家方案提供商合作，推出了H.264、MPEG-4和JEPG2000的完整解決方案。另外，Cyclone II FPGA的高速LVDS接口，可以非常方便地應用于顯示控制和驅動上，支持高速7:1的串/并變換功能。

　　

圖2 典型的視頻處理系統

設計工具與設計流程

一個典型的包含視頻處理模塊的硬件系統框圖如圖2所示。在這個系統中，包括Nios II，一個硬件視頻協處理器、片內RAM、DMA和其它外設。

與通信類應用不同的是，在設計視頻圖像處理功能模塊時，用戶將面臨兩大難題：第一是設計效率問題；第二是驗證效率問題。

通常，首先需要進行算法驗證，然后將算法盡快轉換為HDL的RTL級描述，接著實現在FPGA硅片上，做原型驗證。實際上，從算法到硅片實現有很大的鴻溝，如何提高系統開發效率，使產品盡快上市，是系統設計商所面臨的一個巨大挑戰。另外，視頻圖像處理的性能需要人眼去檢查，傳統的RTL級仿真可視性不強，很難去檢查實現效果。

為了應對這些挑戰，Altera公司與MathWorks聯合推出了Matlab/SimuLink + DSP Builder的設計工具和流程。SimuLink是MathWorks公司開發的基于模塊的設計仿真工具。DSP Builder是Altera公司開發的一個在SimuLink和Quartus II FPGA實現工具之間的橋梁，它可以通過SimuLink中驗證過的設計產生出VHDL代碼，從后臺調用Quartus II工具完成FPGA的實現，同時集成了硬件在環(Hardware In Loop)和Signal Tap調試工具。DSP Builder是以SimuLink中的一組庫的形式存在的。在視頻圖像設計中，基于SimuLink/DSP Builder的模塊化設計環境，可以迅速構建系統，同時進行高效驗證。

當算法在SimuLink中實現并驗證完成以后，就可以把該設計模塊集成到FPGA系統中去。這時，可以使用Altera公司的系統集成工具SOPC Builder。

在SOPC Builder中完成系統集成之后，就可以在Quartus II中按照傳統的FPGA設計流程完成后續的綜合、布局與布線等工作。與此同時，如果系統中有Nios II處理器，用戶可以使用Altera的Nios II IDE(集成開發環境)來開發嵌入式軟件。

最后，將Quartus II的實現結果(FPGA比特文件)與IDE中開發的軟件可執行文件(*.elf)結合在一起進行系統原型驗證。開發工具和流程如圖3所示。

　　

圖3 視頻圖像

處理系統開發工具和流程以圖2中的系統為例，其中的視頻處理模塊(協處理器)可以用SimuLink/DSP Builder來設計和驗證，設計輸入可以是IP核、HDL或C語言。然后可以使用SOPC Builder來集成系統中的所有硬件單元，包括Nios II處理器和SimuLink/DSP Builder中產生出來的視頻處理模塊。

結語

本文力圖對低成本FPGA在視頻圖像處理領域的應用作一個全面、清晰的介紹。用戶可以充分利用FPGA的構架優勢、豐富的設計資源，以及先進的設計方法學，以最快的上市時間，設計出高性能、低成本的系統，同時保留系統的可升級性。