視頻處理是目前多媒體領域最熱門的技術，主要分為視頻編解碼和目標信息識別兩大類。前者為了節省視頻數據的傳輸帶寬，主要依靠傳統的信息論理論，目前已經比較成熟；后者則為了提取用戶信息，是了人工智能、計算機以及信息論等多門學科研究成果的交集，目前還處于快速發展階段。
1．視頻編解碼應用
雖然目前正在使用的視頻編解碼器多達數百種，但是，為了實現標準化并希望采用的編解碼器能提供最佳的基準，大多數消費設備只采用了少數幾種編解碼器。
目前常用的3類視頻編解碼器如下所列：(1)MPEG-2。該技術今天仍在大量應用，主要用于廣播信號和DVD電影的編碼，甚至目前刻在藍光DVD 上的商業視頻節目也是用MPEG-2進行編碼。隨著大多數的HD DVD采用VC-1和H.264標準進行編碼，這種情況即將有所改變。(2)MPEG4。MPEG-1、MPEG-2標準基礎上形成的MPEG-4包含了許多組成部分，算上正在批準過程中的部分，總共有22個。它能以更低的速率傳輸與MPEG-2相同質量的視頻圖像，而且MPEG-4引入了描述自然的或合成的對象等新概念來構成場景并支持與用戶的交互，給視頻節目制作商提供了改進的內容保護功能和創建更靈活、可復用內容的能力。由于這些改進，視頻可以通過寬帶鏈路進行傳輸，衛星和DVB提供商也采用了MPEG-4。(3)H.264/MPEG-4 AVC。H.264(MPEG-4第10部分)高級視頻編碼(AVC)，主要以其高數據壓縮率和質量而出名。由國際電信聯盟電信標準局(ITU-T)視頻編碼組開發的H.264包含了豐富的視頻處理性能。
2．視頻識別
移動目標的視頻檢測與跟蹤是圖像處理、分析應用的一個重要領域，是當前相關領域的研究前沿。移動目標視頻檢測與跟蹤技術，在機器人視覺、交通監測、可視預警、機器導航等民用領域有著廣泛的應用，同時在火力攔截、導彈電視和紅外視頻制導等軍用方面也發揮著重要作用?？勺R別的視頻行為包括：a. 突然入侵檢測、b. 移動物體檢測、c. 運動路徑檢測、d. 遺留物體檢測、e. 指向接近檢測、f. 移走物體檢測這6大類。
其中，各類編解碼算法，特別是視頻處理算法對計算性能的要求已經遠遠超出了傳統 DSP 處理器的能力。在這些應用中，FPGA可用做協處理器來承擔性能關鍵的處理工作，也可以作為獨立的視頻處理引擎。與標準數字信號處理器相比，FPGA構造的并行計算特性可支持更高的采樣速率和更大的數據吞吐能力，性能可達3至4倍，同時計算功效也更高。
Xilinx公司的視頻處理發資源
在實現中，視頻處理涉及到多相網絡視頻服務器轉換器、二維FIR濾波器和屏幕顯示到覆蓋、阿爾法混合等簡單效果以及格式和顏色空間轉換等復雜處理。對于這些算法，Xilinx FPGA是其理想的開發平臺，其強大的DSP處理能力意味著有可能支持非常高的分辨率(畫質高達1080p)，并且可以縮小大型DSP陣列的尺寸。并且 FPGA是可重新編程的硬件，可靈活嘗試新穎、高性能、基于硬件的視頻和圖像算法。除了FPGA器件這一并行、靈活的優勢外，Xilinx還提供了一下三方面的資源。
1．大量的IP
Xilinx提供了視頻IP模塊組，以供在視頻監控系統中快速設計、仿真、實現和驗證視頻和圖像處理算法。其中包括設計DVR用的基本基元和高級算法。此外，Xilinx及其合作伙伴提供了一系列壓縮編碼、解碼和編解碼解決方案，從為需要快速實現的人提供現成的內核，為希望得到高質量和更低比特率的用戶提供構造模塊參考設計和硬件平臺。將Xilinx FPGA用于某些編解碼模塊中的極其繁重的處理任務，可以靈活支持多通道HD編碼，通過減少或排除DSP處理器陣列大量節約成本，并輕松地將從接口到進一步視頻處理的更多功能和能力集成到系統中，從而能在相同的系統中支持不同的配置、額外的通道或新的編解碼方案。Xilinx FPGA可通過強化系統邏輯和實現新外設進一步降低DVR系統成本。Xilinx及其合作伙伴還為網絡視頻服務器監控系統的快速發展提供系統接口：先進的存儲器接口、PCIExpress、德州儀器的VLYNQ和EMIF接口、硬盤接口和ITU-RBT656接口。
2．Xilinx工具簡化設計
Xilinx System Generator for DSP允許使用Xilinx視頻IP模塊組構建和調試Simulink中的高性能DVR系統。使用System Generator開發并實現視頻處理算法，可以獲得經過徹底驗證和可以輕松執行的設計。 Xilinx已開發出各種經過預測試的新型視頻IP模塊組，用戶可以在System Generator內拖放模塊來輕松構建視頻/影像系統，從而省下用HDL語言編寫這些基本構建模塊的寶貴時間。
為了處理從開發板到PC的龐大的視頻數據流，System Generator for DSP引入了另一種新穎的高速硬件協同仿真(通過以太網接口)，實現低延遲的高流量，在System Generator環境中構建視頻/影像系統極其有用。
另一種基于MATLAB語言的設計工具是Xilinx開發的AccelDSP綜合工具，這是基于高級MATLAB語言的工具，用于為Xilinx FPGA設計DSP模塊。此工具可實現浮點到定點的自動轉換，能生成可綜合的VHDL或Verilog語言，并且可以為驗證創建測試平臺。并且可以直接利用MATLAB算法生成定點C++模型或System Generator模塊。AccelDSP是Xilinx XtremeDSP解決方案的一個關鍵組件，它集最先進的FPGA、設計工具、知識產權內核、合作伙伴關系于一體。
3．開發板資源
為了加速用戶實現所需的視頻處理資源，Xilinx提供了大量的開發板資源，還公開相應開發板的原理圖和PCB圖，指南提供了視頻入門套件的內容簡介，并描述了該套件提供的Xilinx 軟件的安裝方法。在Xilinx提供的開發板上，可通過先進的設計工具和現成的IP核快速開發相應的視頻處理產品。