自由視點視頻FVV(Free Viewpoint Video)技術是自由視點3D視頻處理領域中最有前景的一種技術[1-4]。自由視點視頻處理技術的基本方法是基于深度圖像來估計和重建多視點視頻，從而顯著減少數據帶寬。所以深度圖像的估計和處理方法是自由視點視頻技術的關鍵和重點。

    深度圖像可以直接由基于運動-視差聯合估計的方法計算，利用這種方法能夠有效減少自由視點視頻技術中深度圖像處理過程所需的數據帶寬，并且沒有增加額外的硬件資源和計算時間成本。但是這種方法是在一個特定的搜索窗口內用特定的代價函數來進行塊搜索，所以它存在一些問題：在物體的邊緣存在著塊效應；在連續的大背景區域、復雜背景區域存在預測噪聲。基于色度分割的方法可以改進這些錯誤。
1 色度分割原理
    原始的YUV圖像是由亮度分量和色度分量組成的。在一般的運動-視差聯合估計的方法中，只有亮度信息被用到，以求得視差矢量和深度圖像，包含有豐富的物體邊界信息的色度分量沒有被用到。對于連續物體表面或者背景區域，色度分量值幾乎是相同的。所以如果色度圖像按照特定的標準被分割，物體的表面或者背景區域就能被相應地檢測出來。如果深度圖像的像素值在同一個分割內各不相同，則在這個區域肯定存在深度預測錯誤。通過檢測到錯誤像素的位置，采取相應的措施來糾正這些錯誤。
    色度分割方法的三個步驟[5]：
    第一步：將U/V分量歸一化到[0，255]之間。
    第二步：進行圖像分割，如果當前像素值與其相鄰的頂部或者左側像素值絕對值小于DIV_TH，則它被劃分到相同的分割，否則分離到下一個新的分割，如式(1)所示：

  
2 深度圖像處理模塊設計方案
2.1 總體設計
2.1.1 深度處理模塊的架構與組成設計
    根據算法結構與組成，確定深度模塊的實現架構與組成，包括總線結構、存儲結構、時鐘頻率、模塊組成等。
    總線結構選用標準AXI總線。由于立體視頻需要實時處理多路視頻信號，所以需要的視頻數據處理帶寬極大，必須采用AXI總線設計才能滿足實時處理要求。內部模塊所產生的處理數據，如果不能暫存于片上存儲單元中，則通過AXI總線寫到片外緩存。同樣，讀數據也通過AXI總線讀入處理模塊。存儲結構根據視頻像素YUV分量的組成，分為Interleave存儲方式和非Interleave存儲方式。Interleave存儲可以實現具有較長Burst傳輸的DMA設計，但是內部芯片設計較為復雜。而非Interleave存儲則不利于實現高效的總線傳輸，但是DMA設計相對簡單。根據所用的標準單元庫，以及芯片實際電路設計來確定所需的時鐘頻率,根據經驗應不低于200 MHz。
2.1.2 運動估計與視差估計存儲單元設計
    由于需要對當前塊同時進行運動預測與視差預測，所以宏塊中間預測結果需要盡可能存儲于片上存儲單元中，以減少總線的輸入輸出數據帶寬。假設視差估計的搜索窗口為PW×PH，圖像分辨率為FW×FH，運動預測采用固定搜索窗口范圍48×48。視差預測模塊與運動預測模塊同時讀入相應參考宏塊存入片上緩存，片上存儲單元需要將進行完預測、并且后續預測有可能會用到的宏塊都存儲下來以減少數據帶寬，增加處理速度。這樣，運動估計存儲單元MEM（ME Memory）至少需要有16×3+4個像素行的容量，即FW×52。相應視差存儲單元DEM（DE Memory）至少需要有FW×PH+4容量。
2.1.3 芯片軟硬件驗證平臺設計
    芯片設計離不開驗證平臺。大規模集成電路設計過程需要完善的驗證平臺進行仿真、測試來證明其功能和性能的正確性、完整性、實時性。立體視頻編碼芯片基于傳統的Verilog和C語言來搭建軟硬件驗證平臺，如圖1所示。

 義內部原始像素存儲器為8 bit位寬、地址從0～196 607的存儲器，用來存放片外讀取的U/V分量。類似地，定義內部銳化像素存儲器為同樣類型的存儲器，用來存放經過銳化處理過的U/V分量，這兩個存儲器的輸入、輸出均由存儲器控制器控制。定義兩個Reg寄存器Max Value Reg和Min Value Reg用來保存兩個比較器輸出的中間結果。存儲器控制器依次產生內部原始像素存儲器的地址，內部原始像素存儲器順序輸出給比較邏輯，等所有像素都輸出一遍后，寄存器Max Value Reg和Min Value Reg里面就分別保存了整幀的U/V色度分量最大值和最小值。然后使能寄存器，讓寄存器保持原來的值。控制器再依次產生內部原始像素存儲器的地址，此時控制器根據后續的計算模塊的時序，對每一個像素值進行銳化處理，得到的結果保存在內部銳化像素存儲器里面。

2.3 色度分量分割模塊
    色度分割模塊框圖如圖4所示，從Sharp模塊出來的數據直接進入Frag模塊進行處理。圖4中內部銳化像素存儲器和其右側的存儲器控制器與圖3中相對應。根據像素所處的位置來選擇不同的處理方法：如果當前像素處于第一行，則只需要將當前像素與其左邊相鄰的像素進行比較即可; 如果當前像素處于第一列，則只需要與其上方相鄰的像素比較即可; 如果是其他位置的像素，則需要同時和其左邊的相鄰像素及上方的相鄰像素比較。比較準則見式（1），得到的分割數Frag Number存在像素分割數存儲器中。

3 結果及分析
    Verilog 代碼經Synopsys綜合工具Design Compiler的邏輯綜合，深度圖像處理模塊在 SMIC 0.18 um工藝下， 能夠達到總線時鐘為200 MHz的工作頻率，消耗89 100門邏輯資源。由此可知：基于色度分割的深度處理模塊能夠有效地減少數據帶寬，并且沒有額外增加硬件資源和計算時間成本，適用于實時自由視點3D視頻處理。
    圖6是基于塊搜索的運動-視差聯合預測方法直接得到的深度圖像，圖7是經過基于色度分割方法的深度處理模塊優化后得到的深度圖像。從圖6和圖7的對比可以看出：對于連續的大背景區域而言，這種深度圖像優化方法可以有效地過濾深度圖像的預測噪聲，并且對于減少物體邊緣的塊效應有很好的效果。另外，這種優化方法也使得圖中的物體邊緣變得更加清晰，如椅子、墻壁和桌子的邊緣等。

    采用本文方法可以顯著減少連續大背景區域的深度圖像的預測噪聲，也能較好地改善物體邊緣處的塊效應。采用運動-視差聯合估計的方法，結合這種基于色度分割的深度優化方法，可以有效地優化深度圖像，顯著減少計算量和數據帶寬，非常適用于實時自由視點3D視頻處理。
參考文獻
[1] SMOLIC A，MUELLER K，STEFANOSKI N，et al.Coding  algorithms for 3DTV-A survey[J].IEEE Transactions on  Circuits and Systems for Video Technology，2007，17(11)：1606-1621.
[2] MARKUS F，ADITYA M，BERND G.Motion and disparity compensated coding for multiview video[J].IEEE Transtions on Circuits and Systems for Video Technology，2007，17(11)：1474-1484.
[3] VETRO A，WIEGAND T，SULLIVAN G J.Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard[J].IEEE Proceedings，2011(99)：1-17.
[4] ITU-T Rec.H.264-ISO/IEC 14496-10 AVC：Advanced  video coding for generic audiovisual services[Z].ITU-T and ISO/IEC Joint Video Team，2005.
[5] Li Zhou，Tao Sun，Zhong Lv，et al.Depth map optimization  based on adaptive chrominance image segmentation[J]. Communication Software and Networks，2011(5)：660-664.