摘 要： 分析了宏塊自適應幀場模式(MBAFF)在P幀和B幀的幀間預測算法，提出了可行的數據組織結構和硬件實現方法。作為完整的解碼器的一部分，其RTL代碼已經完成了功能驗證和仿真，證明該設計是行之有效的。
關鍵詞： H.264；MBAFF；幀間預測；運動矢量預測
H.264/AVC支持3種圖像編碼模式：幀模式、場模式和宏塊自適應幀場(MBAFF)[1]模式。在幀模式下，1幅圖像被劃分成由16×16宏塊組成的幀；在場模式下，1幀圖像的頂場和底場被劃分成由16×16宏塊組成；在MBAFF模式下，幀場編碼的選擇在宏塊級指定，1幀圖像被劃分成由32×16的宏塊對組成，每2個宏塊組成的宏塊對以幀模式或者場模式編碼。一段圖像可能既有動態的區域又有靜態的區域，H.264的MBAFF模式可以根據圖像的每個區域選擇最佳的編碼模式。一般來說，MBAFF模式對于視頻編碼的效率比其他兩種模式更好，但編碼和解碼的復雜度也更高。本文將探討在解碼的過程中MBAFF模式在P幀和B幀的幀間預測算法和硬件設計。
1 幀間預測技術
在進行幀間預測時，空間上距離較近的圖像區域往往具有相關性很強的運動矢量，而且相對于以前視頻壓縮標準中最小8×8的劃分，H.264最小4×4的劃分使得較小的圖像區域的運動矢量具有更高的相關性，因此，可以利用預測技術預測出1組運動矢量MVp，而編碼器只需要傳送能量很小的實際值和預測值的差值，也就是運動矢量殘差MVd，這樣就可以提高編碼效率。在解碼時，解碼器只需要采用同樣的算法先預測出運動矢量的預測值MVp，而后將其與殘差MVd相加便可以恢復出運動矢量的實際值MV[1]供運動補償使用。MVp[1]取決于運動補償的尺寸和鄰近MV的有無。
在幀間預測模式下，宏塊有16×16、16×8、8×16、8×8、8×4、4×8、4×4這7種運動矢量的分割方法。為方便描述，把參考宏塊相應分割的運動矢量命名為MVLXN[2]，參考索引命名為refIdxLXN[2]，其中N可以為A、B、C、D，分別表示當前宏塊或者宏塊分割的左邊、上邊、右上和左上的相應宏塊分割。當前宏塊分割的運動矢量MVpLX[2]就是通過MVLXN和refIdxLXN預測得到的。圖1所示為非MBAFF模式時當前宏塊分割為16×16的情況，E為當前宏塊或宏塊分割，A、B、C分別為E的左、上、右上方的3個相對應分割塊。如果E的左邊不止1個分割，則取其中最上的1個為A；上方不止1個分割時，取最左邊1個為B。
1.1 預測運動矢量MVp的計算
在宏塊分割為16×16、8×8、8×4、4×8和4×4時，運動矢量的預測值是由參考宏塊分割A、B、C的運動矢量計算得到的：
(1)如果分割B和C不可用，而分割A可用，則會對MVLXB、MVLXC、refIdxLXB、refIdxLXC重新賦值：MVLXB=‘MVLXA、MVLXC=MVLXA、refIdxLXB=refIdxLXA、refIdx-LXC=refIdxLXA。
(2)根據refIdxLXA、refIdxLXB和refIdxLXC的取值計算mvpLX：
①如果分割A、B、C的參考索引refIdxLXA、 refIdxLXB或refIdxLXC中的一個等于當前分割的索引號refIdxLX，則當前分割的矢量預測值由相應分割的運動矢量得到：MVpLX=mvLXN。
②如果分割A、B、C的參考索引refIdxLXA、 refIdxLXB或refIdxLXC都不等于當前分割的索引號refIdxLX，則通過取A、B、C的運動矢量中值得到：
MVpLX[0]=Median(MVLXA[0]，MVLXB[0]，MVLXC[0])
MVpLX[1]=Median(MVLXA[1]，MVLXB[1]，MVLXC[1])
運動矢量的預測在當前宏塊分割為16×8和8×16的時候會先做如下的判斷，如果不滿足則通過上述取中值的方法得到預測值：
(1)對于1個宏塊被分割成2個16×8子宏塊的情況
①計算mbPartIdx等于0的子宏塊如圖2(a)所示。如果refIdxLXB等于當前分割的refIdxLX，則當前塊的矢量預測值由B宏塊的相應分割的矢量得到：MVpLX= MVLXB。
②計算mbPartIdx等于1的子宏塊如圖2所示，如果refIdxLXA等于當前分割的refIdxLX，則當前塊的矢量預測值由A宏塊的相應分割的矢量得到：MVpLX=MVLXA。
(2)對于1個宏塊被分割成2個8×16子宏塊的情況：
①計算mbPartIdx等于0的子宏塊如圖2(b)所示。如果refIdxLXA等于當前分割的refIdxLX，則當前塊的矢量預測值由B宏塊的相應分割的矢量得到：MVpLX=MVLXA。
②計算mbPartIdx等于1的子宏塊如圖2(b)所示，如果refIdxLXC等于當前分割的refIdxLX，則當前塊的矢量預測值由C宏塊的相應分割的矢量得到：MVpLX=MVLXC。
1.2 參考宏塊分割的運動矢量MVLXN和參考索引refIdxLXN的計算
在計算參考宏塊分割A、B、C的運動矢量MVLXN和參考索引refIdxLXN之前，應先檢測分割C是否可用，如果C不可用，則用分割D的信息代替。A、B、C的運動矢量MVLXN和參考索引refIdxLXN的計算：
(1)如果宏塊mbAddrN不可用或者宏塊mbAddrN為幀內編碼，或者mbAddrN相應分割或者子宏塊分割的predFlagLX等于0，則對MVLXN置0，對refIdxLXN置-1。
(2)MVLXN為mbAddrN相應宏塊分割或者子宏塊分割的運動矢量，refIdxLXN為mbAddrN相應宏塊分割的參考索引值：
MVLXN=MvLX[mbPartIdxN][subMbPartIdxN]
refIdxLXN=RefIdxLX[mbPartIdxN]
(3)在MBAFF模式時，需要對MVLXN和refIdxLXN再做1次計算：
①如果當前宏塊為場宏塊，而mbAddrN為幀宏塊，則：
MVLXN[1]=MVLXN[1]/2
refIdxLXN=refIdxLXN×2
②如果當前宏塊為幀宏塊，而mbAddrN為場宏塊，則:
MVLXN[1]=MVLXN[1]×2
refIdxLXN=refIdxLXN/2
1.3 空間相鄰參考宏塊分割的選擇[2]
在非MBAFF模式時，當前宏塊的空間相鄰宏塊地址A、B、C、D的位置如圖3所示。空間參考宏塊mbAddrN可以是MbAddrA、MbAddrB、MbAddrC、MbAddrD或者CurrMbAddr。
在MBAFF模式時，當前宏塊的空間相鄰宏塊地址A、B、C、D的位置如圖4所示。此時會根據當前宏塊是幀宏塊或者場宏塊currMbFrameFlag以及當前宏塊是頂宏塊或者底宏塊mbIsTopMbFlag來計算1個中間值mbAddrX，并根據mbAddrX的幀場信息mbAddrXFrameFlag來得到最終的參考宏塊MbAddrN。參考宏塊mbAddrN可以是MbAddrA、MbAddrA+1、MbAddrB、MbAddrB+1、MbAddrC、MbAddrC+1、MbAddrD、MbAddrD+1、CurrMbAddr或者CurrMbAddr-1。
參考分割A、B、C、D取自參考宏塊mbAddrN，也可能來自當前宏塊的空間相鄰宏塊或可能是當前宏塊內已解碼的分割。
1.4 運動矢量預測所需數據的組織
運動矢量的預測需要當前分割的左邊、上邊、左上和右上相應分割的MVLXN和refIdxLXN信息來計算得到當前分割的MVLX。如果宏塊的4個子宏塊都采用4×4分割，則1個宏塊有16個運動矢量，即每個4×4 block有1個運動矢量。這樣需要儲存每個block的運動矢量和參考索引。1個宏塊需要存儲16個block的運動矢量MVLX和參考索引refIdxLX，當采用其他分割類型時，每個分割內所有block的運動矢量和參考索引為相同值。
幀間預測按照block存儲和使用數據。當前宏塊分割的運動矢量和參考索引需要按照block來存儲以用于后面宏塊的預測。每個分割內所有block的運動矢量和參考索引為相同值，所以參考分割的MVLXN和refIdxLXN的引用也可以按照block來進行。
因為同一分割內所有block的運動矢量和參考索引為相同值，因此，參考分割的MVLXN和refIdx-LXN也就是參考宏塊相應的block的MVLX和refIdx-LX。圖5為非MBAFF模式時預測當前分割的運動矢量的示意圖。由圖可見，在進行預測時是通過與當前分割最接近的左、上、左上以及右上的4個4×4 block的運動矢量來對當前的運動矢量進行預測的。圖5(a)~(d)分別表明了當前宏塊采用不同劃分時A、B、C、D 4個參考塊的取值情況。在預測時一般選取A、B、C塊對當前的運動矢量進行預測，當C不可用時則選用A、B、D進行預測。在MBAFF模式時，由于參考宏塊的位置不同(參見1.3節)會作相應變化。
2 直接預測模式和硬件設計
H.264/AVC對運動矢量的重建引入了直接預測模式，在該模式下運動矢量殘差沒有被傳送，只有宏塊的預測模式會被傳送。解碼器根據預測模式以及其余宏塊的信息對當前的運動矢量進行恢復。運動矢量的重建流程如圖6所示。在直接預測模式下，H.264分別采用3種不同的方式對運動矢量進行重建。
(1)復制模式。在P類型的宏塊中，利用空間上相鄰分割的運動矢量對當前的運動矢量進行預測。
(2)空間模式。在B類型的宏塊中，利用空間上相鄰分割的運動矢量對當前的運動矢量進行預測。
(3)時間模式。在B類型的宏塊中，通過將時間上相鄰而且在空間上位置相同的8×8分割的運動矢量進行重量化來預測出當前的運動矢量。
其中復制模式和空間模式在算法上具有一定的相似性，差別在于復制模式只需要重建1個方向的運動矢量，而空間模式需要重建雙向的運動矢量。
2.1 空間模式及復制模式重建算法和硬件設計
在這2種模式下：(1)宏塊只能劃分成1個16×16分割或者4個8×8分割。在劃分成4個8×8時，每1個8×8分割可以獨立地被設置成直接模式或者ReadMV模式；(2)計算當前的運動矢量需要借助在空間上相鄰分割的運動矢量來對當前分割的運動矢量進行重建。此時運動矢量的預測算法與前面介紹的預測運動矢量的算法基本相同，所不同的是此時宏塊中的任意1個分割預測時所使用的相鄰塊信息均由圖7所示的A、B、C、D 4個塊預測。
Direct 8×8用A、B、C、D 4個塊進行預測。預測的基本算法流程如圖8所示。由圖可見，在預測時首先檢測參考塊C是否可用，如不可用，則C塊的參數用D塊的參數代替；而后利用A、B、C塊的參考索引RefIdxA[f/b]、RefIdxB[f/b]、RefIdxC[f/b]中大于0的最小值來預測出當前分割的參考索引號ReFrame[f/b]，如果RefIdxA[f/b]、RefIdxB[f/b]、RefIdxC[f/b]全部小于0，則ReFrame[f/b]取-1；然后用ReFrame[f/b]與A、B、C塊的參考索引進行對比，如果ReFrame[f/b]只是A、B、C其中的1個，現令其為SelectedBlk的索引號相同，則當前分割的運動矢量中，(MVx，MVy)取SelectedBlk的(MVxS，MVyS)；否則取A、B、C塊運動矢量的中值。
在空間模式及復制模式下，需要使用空間上相鄰的上邊及左邊的4×4塊的運動矢量信息來對空間模式、復制模式中的運動矢量以及ReadMV模式中的MVp進行計算。針對非MBAFF模式和MBAFF模式所需要的block的運動矢量信息分析如下：
(1)在非MBAFF模式時，硬件實現需要維持1個4×4 block行，以及當前待解碼宏塊的左邊4個block列的運動矢量信息。解碼器如果需要支持1 920×1 280分辨率視頻流的解碼，則就要存儲(1 920/4+4+1)=485個4×4 block的運動矢量信息，如圖9所示。
(2)在MBAFF模式時，由于宏塊對的出現使得所需要的block信息相比非MBAFF模式的情況更加復雜。硬件實現時需要維持2個4×4 block行，以及當前待解碼宏塊的左邊宏塊對的8個block列的運動矢量信息。解碼器如果需要支持1 920×1 280分辨率視頻流的解碼，則就要存儲(2×(1920/4)+8+1)=969個4×4 block的運動矢量信息，如圖10所示。
設計中將這部分信息存放在片內SRAM中。此外，為了便于讀取以及節省存取時間，設計中將1個block的運動矢量信息存放于SRAM 1個地址單元中。1個地址單元的數據結構需要存放前向參考索引RefIdxF、后向參考索引RefIdxB、前向水平運動矢量MVxF、前向垂直運動矢量MVyF、后向水平運動矢量MVxB、后向垂直運動矢量MVyB。
通過以上分析在硬件實現時采用如圖11所示的結構對該模塊進行設計。設計中使用1個Local Sram作為1個Line buffer來對空間模式及復制模式下需要使用到的空間上相鄰塊的運動矢量信息進行存儲。當該模塊被啟動后，根據輸入的當前宏塊的預測模式以及當前宏塊的位置信息，地址生成器根據當前宏塊的信息產生相應的地址以及控制信號從Local Sram中取出A、B、C、D 4個block的運動矢量信息傳送給MV idx計算模塊來計算當前分割的運動矢量，計算完畢后得出完成信號給地址生成器以便其產生相應的地址將解碼好的數據存回Local Sram中供后續解碼使用。
2.2 時間模式重建算法和硬件設計
圖12所示為宏塊類型為B宏塊、預測模式為直接預測模式時采用時間模式對運動矢量進行重建的算法示意圖。
由圖可見，時間模式運動矢量重建的步驟為：
(1)當前待解的分割先在List[1][0]中找到與自己位置相對應的分割相應的、在List[0]中的參考圖像List[0][x]，將該參考圖像作為當前分割的List[0]參考。
(2)找出List[1][0]圖像中與當前分割位置相對應的分割指向List[0][x]的運動矢量MVCol[2]和參考索引refIdxCol[2]。
(3)根據當前分割所在圖像與List[0][x]圖像的播放順序POC的差值tb[2]、List[0][x]與List[1][0]的POC的差值td[2]，通過如下公式量化出當前分割指向List[0][x]圖像的運動矢量MVL0以及指向List[1][0]的運動矢量MVL1。
tb=Clip3(-128，127，DiffPicOrderCnt(currPicOrField， pic0))
td=Clip3(-128，127，DiffPicOrderCnt(pic1，pic0))
tx=(16 384+Abs(td/2))/td
DistScaleFactor=Clip3(-1024，1023，(tb*tx+32)>>6)
MVL0=(DistScaleFactor*mvCol+128)>>8
MVL1=MVL0-MVCol
(4) 根據refIdxCol和當前圖像是幀或場圖像標志field_pic_flag以及當前宏塊是幀宏塊或場宏塊來計算refIdxL0：
refIdxL0=((refIdxCol<0)?0:MapColToList0(refIdxCol))
refIdxL1=0
在非MBAFF模式時，圖像類型可以是FRM和FLD表示當前是幀或場；在MBAFF模式時，圖像類型以AFRM表示當前圖像是宏塊級幀場自適應。
在MBAFF模式時，首先根據當前圖像類型PicCodingStruct(CurrPic)[2]和參考圖像類型PicCodingStruct(colPic)[2]來計算1個宏塊地址mbAddrX，然后再根據mbAddrX是否為場宏塊以及當前宏塊是否為場宏塊來計算出在List[1][0]中與當前分割位置相對應的宏塊mbAddrCol，最后得到其中相應宏塊分割mbAddrCol\mbPartIdxCol\subMbPartIdxCol的運動矢量MVCol和參考索引refIdxCol，MVCol和refIdxCol取值為mbAddrCol相應分割的前向或者后向運動矢量和參考索引。
因此，對于已經解碼的圖像需要存儲每個宏塊的運動矢量、參考索引、宏塊類型(mbType、subMbType)和宏塊的幀場標志mb_field_decoding_flag[2]，以用于當前圖像宏塊的運動矢量預測。
時間模式下運動矢量重建的硬件實現框圖如圖13所示。設計中采用了空間模式以及復制模式硬件實現所用的Local Sram。這里還在Local Sram中開辟了一段新的存儲空間，用于存放所需要的圖像層信息。與空間及復制模式一樣，重建后的運動矢量信息寫回到Local Sram中供后續解碼使用。
由運算公式可見時間模式下運動矢量的重建涉及乘法、除法、加法以及減法運算，這些運算對于硬件實現將會帶來很大的開銷，所以設計中將差值運算拆分成流水線的形式進行運算。
本文介紹了H.264/AVC的宏塊自適應幀場模式在P幀和B幀的幀間預測算法，分析了運動矢量預測模塊的硬件實現，提出了可行的數據組織結構和硬件實現方法。
參考文獻
[1] 畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC[J].北京：人民郵電出版社，2002.
[2] Advanced video coding for generic audiovisual services. ITU-T Recommendation H.264， May. 2005.