??? 摘 要： 在充分研究基于時(shí)間信息的幀間差分" title="差分">差分法和基于空間信息的背景差分法的基礎(chǔ)上，提出了一種綜合利用視頻圖像" title="視頻圖像">視頻圖像序列的時(shí)間信息和空間信息的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。該算法不僅有效地消除了噪聲，還保證了運(yùn)動(dòng)圖像的完整性。實(shí)驗(yàn)表明該算法檢測(cè)準(zhǔn)確、實(shí)時(shí)性強(qiáng)。
??? 關(guān)鍵詞： 幀 運(yùn)動(dòng)目標(biāo)檢測(cè) 對(duì)稱差分法 背景差分法 像素灰度歸類
?
??? 基于視頻序列的運(yùn)動(dòng)目標(biāo)檢測(cè)，一直以來都是機(jī)器視覺、智能監(jiān)控系統(tǒng)和視頻跟蹤等領(lǐng)域的研究重點(diǎn)，是整個(gè)計(jì)算機(jī)視覺技術(shù)的基礎(chǔ)。能否將運(yùn)動(dòng)目標(biāo)從視頻圖像序列中準(zhǔn)確地檢測(cè)出來，是運(yùn)動(dòng)估計(jì)、目標(biāo)識(shí)別、行為理解等后續(xù)處理成功與否的關(guān)鍵。為了實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)，很多學(xué)者進(jìn)行了相關(guān)的研究，并提出了大量的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。其中基于光流量[1]的運(yùn)動(dòng)檢測(cè)算法最為精確，但較為復(fù)雜，而且計(jì)算量很大。為了減少計(jì)算量和編程的復(fù)雜度，基于時(shí)間信息的幀間差分法[2]和基于空間信息的背景差分法[3]是較為流行的兩種方法。幀間差分法通過判斷相鄰兩幀圖像之間像素灰度值之差是否大于某一閾值來識(shí)別物體的運(yùn)動(dòng)。背景差分法則是利用視頻圖像序列的空間信息，通過“訓(xùn)練”多幀視頻圖像來獲取背景圖像，將待檢幀與背景圖像進(jìn)行差分就可以較為精確地檢測(cè)出運(yùn)動(dòng)目標(biāo)，使用這種方法能比較準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)的物體，并能有效地抑制幀間差分法中可能產(chǎn)生的“鬼影”現(xiàn)象及部分噪聲的干擾，缺點(diǎn)是檢測(cè)速度比較慢，得到的運(yùn)動(dòng)物體" title="運(yùn)動(dòng)物體">運(yùn)動(dòng)物體完整性較差,實(shí)時(shí)性不高。
??? 本文在分析以上兩種算法的基礎(chǔ)上，綜合利用視頻圖像的時(shí)間信息和空間信息來檢測(cè)視頻幀中的運(yùn)動(dòng)目標(biāo)。其中，利用對(duì)稱差分[4]的方法代替?zhèn)鹘y(tǒng)的幀間差分法,減少了錯(cuò)檢的概率；同時(shí)還利用基于像素灰度歸類" title="像素灰度歸類">像素灰度歸類的方法來重構(gòu)" title="重構(gòu)">重構(gòu)出背景圖像,并進(jìn)行了有效的背景更新。實(shí)驗(yàn)表明，使用本文的方法進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測(cè)具有良好的檢測(cè)效果和實(shí)時(shí)性。
1 運(yùn)動(dòng)目標(biāo)的檢測(cè)
1.1 對(duì)稱差分法
??? 本文在幀間差分法的基礎(chǔ)上使用對(duì)稱差分法，這里首先介紹一下幀間差分法。所謂幀間差分法,是指利用時(shí)間上相鄰的兩幀圖像之差，來判斷物體的運(yùn)動(dòng)，簡(jiǎn)稱幀差法。幀差法實(shí)現(xiàn)簡(jiǎn)單并且能快速、完整地分割出運(yùn)動(dòng)的物體，但這種方法對(duì)噪聲比較敏感，容易將光照變化和一些細(xì)微的運(yùn)動(dòng)錯(cuò)檢為運(yùn)動(dòng)的目標(biāo)。當(dāng)前面一幀中的物體由于運(yùn)動(dòng)而在后一幀中顯露出其遮擋的區(qū)域時(shí),幀間差分法會(huì)得到錯(cuò)誤的結(jié)果，也就是會(huì)出現(xiàn)“鬼影”現(xiàn)象，如圖1所示。
??? 為了克服幀間差分法的上述缺點(diǎn),采用對(duì)稱差分的方法來檢測(cè)運(yùn)動(dòng)物體，即通過時(shí)間上相鄰的三幀圖像，來檢測(cè)中間一幀中的運(yùn)動(dòng)物體。具體的實(shí)現(xiàn)方法如下[4]。
??? (1)視頻序列連續(xù)三幀源圖像為f(k-1)(x，y)，f(k)(x，y)和f(k+1)(x，y)，分別計(jì)算相鄰兩幀圖像之差，如公式(1)所示。
??? 
式中，W為抑制噪聲的窗口函數(shù)。由于均值濾波會(huì)使圖像模糊化，從而失去邊緣信息，在此選用窗口為3×3的中值濾波函數(shù)抑制噪聲。
??? (2)對(duì)d(k-1，k)(x，y)和d(k，k+1)(x，y)分別取閾值，進(jìn)行二值化，得到兩個(gè)二值化圖像b(k-1，k)(x，y)和b(k，k+1)(x，y)。將b(k-1，k)(x，y)和b(k，k+1)(x，y)在每一個(gè)像素位置進(jìn)行邏輯“與”操作，得到對(duì)稱差分二值圖像mk(x，y)，計(jì)算公式如（2）式所示。
??? 
??? 對(duì)稱差分檢測(cè)算法更充分地利用了視頻序列時(shí)間上的相關(guān)性，能較好地消除部分噪聲和“鬼影”現(xiàn)象的干擾,并能完整地分割出運(yùn)動(dòng)的物體。但是經(jīng)過實(shí)驗(yàn)分析，發(fā)現(xiàn)它有兩個(gè)明顯的不足之處：一是當(dāng)相鄰幀之間運(yùn)動(dòng)物體的灰度或紋理信息較接近時(shí)，會(huì)出現(xiàn)漏檢現(xiàn)象；二是它對(duì)噪聲較背景差分更為敏感。
1.2 背景差分法
1.2.1 背景重構(gòu)
??? 背景差分法也是一種常用的運(yùn)動(dòng)檢測(cè)方法，其基本思想是通過建立一個(gè)有效的背景模型來區(qū)分視頻幀中的運(yùn)動(dòng)區(qū)域和背景區(qū)域。目前使用較多的方法有基于光流量的背景更新算法、基于高斯分布的背景更新算法[3]和基于像素灰度信息的背景更新算法[5]。其中，基于光流量及高斯分布的背景更新算法計(jì)算量很大，會(huì)影響到系統(tǒng)的實(shí)時(shí)性。在考慮充分利用視頻序列空間信息的前提下，本文采用基于像素灰度歸類的方法來建立背景模型，重構(gòu)出背景圖像。具體的算法步驟可以參見參考文獻(xiàn)[5]。在此利用參考文獻(xiàn)[5]中的方法對(duì)Road圖像序列[6]的前120幀、前180幀和前230幀進(jìn)行背景圖像的重構(gòu)。重構(gòu)的背景圖象分別如圖2(d)、(e)、(f)所示。
??? 從圖2中的(a)、(b)、(c)可以看到，有行人正沿著街道往攝像機(jī)方向行走。但在建立的背景圖像(d)、(e)、(f)中，行人所在的位置被背景圖像的相應(yīng)區(qū)域所替代，而且隨著參與“訓(xùn)練”的幀數(shù)的增加，建立的背景圖像與真實(shí)的背景越接近。所以基于像素灰度歸類的背景重構(gòu)算法可以在有運(yùn)動(dòng)物體存在的情況下構(gòu)造背景圖像,而且保存了圖像序列的空間信息。本文中為了盡量避免光照因素的影響，將重構(gòu)的背景圖像轉(zhuǎn)換為灰度圖像進(jìn)行表示。
??? 利用背景圖像可以很容易地區(qū)分出待檢測(cè)幀中的運(yùn)動(dòng)區(qū)域,并能消除部分噪聲的干擾,實(shí)現(xiàn)運(yùn)動(dòng)物體與背景的分割。但是,當(dāng)運(yùn)動(dòng)物體的顏色或者紋理信息與背景較為接近時(shí),會(huì)出現(xiàn)漏檢現(xiàn)象。所以還需要將漏檢的區(qū)域檢測(cè)出來,實(shí)現(xiàn)運(yùn)動(dòng)物體的完整分割。
1.2.2 背景更新
??? 為了保證背景差分結(jié)果的準(zhǔn)確性，還需要對(duì)背景圖像及時(shí)地進(jìn)行更新。在利用背景差分得到的差分圖像中,統(tǒng)計(jì)發(fā)生變化的像素與全部像素的比例,當(dāng)比例大于一定的閾值(一般取原圖像的80%)時(shí),就重新抽取圖像序列進(jìn)行背景的重構(gòu)。
1.3 綜合時(shí)空信息的運(yùn)動(dòng)目標(biāo)檢測(cè)算法
??? 由于對(duì)稱差分法及基于像素灰度歸類的背景差分法具有上述的缺點(diǎn)，因此可以考慮將這兩種方法相結(jié)合，綜合利用視頻圖像時(shí)空信息，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的精確檢測(cè)。算法步驟如下：
??? (1)首先，通過圖像增強(qiáng)對(duì)待檢圖像進(jìn)行預(yù)處理，這樣可以更好地突出圖像中的前景區(qū)域。同時(shí)，為了提高算法的實(shí)時(shí)性,在進(jìn)行增強(qiáng)處理時(shí),只對(duì)局部區(qū)域進(jìn)行增強(qiáng)，如公式(3)所示。
??? 
式中，fk(x，y)為輸出圖像，gk(x，y)為輸入圖像，A為增益系數(shù)。Tmin和Tmax分別為局部增強(qiáng)處理的候選灰度區(qū)間的上限和下限,可以根據(jù)具體的應(yīng)用要求對(duì)它們的取值進(jìn)行調(diào)整。
??? (2)對(duì)待檢幀進(jìn)行局部增強(qiáng)處理以后，利用多幀視頻圖像的灰度信息得到背景圖像，并將待檢幀fk(x，y)與背景圖像Bk(x，y)進(jìn)行差分，得到前景圖像ak(x，y)，計(jì)算如公式(4)所示。
??? 
式中，T為閾值(一般取10～30)，W為抑制噪聲的窗口函數(shù),仍然采用中值濾波。
??? (3)為了包含視頻序列的時(shí)間信息，將每一個(gè)像素點(diǎn)ak(x，y)與公式（2）中的對(duì)稱差分二值圖像的mk(x，y)進(jìn)行邏輯“或”操作，得到比較完整的前景圖像Fk(x，y)，其計(jì)算公式如式（5）所示。
??? 
??? (4)最后，為了消除場(chǎng)景中的微小運(yùn)動(dòng)、光照變換及可能混入一些孤立噪聲點(diǎn)等因素的影響，采用3×3的模板對(duì)分離出來的前景圖像進(jìn)行開運(yùn)算(先腐蝕，再膨脹)，消除噪聲和空洞現(xiàn)象，保證前景圖像的完整性。
??? 整個(gè)算法流程圖如圖3所示。
?
2 實(shí)驗(yàn)結(jié)果
??? 為了驗(yàn)證算法效果，實(shí)驗(yàn)中使用分辨率為288×384的Road視頻序列[6]進(jìn)行運(yùn)動(dòng)物體檢測(cè)與分割，同時(shí)還分別比較了基于高斯分布的運(yùn)動(dòng)檢測(cè)算法[3]、基于對(duì)稱差分的運(yùn)動(dòng)檢測(cè)算法[4]以及基于像素灰度歸類的運(yùn)動(dòng)檢測(cè)算法[5]，測(cè)試結(jié)果如圖4所示。從圖4的檢測(cè)結(jié)果中可以看出：
??? (1)高斯分布的方法（圖4(b)）對(duì)緩慢運(yùn)動(dòng)物體(圖4(a)中運(yùn)動(dòng)的人)的檢測(cè)效果較差，緩慢運(yùn)動(dòng)的人被融合到了背景中，造成了漏檢。
??? (2)像素灰度歸類方法（圖4(c)）能將運(yùn)動(dòng)的人和車都檢測(cè)出來，但是當(dāng)運(yùn)動(dòng)物體上某些區(qū)域與背景相應(yīng)區(qū)域的灰度值較為接近時(shí)，也會(huì)出現(xiàn)漏檢現(xiàn)象，如圖4(c)中人的腿部基本上沒有被檢測(cè)出來。
??? (3)對(duì)稱差分方法（圖4(d)）將圖4(b)和圖4(c)中漏檢的區(qū)域檢測(cè)了出來，但在檢測(cè)結(jié)果中混入了大量的噪聲點(diǎn)，影響了檢測(cè)的準(zhǔn)確性。
??? (4)本文算法的檢測(cè)結(jié)果(圖４(e))在完整性和準(zhǔn)確性方面較圖４(b)、圖４(c)、圖４(d)都有所提高，并且消除了噪聲的干擾。
?????????????? 
??? 本文提出了將對(duì)稱差分法與背景幀差法相結(jié)合的運(yùn)動(dòng)物體檢測(cè)方法, 兩種方法的結(jié)合使優(yōu)勢(shì)形成互補(bǔ), 其優(yōu)點(diǎn)在于：(1)靜止下來的物體會(huì)在相鄰幀差處理時(shí)減掉，不會(huì)誤檢為運(yùn)動(dòng)物體, 并且能夠很快地更新到背景中去；(2)與背景幀差分時(shí)僅對(duì)幀差處理后的運(yùn)動(dòng)變化區(qū)域進(jìn)行處理, 大大地減少了其它區(qū)域?qū)z測(cè)結(jié)果帶來的影響，也縮短了處理時(shí)間；(3)允許在有運(yùn)動(dòng)物體存在的情況下進(jìn)行背景建模。實(shí)驗(yàn)結(jié)果表明該方法快速、準(zhǔn)確，有著廣泛的適用性。
??? 但是采用像素灰度歸類的方法建立背景模型時(shí)，當(dāng)場(chǎng)景中某些區(qū)域背景出現(xiàn)的概率較低時(shí),重構(gòu)的背景圖像與真實(shí)的背景在這些區(qū)域的差別會(huì)很大，直接影響了檢測(cè)的準(zhǔn)確性。另外，當(dāng)背景物體發(fā)生劇烈運(yùn)動(dòng)時(shí)，如:狂風(fēng)中樹枝的擺動(dòng),水面的劇烈波動(dòng)等，將對(duì)運(yùn)動(dòng)檢測(cè)結(jié)果的準(zhǔn)確性造成影響。如何對(duì)上述情況進(jìn)行處理，以及研究復(fù)雜背景下的運(yùn)動(dòng)檢測(cè)算法將是今后進(jìn)一步的研究方向。
參考文獻(xiàn)
[1] CUCCHIARA R，GRANA C，PICCARDI Metal.Statistic and?knowledge based moving object detection in traffic Sciences[C].Proceedings of the 3rd IEEE conference on intelligent?transportation system.dearborn，indiana，USA：IEEE computer society press，2000：27-32.
[2] MEIER T，NGUN K N.Video Segmentation for ContentBased Coding[J].IEEE Trans.on circuit s and systems for?video technology，1999，9(8)：1190-1203.
[3] GUPT S.MASOUND O.MARTIN RFK，et al.Detection and?classification for vehicles[J].IEEE transactions on intelligent transportation system，2002，3(1)：37-47.
[4] 周西漢，劉勃，周荷琴.一種基于對(duì)稱差分和背景消減的運(yùn)動(dòng)檢測(cè)方法[J].計(jì)算機(jī)仿真，2005，22(4)：117-123.
[5] 侯自強(qiáng)，韓崇昭.基于像素灰度歸類的背景重構(gòu)算法[J].軟件學(xué)報(bào)，2005，16(9)：1568-1575.