顧志航，陳淑榮

　　（上海海事大學 信息工程學院，上海 201511）

       摘要：針對傳統(tǒng)HOG特征的行人檢測方法中因遮擋及復雜環(huán)境存在較高漏檢誤檢情況，建立了一種基于HOG和局部自相似（LSS）特征融合的行人檢測算法。利用LSS反映圖像內在幾何布局和形狀屬性的特性，用主成分分析(PCA)將HOG和LSS兩類特征在實數(shù)域降維，再將兩種特征組合成新特征，結合線性SVM分類器進行行人檢測。實驗采用INRIA數(shù)據(jù)庫和Daimler數(shù)據(jù)庫作為訓練集訓練SVM，用730幅監(jiān)控視頻幀圖片作測試集，將該方法與基于傳統(tǒng)HOG特征的行人檢測方法做對比，結果表明該方法平均漏檢誤檢率降低16%，檢測效果優(yōu)于基于傳統(tǒng)HOG特征的行人檢測方法。

　　關鍵詞：行人檢測；主成分分析；梯度直方圖；局部自相似

0引言

　　隨著視頻監(jiān)控和智能分析應用的普及，行人檢測已成為一個重要的研究方向。目前行人檢測算法常用特征主要有Haar特征［1］、尺度不變特征（SIFT）［2］、加速魯棒特征（SURF）［3］、方向梯度直方圖（HOG）［45］、局部二進制模式（LBP）［6］、局部自相似（LSS）［7］等，Haar特征適用于有固定結構的目標。SIFT/SURF的特征具有強烈方向及亮度性，適合檢測圖像幾何和光學變化微弱的目標。LBP特征最初被引入人臉識別,但直接提取灰度圖LBP特征會引入噪聲信息，增加特征判別的難度。LSS特征則是通過捕捉顏色自相似性、邊緣特征、重復模板以及復雜紋理計算兩幅圖像的相似性，更多用于圖像匹配。本文選用HOG特征作為行人檢測主要方法。HOG是在圖像的局部單元格上操作，因此它對行人細微肢體動作和光照變化有很好的適應性。但HOG特征計算量大；由于梯度自身的性質，該特征對噪聲敏感；行人遮擋、樣本數(shù)量及類型限制，導致HOG特征在最后分類時出現(xiàn)漏檢，若將漏檢的樣本加入訓練樣本集，又會出現(xiàn)大量的誤檢。針對這一問題，本文結合LSS特征計算圖像相似性的特性，建立了一種基于融合LSS和HOG特征的行人檢測算法。首先輸入待檢測視頻幀圖像，歸一化處理和高斯去噪，然后分別提取圖像的HOG特圖1算法流程圖征和LSS特征，再對HOG和LSS特征進行PCA降維并融合，最后用線性SVM進行行人檢測。算法原理如圖1所示。

1算法理論

　　1.1行人HOG特征提取

　　HOG特征是一種在計算機視覺和圖像處理中進行物體檢測的特征描述子。首先將圖像分成小的連通區(qū)域cell，然后采集cell中各像素點的梯度構成方向直方圖，再將直方圖組合成特征描述器。流程圖如圖2所示。

　　圖像中每一個像素點梯度為：

　　Gx(x,y)=H(x+1,y)-H(x-1,y)x,y(1)

　　Gy(x,y)=H(x,y+1)-H(x,y-1)x,y(2)

　　Gx(x,y)、Gy(x,y)、H(x,y)分別表示圖像像素點(x,y)處的水平、垂直方向梯度和像素值。像素點(x,y)處的梯度幅值和方向為：

　　實驗中取16×16像素為一個cell，2×2 cell為一個block，將梯度角度［0,π］分為9個區(qū)間bin，對每個cell內所有像素的梯度值在各個bin區(qū)間進行直方圖統(tǒng)計，得到9維的特征向量，一個block就有36維特征向量，利用L2范數(shù)對整個block歸一化，得到block的特征向量；收集檢測窗口中所有重疊塊的特征，構建最終HOG特征向量供分類使用。實驗中一張64×128的圖片可以生成幾千維的特征向量，過高的特征維度會增加算法后期計算量。

　　1.2LSS特征提取

　　LSS特征用于捕捉本地圖像間自相似性。當存在局部小規(guī)模變形時，LSS特征通過捕捉顏色、邊緣、重復圖樣和復雜紋理的自相似性，從而匹配圖像。本文利用這一特性，結合HOG特征，輔助區(qū)分行人和非行人目標，以此降低漏檢誤檢率。LSS特征計算過程如下。

　　1.2.1計算相關面

　　假定計算中心像素p(x,y)處的LSS特征，以p點為中心構建兩個環(huán)繞圖像塊，內外環(huán)圖像塊的半徑為r1和r2，計算環(huán)繞塊內像素點亮度差值平方和（Sum of Square Differences，SSD）,結果記為SSD(p)。再將SSD(p)歸一化為相關面S(p)，公式為：

　　S（p）=exp (-SSD(p)/max(vn,va(p)))(5)

　　其中，vn為常量，是顏色或光照上的噪聲；va(p)為點p與其相鄰點的最大距離。

　　1.2.2提取特征值

　　S（p）計算完成后，轉換為以點p為中心的極坐標表示， 再根據(jù)半徑和角度的量化級數(shù)將S（p）上的各像素點按坐標劃入到對應的量化級，取每個量化級最大值作為最終特征矢量分量，構成LSS特征值。

　　本文實驗過程如圖3所示。圖3（a）為一幅64×128像素的圖像，取r1=7×7為中心子窗口，q為中心點，再以q為中心選取r2=21×21為一個patch；從patch左上角開始，取5×5的子窗口，上下步進7，計算所有子窗口與中心子窗口的SSD，結果如圖3（b）所示；然后從圖像的左上角patch開始以17為步進，得到32個patch；將SSD轉化到對數(shù)極坐標系，角度和徑向上劃分為20份和4份，如圖3（c）所示；在每個角度區(qū)域選擇最大“相關值”作為特征值，形成80維LSS描述子，如圖3（d）所示；最終生成4×8×80=2 560維LSS特征，高維度LSS特征向量同樣會增加算法的計算量。

　　1.3PCA降維

　　圖像提取的兩種特征向量維度都很高，兩種特征融合后，新特征維度更大，大量冗余信息會降低識別精度，減緩分類速度，故需要降維。參考文獻［45］證明PCA降維分別在基于HOG特征的行人檢測算法和基于LSS特征的圖像匹配算法中對降低計算量效果較好。本文采用PCA對兩種特征降維。用式(6)計算特征主成分：

　　y=UT(xi-x-)(6)

　　其中，y為主成分特征，x-為訓練樣本的特征均值，xi為第i個樣本，UT為協(xié)方差矩陣公式。

　　式（7）、（8）中，N為樣本數(shù)量，n為樣本維數(shù)，T為矩陣轉置符號。對于具體的降維維數(shù)k，通過下式主成分貢獻率來確定：

　　式（9）中，λi為式（8）中∑的特征值，δ為主成分貢獻率。

　　本文實驗中HOG和LSS特征的降維步驟如下：

　　(1)計算訓練樣本集中HOG特征均值x1-和LSS特征均值x2-。

　　(2)根據(jù)式(7)計算特征值、特征向量及協(xié)方差矩陣U1、U2，其中U1的矩陣為3 780維，U2的矩陣為2 560維。

　　(3)取協(xié)方差矩陣前p個主成分，對每個HOG及LSS特征，通過式(6)進行特征降維，分別得到降維的HOG和LSS特征，向量維數(shù)k1、k2的值根據(jù)式(6)~式(9)的實驗結果確定。

　　1.4特征融合

　　由于兩種特征原理不同，本文采用串行特征組合方法，如式(10)所示：

　　C={(α,β),α∈A，β∈B}(10)

　　α和β代表HOG及LSS特征。本文將LSS特征作為輔助檢測，與HOG特征在降維后融合，在不增加計算量的基礎上能降低傳統(tǒng)算法的漏檢誤檢率。

　　1.5行人檢測分類器

　　SVM通過核函數(shù)將樣本映射到線性可分的高維空間，進行點積運算得到判別結果，魯棒性較好。而線性核函數(shù)算法簡單，計算量小，更適于實時監(jiān)控視頻的行人判定。本文采用基于線性核函數(shù)的SVM作為分類器。

2算法描述

　　本文算法步驟如下：

　　(1)輸入監(jiān)控視頻，提取幀圖像，轉換為灰度圖，并歸一化和高斯去噪。

　　(2)提取預處理后圖像的HOG特征及LSS特征，構成特征集α、β。

　　(3)分別計算兩種特征的特征值、特征向量以及協(xié)方差矩陣U，結合式(6)~式(9)通過實驗計算不同維度特征的主成分貢獻率，確定向量維數(shù)k1、k2。

　　(4)根據(jù)k1、k2對HOG及LSS特征進行PCA降維并級聯(lián)成特征C。

　　（5）將特征C輸入線性SVM，進行行人目標的判別檢測。

3實驗結果及分析

　　為驗證算法有效性，在MATLAB 2014a環(huán)境下進行實驗，計算機配置為2.3 GHz CPU和4 GB內存，數(shù)據(jù)庫為INRIA數(shù)據(jù)庫和Daimler數(shù)據(jù)庫。實驗將本文算法與傳統(tǒng)HOG算法和LSS算法進行比較，從兩個數(shù)據(jù)庫中選擇2 300個包含行人正面和其他姿勢以及5 000張無行人的圖片作正樣本集和負樣本集，以訓練線性SVM。最后輸入一段監(jiān)控視頻，提取730幅圖像檢測行人，得出實驗數(shù)據(jù)。

　　3.1特征PCA維數(shù)選取實驗

　　分別提取HOGPCA特征和LSSPCA特征級聯(lián)得到特征C，通過多次實驗確定兩種特征的PCA維數(shù)p，并對比了它們結合線性SVM后的分類判別能力。PCA維數(shù)對識別率影響的實驗結果如圖4所示。表1為降維后的組合特征與不降維的組合特征在訓練時間、檢測時間和識別率方面的比較。

　　實驗結果表明：圖4中HOG特征在PCA維數(shù)為300時達到峰值，而LSS特征則在700維時達到峰值；表1中降維后的兩種特征在訓練時間和檢測時間上明顯縮短，識別率得到有效提高。實驗結果與式(9)吻合，證明了兩種特征的PCA維度可以根據(jù)式(9)進行確定。本文HOG特征維度選擇300維，LSS特征維度選擇700維。

　　3.23種算法實驗對比

　　為驗證本文算法的性能，將本文算法與基于傳統(tǒng)HOG特征、LSS特征的行人檢測算法進行對比。圖5（a）在單窗口檢測情況下比較3種方法的漏檢率（Miss Rate）及誤檢率（False Postive），3條曲線分別代表3種方法。　

　　實驗結果表明，相同F(xiàn)PPW的情況下，本文方法丟失率分別比傳統(tǒng)HOG和LSS方法降低了53%和26%；其中HOG的結果最不理想，平均漏檢率達到了11%。圖5（b）在整個圖片檢測的情況下比較基于傳統(tǒng)HOG特征的算法與本文算法的漏檢率（Miss Rate）及誤檢率（False Postive），本文算法準確率達到93.51%，而傳統(tǒng)HOG算法準確率只有89%。相同F(xiàn)PPI情況下，本文算法丟失率則比傳統(tǒng)HOG方法降低了15%。圖6為一段視頻處理后，兩種算法的行人檢測圖片。

　　圖6（a）、（b）和（c）、（d）分別為不遮擋情況下的視頻幀。其中（a）、（c）基于傳統(tǒng)HOG特征算法，（b）、（d）基于本文算法的行人檢測結果；圖（a）、（c）中箭頭為傳統(tǒng)算法漏檢的行人，圖（b）、（d）中用本文算法準確檢出了漏檢的行人。

4結論

　　針對傳統(tǒng)HOG特征在行人檢測算法中，因遮擋及復雜環(huán)境導致的較高誤檢率，建立了一種基于傳統(tǒng)HOG和LSS特征融合的視頻行人檢測算法。通過選取合適的PCA降維維度，有效減小了計算量，降低了行人檢測過程中的誤檢及漏檢率。實驗表明本算法識別檢測精度較高，為視頻監(jiān)控系統(tǒng)的實時行人檢測方法提供了理論依據(jù)。

參考文獻

［1］ VIOLA P, JONES M J, SNOW D. Detecting pedestrians using patterns of motion and appearance［C］. Proceedings of the Ninth IEEE Conference on Computer Vision, 2003： 734741.［2］ LOWE D G. Distinctive image features from scaleinvariant keypoints［J］. Intermational Journal of Computer Vision,2004,60(2):91110.

［3］ BAY H, ESS A, TUYTELAARS T, et al. Speeded up robust features (SURF)［J］ Computer Vision and Image Understanding,2008,110(3):346359.

［4］ 田仙仙，鮑泓，徐成 一種改進HOG特征的行人檢測算法［J］.計算機科學，2014，41(9):320324.

［5］ 郝溪，陳淑榮，尹道素.融合HOG 與顏色特征的粒子濾波行人跟蹤算法［J］.微型機與應用,2014,33(6):4043.

［6］ 陳銳，王敏，陳肖.基于PCA降維的HOG與LBP融合的行人檢測［J］.信息技術,2015(2):101105.

［7］ 劉景能.圖像局部不變特征提取技術及其應用研究［D］.上海：上海交通大學，2012.