0 引言

    行人檢測技術的關鍵是提取人體結構特征和設計分類器，常用特征有Haar-like^[1]、方向梯度直方圖（Histogram of Oriented Gradients，HOG）^[2]等，分類器有Adaboost^[3]、支持向量機（Support Vector Machines，SVM）^[4]、深度網絡^[5]等。如文獻[6]采用改進的Haar-like特征和Adaboost分類器提高實現快速可靠的行人檢測，文獻[7]采用優化的HOG特征和SVM分類器實現復雜交通場景下的多分辨率行人檢測，文獻[8]采用深度學習方法降低行人檢測的虛警率。然而在街道、會場等監控場景，人體部分區域會被遮擋，且姿態也會變化，導致現有行人檢測方法的檢測性能下降。為了提高遮擋、姿態變化條件下的行人檢測性能，本文提出一種聯合部件特征的增強SVM檢測方法，聯合人體全局和局部部件提取特征并進行分類，提高行人檢測性能。

1 本文方法

    遮擋或姿態變化只會對人體部分部件產生影響，而其他部件特征仍具有行人鑒別功能。基于這一思路，本文對人體部件進行劃分，融合局部部件和全局部件的特征來描述人體，有針對性地設計特征提取與分類方法，目標是提高遮擋、姿態變化條件下的行人檢測性能。

1.1 人體部件劃分

    在監控場景中，人體的上肢與軀干部分經常存在大面積重合，如圖1(a)所示，故人體的上肢部件可以合并在軀干部件中。軀干部件可能會存在部分遮擋，故將人體軀干等分為左右兩部分，得到兩個部件c₂和c₃，如圖1(b)所示。監控場景中人體的頭部部件和兩腿部件非常顯著，故將其劃分出來，如圖1(b)中的c₁、c₄和c₅。通過提取人體局部部件的特征進行人體檢測，可以降低遮擋對全局人體檢測的影響。但是，人體全局特征仍然是人體檢測的有效特征，其區分人體與非人體的能力要優于局部部件特征，故本人仍保留人體全局部件，如圖1(b)中的c₆。這樣，本文將人體分為6個部件，分別是頭部、左軀干、右軀干、左腿、右腿和全身部件。綜合利用人體全局和局部部件的特征進行人體檢測，可以有效解決遮擋、姿態變化等引起的人體檢測性能下降問題。

1.2 聯合部件特征提取

    Haar-like特征和HOG特征是目前人體檢測領域常用的特征描述子。相對而言，HOG特征的優勢是區分能力強，而Haar-like特征的優勢是計算效率高。本文針對前一節劃分的人體局部部件，提出一種適應姿態變化的改進Haar-like特征。對于全身部件，本文仍采用HOG特征進行描述。通過融合這兩類特征構建聯合部件特征，用于描述人體結構。

    (1)局部部件特征提取

    當人體受到遮擋時，人體的全局特征必然會受到一定影響，從而引起人體檢測器的檢測性能下降。然而，遮擋不可能遮蔽所有人體部件，如圖1(b)中人體局部部件c₁~c₅不可能都被遮擋，這樣情況下，那些沒有被遮擋的局部部件的特征可以用來檢測人體。但是，相對于人體的全局特征，局部特征畢竟僅反映了人體的某一個局部的特性，其區分能力不如全局特征。因此，局部特征在人體檢測過程中僅作為輔助特征，本文以計算效率高的Haar-like特征為基礎來描述人體的局部部件。

    傳統的Haar-like特征計算效率高的主要原因是采用積分圖方法快速計算矩形區域的亮度累加和。但前提是區域必須是矩形的。然而，人體姿態的變化很大，矩形區域難以適應各種姿態的人體部件描述，尤其是腿部部件。為此，本文對傳統的Haar-like特征進行改進，目標是快速提取平行四邊形區域的人體部件特征。詳細描述如下。

    特征提取階段最耗時的步驟是計算每一個區域的亮度累加和，因為這一步驟要在不同的尺度圖像上重復多次。為了提高運算效率，關鍵是避免多尺度上的重復計算。為此，首先對全圖計算一次亮度累加和，并將一個平行四邊形區域的累加和存儲到一個累加和表(TP)中。然后通過計算如圖2所示的黑白平行四邊形區域之間的亮度累加和之差來求取改進的Haar-like特征。由圖2可見，本文使用的改進Haar-like特征類型與傳統的Haar-like特征類型不同，主要區別在于采用平行四邊形區域來代替傳統的矩形區域，以便于適應人體部件的姿態變化。

    如圖2所示，改進的Haar-like特征類型共有4類，每一類的亮度累加和計算方法不同，對于圖2(a)所示的第一類Haar-like特征，按從左上角到右下角的順序計算圖像的亮度累加和TP⁽¹⁾，表示為：

    圖2(d)所示的第四種特征類型的亮度累加和TP⁽⁴⁾可以表示為：

其中，H表示圖像的高度。

    每一個TP表中的值用于計算一個平行四邊形區域的亮度累加和。采用TP的優點在于，只需要4次遍歷即可計算出每一個平行四邊形的改進Haar-like特征。譬如，平行四邊形SP的第一類改進Haar-like特征的計算公式為：

其中，(x，y)表示圖像中一個區域的左上角位置，w和h分別表示區域的寬度和高度。

    類似地，平行四邊形SP的第二類改進Haar-like特征的計算公式為：

    平行四邊形SP的第三類改進Haar-like特征的計算公式為：

    平行四邊形SP的第四類改進Haar-like特征的計算公式為：

    (2)全局部件特征提取

    對于圖1(b)中的人體全身部件c₆，本文仍采用HOG特征來進行描述，實現步驟詳見文獻[2]。

    (3)聯合部件特征構建

    對于一幅圖像或一個圖像塊，為了便于進行人體部件分塊，采用圖3所示的簡單分塊方法，具體地，圖像塊的上1/4區域用于提取頭部部件c₁的局部擴展Haar-like特征v₁；在接下來的3/4區域中，左邊一半區域用于提取左軀干部件c₂的局部擴展Haar-like特征v₂，右邊一半區域用于提取右軀干部件c₃的局部擴展Haar-like特征v₃；在圖像的下半區域內，左邊一半區域用于提取左腿部件c₄的局部擴展Haar-like特征v₄，右邊一半區域用于提取右腿部件c₅的局部擴展Haar-like特征v₅；最后，提取整個圖像塊的全局HOG特征v₆。這樣，圖像塊的聯合部件特征向量可以表示為v={v₁，v₂，v₃，v₄，v₅，v₆}。

1.3 增強SVM學習

    增強學習可通過組合弱分類器構建區分能力更強的強分類器。本文在常用的SVM分類器的基礎上，提出一種增強SVM學習方法，對人體的聯合部件特征進行訓練和分類。

    給定一個訓練集D={(v_i，y_i)|i=1，…，n}，其中，n為樣本總數，v_i表示圖像塊i的特征向量，y_i表示該特征向量對應的類標簽，y_i=1表示v_i屬于人體，y_i=-1表示v_i屬于背景。SVM方法訓練的目標是尋找一個最優的分類超平面。這一過程本文不再贅述，詳見文獻[4]。

    對于第t個SVM檢測器，檢測器的輸出得分可以表示為φ_t(v)。本文采用增強學習的思路，對各部件的SVM分類得分進行加權求和，組建更強的檢測器，表示為：

    檢測器訓練的偽代碼如下所述。其中，檢測正確率下限d_min設為60%。

    在特征分類時，依據聯合檢測器存儲的權重系數計算輸入特征的輸出符號，判別特征類別，具體過程詳見文獻[4]。

2 仿真實驗

2.1 實驗數據集及性能評價指標

    行人檢測數據集比較多，本文選用常用的INRIA和Caltech數據集。INRIA數據集包含訓練數據集和測試數據集兩部分，訓練數據集共包含3 679幅圖像，其中包含行人的圖像為2 416幅。測試數據集共包含圖像1 585幅，其中包含行人的圖像為1 132幅。每幅圖像中僅有一個行人，且大都為直立人體。Caltech數據集源自真實街區場景拍攝的視頻，視頻集中的行人都處于自然的狀態，常存在遮擋和姿態變化，因此行人檢測難度較大。該視頻集的分辨率為640×480，幀率為30 f/s。其中，標記的行人數量有2 300個。

    本文在INRIA的訓練數據集上訓練分類器，然后分別在INRIA的測試數據集和Caltech數據集上進行行人檢測測試，選用檢測正確率和虛警率兩個指標來進行性能評價。其中，檢測正確率（DR）可以表示為檢測到的行人數量與行人總數的比值；虛警率（FA）可以表示為檢測到的背景數量與檢測到的所有目標數量的比值。同時，本文也對算法的運算效率進行定量評價，評價指標是平均檢測耗時（ADT）。所有對比實驗都在相同的計算機平臺上進行，計算機環境為：Intel Core-i5 CPU 3.20 GHz、16 GB RAM、Visual Studio 2012和OpenCV 2.48開發平臺、Windows 7 64位操作系統。

2.2 不同人體部件的檢測性能分析

    本文通過聯合人體不同部件的特征來提高遮擋、姿態變化條件下的行人檢測性能。為了驗證聯合部件特征的有效性，將其與不同部件單獨的行人檢測指標進行對比。圖4給出了兩個數據庫下的行人檢測指標對比結果。

    單獨分析圖4(a)和圖4(b)，很明顯本文使用的聯合部件的檢測正確率指標高于各獨立部件，尤其是虛警率指標遠低于獨立部件。而且，通過對比圖4(a)和圖4(b)可以發現，當人體遮擋、姿態變化較多時，由于獨立部件可能被遮擋，導致檢測正確率指標下降嚴重。而聯合部件中總有部件不被遮擋，故性能指標并沒有太大變化。從圖4中還可以發現，全身部件的獨立檢測性能要優于局部部件的獨立檢測性能，尤其是虛警率指標優勢明顯。因為局部部件的區分能力不強，易將背景誤識為目標。但聯合部件通過融合局部部件和全身部件的特征，增強了特征的區分能力，在提高檢測正確率指標的同時還大幅降低了虛警率指標。因此，聯合部件的檢測性能要優于各獨立部件。

2.3 不同方法的檢測性能分析

    為了進一步驗證本文方法的行人檢測性能，將本文方法與文獻[6，7，8]中所述行人檢測方法進行對比實驗。圖5給出了對比實驗結果。

    從圖5可以看出，在兩個數據集上測試時本文方法的檢測正確率指標都高于其他3種方法，同時虛警率指標明顯低于其他3種方法。尤其是在Caltech數據集上，其他3種方法的檢測正確率指標下降明顯，原因是Caltech數據集上的人體存在遮擋和姿態變化，降低了人體全身特征的區分能力。而本文方法采用聯合部件特征和增強SVM學習方法來檢測人體，受遮擋和姿態變化的影響較小。

    表1給出了4種方法的ADT指標對比，可見本文方法的平均檢測耗時略高于文獻[6]所述方法，低于其他2種方法。但從DR和FA指標來看，本文方法與文獻[6]所述方法相比優勢明顯。綜合評價，本文方法的行人檢測性能優于其他3種方法。

3 結束語

    本文針對人體局部特征變化引起的行人檢測性能下降問題，提出了一種結合聯合部件特征與增強SVM的行人檢測方法。設計思路是將人體分成多個局部部件，這樣，部分局部部件受遮擋、姿態變化影響時不會影響其他局部部件的檢測性能。實驗結果表明，采用本文方法進行行人檢測的檢測正確率高，虛警率低，且受遮擋和姿態變化的影響小。后續研究重點是進一步提高本文方法的運算效率。

參考文獻

[1] HOANG V D，VAVILIN A，JO K H.Pedestrian detection approach based on modified Haar-like features and AdaBoost[C].International Conference on Control，Automation and Systems，2012：614-618.

[2] HOANG V D，LE M H，JO K H.Hybrid cascade boosting machine using variant scale blocks based HOG features for pedestrian detection[J].Neurocomputing，2014，135(8)：357-366.

[3] DOLL?魣R P，APPEL R，KIENZLE W.Crosstalk cascades for frame-rate pedestrian detection[M].Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012：645-659.

[4] OUYANG W，WANG X.Single-pedestrian detection aided by multi-pedestrian detection[C].Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2013：3198-3205.

[5] OUYANG W，ZENG X，WANG X.Modeling mutual visibility relationship in pedestrian detection[C].IEEE Conference on Computer Vision & Pattern Recognition.IEEE，2013：3222-3229.

[6] ZHANG S，BAUCKHAGE C，CREMERS A B.Informed haar-like features improve pedestrian detection[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2014：947-954.

[7] YAN J，ZHANG X，LEI Z，et al.Robust multi-resolution pedestrian detection in traffic scenes[C].2013 IEEE Conference on Computer Vision and Pattern Recognition，2013：3033-3040.

[8] TIAN Y，LUO P，WANG X，et al.Pedestrian detection aided by deep learning semantic tasks[C].Computer Vision and Pattern Recognition.IEEE，2014：5079-5087.

作者信息:

歐中亞1，2，山田宏尚2

(1.河南經貿職業學院 信息管理系，河南 鄭州450046；2.日本岐阜大學 工學研究科，日本 岐阜5011193)