摘 要： 針對目前圖像拼接算法存在對于圖像配準過程中對應特征點對難以準確匹配的問題，提出了一個通過改進的SURF算法提取圖像特征點，然后對得到的特征點進行描述，利用快速RANSAC算法配準圖像，最后采用像素加權的方法進行圖像融合。實驗結果表明，提出的改進SURF方法有效地提高了特征點提取的準確性，去除了錯誤的匹配點對，將整個拼接過程的效率從之前的13.03對/秒提升到15.20對/秒。
關鍵詞： 特征提取；圖像拼接；SURF；對稱性
0 引言
在日常生活中人們往往需要一幅大范圍的全景圖像，以此來獲得更多的信息。然而，由于鏡頭拍攝角度的局限性，一般只能得到局部的圖像，而全景成像的硬件設備一般比較昂貴。所以，人們就想利用多幅圖像拼接成一幅大的圖像，這樣就可以獲取寬視角、高分辨率的全景圖像。圖像拼接本質上是對待拼接圖像的重疊部分進行圖像配準和圖像融合，其一般步驟是：（1）獲取圖像序列；（2）圖像預處理，去除噪聲和圖像畸變校正；（3）圖像配準，用算法對圖像進行配準定位，是圖像拼接的關鍵步驟；（4）圖像融合，消除拼接的接縫；（5）輸出拼接完成的圖像[1-2]。
當前圖像拼接的方法主要是包括基于區域的方法和基于特征的方法。基于區域的方法應用重疊區域的所有信息進行計算，因此，它的精度比較高。但是，該方法要使用大量的像素信息，因此計算量很大，并且對光照很敏感[1]。而基于特征的方法則是利用兩幅圖像重疊區域的點、線或者其他的特征信息來估算兩幅圖像的對應關系。目前，基于不變特征的物體匹配、識別的研究比較多，比如SIFT算法和SURF算法[3-4]。這些不變特征對于尺度、旋轉、光照都具有很高的魯棒性。對于SIFT算法，其特征描述向量維度（128維）較高，計算量較大[5]。而SURF算法是一種快速魯棒性算法，其特征描述向量維度（64）也相對較高[6]。針對特征描述符維度高、計算量大的情況，本文提出了一種改進的SURF算法。該方法主要是將對稱性得分加入到SURF算法的框架中，其中對稱性得分就是指每個特征點和其鄰域內點的像素值之差求和。用對稱性得分的最小值來表示特征描述符，降低了特征描述的維度，提高了算法的效率。通過對采用算法改進前后特征點對匹配結果進行的對比實驗，從特征點對提取數量、時間、匹配率驗證了本算法的正確性。
1 SURF算法的介紹及其改進
1.1 特征點的提取與匹配
基于特征的圖像拼接算法對于特征點提取的效率和精確度要求比較高。傳統SURF算法使用64維的特征向量作為后期進行特征匹配的向量，雖然比SIFT算法計算量小、速度快，但是計算效率還不是很高，并且對于特征點的提取精確度不高降低了圖像拼接的效率。所以，本文提出了一種改進的SURF算法，使用局部對稱性來表示特征向量，而對稱性具有尺度、旋轉和光照的不變特性。首先，根據Hessian矩陣求出圖像的SURF特征點：
其中，是二階高斯導數g與圖像在p點處的卷積，由上式可以得到Hessian矩陣的行列式如式（2）所示。
det（H）=LxxLyy-L2xy（2）
通過Hessian矩陣行列式的計算可以初步得到SURF算法的特征點。
對于SURF特征向量使用箱式濾波器（如圖1所示）近似代替二階高斯導數，用積分圖像來加速卷積運算，因此提高了Hessian矩陣的計算效率[6-7]。實驗中使用9×9的箱式濾波器來提取局部最大值[8]，因此，式（2）可以寫成：
det（Happrox）=Dxx×Dyy-（0.9Dxy）2（3）
其中，Dxx、Dxy、Dyy、Dxy分別近似代替Lxx、Lyy、Lxy。如果det為負值，并且特征值是異號，那該點就不是局部極值點；如果det為正值，并且特征值同號，則該點為局部極值點。
其次，當提取到SURF特征點后，就需要對特征點進行特征向量的描述，以便于后期的特征匹配。對于局部圖像區域中的任意一點p（x，y），如果關于一條直線是滿足軸對稱，則可以得到如下公式：
I（x+x′，y）=I（x-x′，y）
I（x，y+y′）=I（x，y-y′）（4）
其中，x′和y′表示點p到對稱軸的距離。為了計算對稱性得分，定義一個函數Mp，q（q），它表示圖像上的點q（x，y）關于對稱軸的對應點p（x，y）。如果對于圖像上p點的局部區域表現出軸對稱的屬性，就會有I（q）=I（Mp，q（q））。
以p點為圓心，6 s（s代表當前圖像尺度）為半徑定義一個圓，則對于點p和其鄰域范圍內的任意一點之間的圖像強度差異函數可以定義為：
d（p，q）=|I（p）-I（q）|（5）
接下來，使用高斯模板來定義一個權重函數（r），它決定了p點周圍的鄰域點對對稱性得分的貢獻值。其中，r代表鄰域點到p點的距離，代表權重模板的尺度[9]。最后，計算60°區域的扇形窗口內所有點的距離，使用最小距離SD作為一個向量：
最后，以p點為中心定義一個邊長為20 s的正方形區域，將它進一步分成4×4的子區域，對于每一個子區域計算它在5 s尺度的最小距離SD。因此，對于4×4的子區域，最終將形成16維的特征向量。在匹配階段，使用歐式距離來求取兩個特征向量的相似度。一個n維的歐式距離函數表示如下：
其中，xi1表示第一個點的第i維的坐標，xi2表示第二個點的第i維坐標，i=1，2，…16。
當計算出的閾值接近之前設定的閾值，就可以得到兩個點匹配。由于這個向量是16維的，最多只需要計SDmin16次，因此整個匹配的速度與原始SURF算法相比有了提升。
1.2 圖像拼接和融合
通過提取到的特征點對，計算出兩幅圖像對應的單應性矩陣。把輸入圖像按照單應性矩陣映射到參考圖像中，就完成了圖像的拼接[10]。對于圖像融合采取最基本的取兩張圖像的平均值，但是這樣會有明顯的拼接縫[11]。使用如下公式計算重疊區域的像素值：
其中，d1、d2分別代表重疊區域中的點到重疊區域左邊界和右邊界的距離，img1pixel、img2pixel分別代表重疊區域左邊圖像和右邊圖像的對應像素點的像素值。經過式（8）的計算，就可以實現平滑過渡。
2 實驗結果及結論
本實驗是在Win XP、主頻1.83 GHz、CPU和內存 1 GB的主機上運行的，使用VS2008+OpenCV來實現圖像拼接算法。實驗中的圖像尺度大小為640×480。本次實驗用來驗證算法改進前后特征點對匹配的情況，如圖2、圖3所示。
圖2、圖3中，圖（a）表示從圖像中提取的待匹配的特征點，而圖（b）表示兩幅圖像對應的特征點匹配對。從圖2和圖3的對比實驗來看，圖2原始SURF算法提取的特征點對相比圖3改進后的SURF算法要多，但是原始算法提取的特征點對存在錯誤的匹配對，而且從特征點對提取的效率來看，原始SURF算法要比改進后的SURF算法低，如表1所示。
最終，圖像的拼接結果如圖4所示。
3 結論
本文主要是對原始SURF算法在特征提取階段采用對稱性的特征，這種對稱性具有旋轉、尺度不變性，對光照也有很強的魯棒性。從實驗結果來看，本文算法將提取的特征點對數目從132對減少到71對，相應的特征匹配時間從10.13 s減少到4.67 s，而算法的效率從13.03對/秒提高到15.20對/秒。因此，實驗結果表明，文中提出的方法有效地提高了特征點提取的準確性和整個拼接過程的效率。
參考文獻
[1] 徐正光，田清，張利欣.圖像拼接方法探討[J].微計算機信息，2006，22（30）：255-256.
[2] MATTHEW B， DAVID G. L. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision， 2007：59-73.
[3] 鄭海珍.圖像拼接技術的研究與應用[D].杭州：杭州電子科技大學，2009.
[4] 蔡麗歡，廖英豪，郭東輝.圖像拼接方法及其關鍵技術研究[J].計算機技術與發展，2008，18（3）：1-5.
[5] Jing Xing， Miao Zhenjiang. An improved algorithm on image stitching based on SIFT features[C]. ICICIC′07， Second Internation Conference on Innovative Computing， Information and Control， 2007：453-456.
[6] BAY H， TUYTELAARS T， VAN GOOL L. SURF： speeded up robust features[C]. European Conference on computer Vision， 2006：404-417.
[7] 周軍太，龍永紅.一種改進SURF算法的圖像配準[J].湖南工業大學學報，2011，25（2）：95-99.
[8] PARK H， MITSUMINE H， FUJII M. Fast detection of features by reducing the number of box filtering in SURF[C]. IEICE ransactions on Information and Systems， 2011，725-728.
[9] HAUAGGE D C， SNAVELY N. Image matching using local symmetry features[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2012：206-213.
[10] Yi Zhuang， Hu Xinrong， Wang Jianchun. The implenment of an image stitching algorithm based on feature extraction[C]. International Conference on Education Technology and Training， 2009：327-330.
[11] 李柏林.基于特征點圖像拼接的配準算法研究[D].天津：天津大學，2008.