《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 其他 > 業(yè)界動態(tài) > 單目圖像序列中三維信息的提取算法及應(yīng)用

單目圖像序列中三維信息的提取算法及應(yīng)用

2008-04-10
作者:方曉瑩1,2,王小君2

  摘 要: 分析了三維信息的提取在視頻監(jiān)控系統(tǒng)中的重要性,指出了傳統(tǒng)標定算法的局限性。在線性攝像機模型基礎(chǔ)上,提出了一種基于圖像網(wǎng)格的非線性校正算法,完成對攝像機參數(shù)的標定,實現(xiàn)三維信息的重建。以實際交通錄像為仿真對象,證明了該算法的有效性。
  關(guān)鍵詞: 單目圖像 三維信息 非線性校正 單應(yīng)性矩陣


  近年來,應(yīng)用攝像機等視覺傳感器及計算機視覺" title="計算機視覺">計算機視覺理論對車輛進行識別與跟蹤在城市交通監(jiān)控中有較大的發(fā)展。它涉及到視頻信號的采集、視頻信息的處理與分析、計算機人工智能等。其中交通信息的采集與分析是最基礎(chǔ),也是最重要的環(huán)節(jié),需要根據(jù)圖像中的二維信息來提取實際空間中的三維信息。許多文獻中都提到了采用攝像機標定" title="攝像機標定">攝像機標定來完成從二維到三維的轉(zhuǎn)換[1~2],但傳統(tǒng)的標定算法都需要一個高精度的模板和不同角度的圖像。利用模板的精確數(shù)據(jù)" title="精確數(shù)據(jù)">精確數(shù)據(jù)與其圖像數(shù)據(jù)進行匹配來求得攝像機內(nèi)外參數(shù)的方法有較大的局限性。有些采用雙目方法來恢復(fù)三維信息[3~4],但需要在兩幅圖像之間進行相關(guān)匹配。如果同一幅圖像上有多處極為相似,則容易出現(xiàn)匹配錯誤,且該算法的耗時會影響監(jiān)控的實時性。本文提出了一種基于圖像網(wǎng)格的形變校正算法,由此計算單應(yīng)性矩陣,無需用到標定塊,從而實現(xiàn)在單目圖像序列中提取車輛三維信息。該方法在智能交通系統(tǒng)ITS(Intelligent Traffic System)中有較好的應(yīng)用。
1 系統(tǒng)概述
  本系統(tǒng)的信息流程圖如圖1所示。將由二維圖像獲取的信息,通過網(wǎng)格非線性校正算法計算從圖像平面到空間平面的變換系數(shù),即二維單應(yīng)性矩陣,由此進行對攝像機參數(shù)的標定,由內(nèi)外參數(shù)矩陣確定三維單應(yīng)性矩陣,即確定從二維圖像恢復(fù)到實際三維信息的變換關(guān)系。


2 攝像機成像幾何模型
  假定攝像機的成像模型為經(jīng)典的小孔成像模型[5],即只考慮線性模型,暫不考慮透鏡引起的畸變,具體的幾何模型如圖2所示。


  由攝像機的光軸" title="光軸">光軸與圖像平面組成的直角坐標系稱為攝像機坐標系。如圖2中的O-XcYcZc為攝像機坐標系,O為光學(xué)中心,Zc軸與光軸重合,O1-xy為圖像平面坐標系(坐標原點在圖像中心),O2-uv為以像素點為單位的圖像平面坐標系。在O-XcYcZc坐標系下,O1點的坐標為(0,0,f),f為攝像機的焦距,同時在O2-uv坐標系下O1點的坐標為(u0,v0)。
  設(shè)空間一點P在攝像機坐標系下的坐標為(XcYcZc),通過透視投影而在成像平面上生成的對應(yīng)像點的像素坐標為P′(u,v),兩者之間的比例關(guān)系用齊次坐標表示為:
  
  式中的su、sv分別為像素的寬度和高度,f、u0、v0、su、sv稱為攝像機的內(nèi)參數(shù)。
  由于攝像機可以安放在環(huán)境中的任何位置,所以應(yīng)在環(huán)境中選擇一個基準坐標系來描述攝像機的位置,該坐標系稱為世界坐標系。攝像機坐標系與世界坐標系之間的關(guān)系可以用旋轉(zhuǎn)矩陣R和平移向量μ來描述,因此空間點P在世界坐標系與攝像機坐標系下的齊次坐標之間有如下關(guān)系:
  
  其中,(X,Y,Z)為點P的世界坐標,R為3×3單位矩陣,μ為三維平移向量,OT=(0,0,0)。
  由式(1)、(2)可得點P的世界坐標與投影點P′的像素坐標之間的關(guān)系:
  
  M1只與攝像機的內(nèi)參數(shù)有關(guān),稱為內(nèi)參數(shù)矩陣,M2與攝像機的外參數(shù)有關(guān),稱為外參數(shù)矩陣,則式(3)可表示為:
  
  由上式可知,只要標定了攝像機的內(nèi)外參數(shù)后,即可建立圖像點的像素坐標與實際點的世界坐標之間的關(guān)系。
  將外參數(shù)矩陣中的旋轉(zhuǎn)向量R表示為:
  R=[r1,r2,r3]
  其中r1,r2,r3均是3×1的矩陣,則可將式(4)表示為:
  
  在不失問題一般性的情況下,先假設(shè)標定物體位于世界坐標系中Z=0的平面內(nèi),則上式簡化為:
  
  傳統(tǒng)的標定方法中,在實際場景中設(shè)定一個高精度的標定塊,利用標定塊上點的精確數(shù)據(jù)與其圖像中的數(shù)據(jù)進行匹配,得到單應(yīng)性矩陣H。本系統(tǒng)中的單應(yīng)性矩陣H由基于網(wǎng)格的非線性校正算法求得。
3 基于網(wǎng)格的非線性校正算法
  在所攝取的圖像上建立坐標系,規(guī)定圖像的左上角頂點為坐標原點,如圖3所示。根據(jù)道路的交通標志" title="交通標志">交通標志線設(shè)定圖像中的網(wǎng)格線,對應(yīng)到實際道路中的網(wǎng)格線和坐標系,如圖4所示。通過在圖像上取點獲取像素坐標可以計算出圖像網(wǎng)格中每條直線的方程,從而可得到各直線的交點坐標。在實際道路中由道路的寬度和交通標志線來確定實際道路網(wǎng)格的交點坐標。這兩類交點坐標之間有一一對應(yīng)的關(guān)系,根據(jù)這些點坐標的對應(yīng),可以找到一個函數(shù)關(guān)系來反映圖像中所有點的坐標到實際坐標的映射。


  由于圖像上不同位置的點發(fā)生非線性形變的程度不同,如果所有的點都對應(yīng)同一個映射關(guān)系,則不能保證校正的準確性。為了使坐標的變換更為準確,可以在圖像上和實際道路中建立小網(wǎng)格模型。在圖像中的每個網(wǎng)格上取若干個點,分別對應(yīng)到實際網(wǎng)格的若干個點上,由這些點的坐標對應(yīng)關(guān)系建立每個網(wǎng)格的坐標映射函數(shù)。在本算法中,將各網(wǎng)格分成9個小格,取其邊界和中心的16個點進行映射。這樣,在進行非線性坐標變換時,首先判斷被計算點所處的網(wǎng)格位置,再選擇相對應(yīng)的映射函數(shù)進行變換。
  由于精確的函數(shù)難以求得,故采用近似的方法盡可能地逼近所求函數(shù)。在此校正算法中,采用最小二乘法[6]的曲線進行擬合。這里取基底函數(shù)Φ=Span{X,Y,1},所求的逼近函數(shù)用矩陣表示為:
  

  
  其中m為網(wǎng)格中的交點數(shù),交點數(shù)越多擬合得越精確。
4 攝像機參數(shù)的確定
  在上面的算法中已經(jīng)得到二維單應(yīng)性矩陣,其中旋轉(zhuǎn)矩陣的各旋轉(zhuǎn)分量互相正交[7],所以r1×r2=0,于是可得到:

  要求得攝像機的內(nèi)參數(shù)首先需要確定B的6個變量。對于確定的攝像機,分辨率是已知的,所以成像中心的像素值(u0,v0)可以得到。將矢量b表示為:
  
  所以只要確定兩個未知量就行了。將矩陣H的第i列矢量表示為:

  其中vij為6×1矩陣,各元素由已經(jīng)求得的單應(yīng)性矩陣的元素決定:
  
  于是就完成了攝像機參數(shù)的標定,確定了三維單應(yīng)性矩陣,實現(xiàn)由二維信息到三維信息的變換。
5 實驗結(jié)果及在視頻監(jiān)控中的應(yīng)用
  為了驗證上述算法的有效性,將其應(yīng)用于交通視頻監(jiān)控系統(tǒng)中,以準確提取車輛信息。以上海某外環(huán)高架路段為測試對象,測試時間為2005年7月26日下午2:20~2:40,所用攝像機分辨率為1024×768。由本算法計算得到的內(nèi)外參數(shù)分別如表1、表2所示。其中,fu、fv分別為攝像機在橫向與縱向上的焦距,(u0,v0)為成像中心點的像素坐標,r1,r2,r3為攝像機外參數(shù)中的旋轉(zhuǎn)向量,μ為外參數(shù)中的平移向量。


  由此對進入系統(tǒng)所設(shè)定的檢測區(qū)域內(nèi)的車輛計算三維信息,在后續(xù)幀中根據(jù)這些信息對車輛進行識別與跟蹤。部分跟蹤效果如圖5所示(對尚未進入或已經(jīng)出了檢測區(qū)域的車輛不進行跟蹤)。


  由圖5可以看出,由該算法提取的車輛信息較為準確,能對各車輛進行有效識別與跟蹤,且完全能滿足實時監(jiān)控的需要。
  本文提出了一種從單目圖像序列中有效提取三維信息的算法,由基于網(wǎng)格的非線性校正算法求得單應(yīng)性矩陣以完成對攝像機的標定。將該算法應(yīng)用于實際交通錄像,其實驗結(jié)果表明算法具有較高的準確度,且運行速度較快,能滿足視頻監(jiān)控的實時性要求,在ITS中有較好的應(yīng)用前景。
參考文獻
1 馬頌德,張正友.計算機視覺——計算理論與算法基礎(chǔ)[M].北京:科學(xué)出版社,1998
2 全紅艷,張?zhí)镂?一種新的利用模板進行攝像機自標定的方法[J].電子學(xué)報,2005;33(11):1941~1945
3 蔡健榮,趙杰文.雙目立體視覺系統(tǒng)攝像機標定[J].江蘇大學(xué)學(xué)報(自然科學(xué)版),2006;27(1):6~9
4 張劍清,張春森,賀少軍.雙目序列影像三維運動參數(shù)確定[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2006;31(1):43~46
5 Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000;22(11):1330~1334
6 沈劍華.數(shù)值計算基礎(chǔ)[M].上海:同濟大學(xué)出版社,1999
7 Meng X Q,Li H,Hu Z Y.A new easy camera calibration technique based on circular points[A].In:Proceedings of the british machine vision conference[C],2000:496~501

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美一区视频| 亚洲娇小video精品| 亚洲国产高潮在线观看| 国产日韩欧美成人| 国产精品高潮呻吟久久| 欧美激情一区三区| 女女同性精品视频| 久久人人爽人人| 久久久噜噜噜久久中文字幕色伊伊 | 亚洲永久精品国产| 一本色道精品久久一区二区三区 | 亚洲国产成人高清精品| 一区福利视频| 樱桃成人精品视频在线播放| 狠狠久久亚洲欧美专区| 韩日视频一区| 亚洲福利视频一区二区| 亚洲激情不卡| 亚洲精品在线观看视频| 日韩视频一区二区| 一区二区三区精品久久久| 亚洲视频一区在线观看| 亚洲午夜高清视频| 亚洲一区二区三区四区五区午夜| 亚洲一区二区三区午夜| 午夜精品亚洲| 久久国产福利| 亚洲精选一区| 一区二区欧美在线| 亚洲自拍偷拍网址| 欧美一级电影久久| 久久久久久久久久码影片| 久久亚洲国产成人| 欧美黄色视屏| 国产精品大全| 国产亚洲第一区| 亚洲福利视频免费观看| 日韩一区二区高清| 中文在线不卡视频| 亚洲女人天堂av| 久久精品一区二区国产| 日韩视频在线观看一区二区| 亚洲自拍偷拍福利| 久久久免费观看视频| 欧美国产欧美亚洲国产日韩mv天天看完整 | 国产精品美女999| 国产亚洲aⅴaaaaaa毛片| 影音欧美亚洲| 中国亚洲黄色| 久久精品欧美日韩| 夜夜精品视频| 久久精品国产第一区二区三区最新章节 | 亚洲自拍另类| 最新高清无码专区| 亚洲欧美精品suv| 久久综合九色综合欧美狠狠| 欧美激情亚洲| 国产伦精品一区二区三区视频孕妇| 伊人久久大香线蕉av超碰演员| 亚洲精品在线观看视频| 欧美一区二区三区日韩| 一本色道久久88综合亚洲精品ⅰ| 午夜精品视频一区| 农夫在线精品视频免费观看| 欧美性事免费在线观看| 精品不卡一区| 亚洲一区图片| 亚洲美女视频网| 欧美在线观看视频在线 | 国产精品私房写真福利视频 | 韩国福利一区| 亚洲九九精品| 久久国产综合精品| 亚洲视频欧美视频| 老牛国产精品一区的观看方式| 欧美午夜不卡在线观看免费| 激情偷拍久久| 亚洲欧美另类国产| 日韩午夜在线播放| 久久久久久久一区| 国产精品久久久久秋霞鲁丝| 亚洲国产综合91精品麻豆| 香蕉亚洲视频| 亚洲专区在线| 欧美激情一区在线| 在线不卡欧美| 午夜精品一区二区三区四区| 在线中文字幕一区| 欧美mv日韩mv亚洲| 国产自产高清不卡| 亚洲嫩草精品久久| 亚洲午夜电影在线观看| 欧美刺激午夜性久久久久久久| 国产一区二区久久| 亚洲在线黄色| 亚洲在线中文字幕| 欧美日本韩国| 亚洲福利在线看| 亚洲国产精品激情在线观看| 欧美一区二区国产| 国产精品分类| 一本色道久久综合亚洲二区三区| 亚洲精品一区二区三区婷婷月| 久久伊人免费视频| 国产日韩欧美亚洲一区| 亚洲午夜三级在线| 亚洲一区日韩| 国产精品va在线播放| 亚洲另类在线视频| 日韩一级二级三级| 欧美成人免费在线视频| 1024欧美极品| 亚洲日韩成人| 免费91麻豆精品国产自产在线观看| 国产丝袜美腿一区二区三区| 亚洲欧美日韩综合| 午夜亚洲福利在线老司机| 国产精品mm| 亚洲性xxxx| 欧美一区二区三区精品| 国产精品资源在线观看| 亚洲欧美日韩国产综合| 午夜精品久久久久久久99樱桃 | 欧美日韩国产三区| 亚洲精品乱码久久久久| 999在线观看精品免费不卡网站| 欧美国产日韩在线观看| 亚洲国产导航| 亚洲久久在线| 欧美精品97| 99在线热播精品免费99热| 亚洲私拍自拍| 国产精品视频九色porn| 亚洲影院色无极综合| 欧美在线观看一区| 国产一区二区三区不卡在线观看| 欧美一区二区私人影院日本| 久久一二三四| 亚洲国产欧美一区二区三区久久| 亚洲免费成人av| 欧美日韩在线观看一区二区三区| 亚洲天堂激情| 久久精品视频在线观看| 国产综合香蕉五月婷在线| 亚洲精华国产欧美| 欧美日韩国产一区二区| 亚洲特级毛片| 久久久亚洲欧洲日产国码αv | 亚洲欧美成aⅴ人在线观看| 国产精品美女999| 欧美一区二区视频网站| 美女黄毛**国产精品啪啪| 亚洲国产aⅴ天堂久久| 在线亚洲成人| 国产日产欧产精品推荐色 | 亚洲日本一区二区三区| 亚洲午夜精品17c| 国产伦精品免费视频| 久久精品国产久精国产爱| 欧美国产另类| 亚洲图片欧美午夜| 老牛影视一区二区三区| 日韩天堂在线视频| 久久成人在线| 亚洲欧洲综合另类| 性欧美办公室18xxxxhd| 在线观看91久久久久久| 一区二区欧美精品| 国产亚洲欧美色| 一区二区三区日韩欧美| 国产日韩欧美综合| 日韩视频第一页| 国产精品亚洲综合天堂夜夜| 亚洲国产精品va在看黑人| 欧美日韩视频在线| 欧美一区二区黄色| 欧美激情视频一区二区三区不卡| 亚洲一区在线看| 免费在线成人| 亚洲欧美日韩网| 欧美精品三级日韩久久| 欧美一区二区精美| 欧美日韩国产首页| 久久精品视频在线看| 国产精品成人aaaaa网站| 亚洲二区视频在线| 国产精品美女午夜av| 亚洲乱码精品一二三四区日韩在线 | 欧美在线视频免费观看| 欧美黑人一区二区三区| 亚洲欧美一区二区原创| 欧美成人在线网站| 午夜精品在线观看| 欧美日韩一区二区视频在线| 亚洲福利在线看| 国产伦精品一区二区三区| 一区二区激情小说| 在线成人欧美| 久久精品国产99| 一区二区三区欧美激情|