《電子技術(shù)應用》
您所在的位置:首頁 > 測試測量 > 設計應用 > 基于方向引導優(yōu)化的視覺導航方法
基于方向引導優(yōu)化的視覺導航方法
2018年電子技術(shù)應用第2期
姜德晶1,孫 濤1,2,秦錄芳1
1.徐州工程學院 機電工程學院,江蘇 徐州221111;2.南京航空航天大學 機電學院,江蘇 南京210016
摘要: 為解決主動視覺導航在復雜路況條件下精度較差的問題,提出了一種基于方向引導優(yōu)化的主動視覺導航參量計算方法。首先,建立了車輛物理坐標系與視覺圖像坐標系的變換方程,通過Canny算子對視頻圖像進行初步的車道邊緣線和道路標志線檢測;接著,基于方向引導優(yōu)化有效降低了陰影、積水等雜波對檢測性能的干擾,并通過閾值優(yōu)化的廣義Hough變換實現(xiàn)車道線的內(nèi)外邊緣及道路標志線的精確檢測;最后,基于檢測結(jié)果計算出用于導航的中心引導線、偏離角度、距離等參量。實驗結(jié)果表明,該方法能夠有效且精確地獲取主動導航系統(tǒng)的偏移參量。
中圖分類號: TN94;TP242
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.172745
中文引用格式: 姜德晶,孫濤,秦錄芳. 基于方向引導優(yōu)化的視覺導航方法[J].電子技術(shù)應用,2018,44(2):52-54,58.
英文引用格式: Jiang Dejing,Sun Tao,Qin Lufang. Direction guided optimization based vision navigation method[J]. Application of Electronic Technique,2018,44(2):52-54,58.

Direction guided optimization based vision navigation method
Jiang Dejing1,Sun Tao1,2,Qin Lufang1
1.School of Mechanical and Electrical Engineering,Xuzhou Institute of Technology,Xuzhou 221111,China; 2.College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics & Astronautics,Nanjing 210016,China
Abstract: In order to solve the problem of poor precision of active vision navigation in complex road conditions, a new direction guided optimization based vision navigation method is proposed. Firstly, the transformation equations of the vehicle physical coordinate system and the visual image coordinate system are established, and the detection of video image by Canny operator is proposed. Secondly, the shadow and water clutter on the detection performance interference is reduced based on the direction optimization, and the road sign line, inner and outer edge are accurately detected based on the generalized Hough transform threshold optimization. Finally, the center guide line for navigation, the deviation angle and the distance are calculated based on the test experiment. The experimental results show that the proposed method can effectively and accurately obtain the offset parameters of active navigation system.
Key words : computer vision;active navigation;road edge detection;road mark detection;offset parameter

0 引言

    基于計算機視覺技術(shù)的視覺導航技術(shù)是人工智能領(lǐng)域的研究重點和熱點[1]。同傳統(tǒng)的衛(wèi)星定位(GPS)導航技術(shù)相比,基于視覺的導航方法具有實現(xiàn)方式靈活、性價比高、實時性好、導航快速精確等優(yōu)點[2-3]。但是,現(xiàn)有的視覺導航系統(tǒng)多數(shù)都是基于固定攝像機的限定視角導航方法,這類導航系統(tǒng)只能適用于在直線行駛或者小彎度行駛情況,一旦出現(xiàn)大彎度轉(zhuǎn)彎,道路會偏離攝像機視場,導致路徑導航線丟失、導航失效[4-5]。為改善這種視角范圍的局限,傳統(tǒng)解決方法主要是將固定的攝像機改為廣角鏡頭攝像機,增大視場范圍[6],但是廣角攝像機的圖像畸變嚴重,對圖像前期的處理精度和速度的要求嚴格,同時,增加了大量的圖像干擾信息,為后續(xù)的圖像處理增加了較大的難度。近年來,有學者提出了一種主動視覺智能導航方法[7],借鑒人類觀察道路時的眼球轉(zhuǎn)動機理,將攝像機安裝在可旋轉(zhuǎn)控制云臺系統(tǒng)上,通過一定的反饋控制,實時修正攝像機焦點和行駛路線正前方的夾角,保證行駛路線一直處于攝像機視角范圍內(nèi)。由于該方法在保證視角清晰的前提下,大幅擴展了攝像機的視角范圍,近年來在目標跟蹤[8]、人臉檢測[6]等領(lǐng)域得到了較多的研究和應用。其中,如何精確獲取導航參量是主動視覺導航系統(tǒng)的關(guān)鍵問題之一[9]。傳統(tǒng)的計算方法主要通過預先設置的高精度標定參照物,通過空間圖像和平面圖像的有效映射關(guān)系求取相關(guān)的參量值,該類方法標定精度高,但是應用范圍有限且標定復雜,不利于變化場景的導航[10]。文獻[11]提出了基于視覺圖像的自計算方法,該方法通過前端獲取的視頻幀圖像進行系統(tǒng)參量的計算,利用Kruppa方程和分層逐步標定的方式實現(xiàn)了導航參量的計算,該方法靈活性強、使用范圍較廣,但是計算精度和魯棒性較差,在背景存在干擾的情況下計算誤差較大,甚至引起導航失敗[12]。文獻[13]利用相機進行可控運動,通過約束運動的性質(zhì)來實現(xiàn)導航參量的計算,提升了主動視覺導航的參量計算精度和魯棒性。在此基礎上,先后發(fā)展出了旋轉(zhuǎn)計算方法[14]、平面正交計算方法[15]以及基于無窮遠平面單應性矩陣[16]的計算方法。該類方法計算精度高、魯棒性好,但是該類方法需要計算的參量過多且計算復雜,在實時導航系統(tǒng)中很難應用。文獻[17]在此基礎上進一步對計算復雜性進行優(yōu)化,利用二維頻移運動的相對計算方法求解線性模型的部分參數(shù),并通過畸變的方法引入非線性優(yōu)化,有效地簡化了計算過程,但是這種非線性畸變的過程對系統(tǒng)的初值和噪聲都非常敏感,計算穩(wěn)定性較差。

    針對這些問題,本文提出了一種基于方向引導優(yōu)化的主動視覺導航參量計算方法。該方法的實現(xiàn)過程可以大致概括為三個步驟:(1)坐標系的變換。為了實現(xiàn)理論計算與實際導航系統(tǒng)的高精度擬合,首先給出了車輛物理坐標系與視覺圖像坐標系的變換方程。(2)車道邊緣線的精確檢測。精確地獲取車道邊緣線是進行視覺導航的前提,為了解決道路積水、陰影等背景干擾問題,在傳統(tǒng)Canny算子初步檢測的基礎上,提出了方向引導優(yōu)化的方法。(3)大曲率彎道線精確檢測問題。為了保證在大曲率轉(zhuǎn)彎情況下車道線的精確檢測問題,在前期優(yōu)化的基礎上,提出了基于直線與曲線閾值優(yōu)化的廣義Hough變換方法,對不同曲率的線段進行優(yōu)化選擇,精確檢測道路標志線和邊緣線,實時計算和修正導航中心引導線的偏離角度。

1 坐標變換

    坐標變換是進行視覺導航實現(xiàn)的首要條件,為了實現(xiàn)圖像坐標與實際車輛物理坐標的意義映射,本文基于車輛行駛的實際道路環(huán)境構(gòu)建坐標系,將攝像機中心定為坐標原點,X軸為車輛行駛方向,Y軸為行駛方向的正左方,將控制云臺的縱向軸設置為Z軸。為便于后續(xù)云臺控制的分析,將車輛物理坐標系獲取的圖像表示為(xr,yr,zr),相應的像素坐標系可以表示為(u,v),圖1表示了坐標變換前后之間的關(guān)系,具體的變換關(guān)系計算如下[10]

ck4-gs1.gif

ck4-t1.gif

    由于車輛導航過程中需要檢測的道路標志線一直處于平面狀態(tài)(zr=0),為方便計算,可將坐標系重新修正為xrOyr坐標系,將式(1)重新計算為:

ck4-gs2-3.gif

2 道路邊緣檢測及方向引導優(yōu)化實現(xiàn)

2.1 方向引導優(yōu)化實現(xiàn)

    首先通過Canny算進行初步檢測,獲取圖像邊緣信息以后,保留圖像中的輪廓信息,但是由于陰影、積水和路面裂縫等路面特征的干擾,導致雜波輪廓信息同樣得到了保留,因此,該部分主要采用方向引導搜索優(yōu)化去除陰影干擾[14]。假設攝像機前端獲取的圖像被劃分為3×3圖像塊,當前像素點(如圖2(a)中的灰色中心點)具有8個鄰接的像素。為說明搜索的方向性,假設目前的像素處于左車道,則車輛行駛的方向只有3個方向,如圖2(a)所示。同樣,處于右車道也具有3個行駛方向,如圖2(b)所示。

ck4-t2.gif

    根據(jù)車輛在道路上的行駛規(guī)則,可以定義為最優(yōu)選擇方向為90°、次優(yōu)選擇為45°、級別最低為0°,以車輛在左邊車道行駛為例給出搜索過程描述如下[15]

    (1)以圖像的左下角為參考進行平面掃描,如果當前像素判定為邊緣,記錄并創(chuàng)建候選線段;否則,繼續(xù)掃描直到找到邊緣點,并執(zhí)行第(2)步。

    (2)根據(jù)方向優(yōu)先原理進行掃描,判定邊緣點在3個方向中的位置并記錄坐標,繼續(xù)掃描,直到結(jié)束;如果3個方向均未掃描到邊緣點,則跳轉(zhuǎn)第(3)步。

    (3)遍歷整幅圖像,尋找新的邊緣點,直到結(jié)束。

    上面的方向優(yōu)先搜索完成以后,可以建立線段集合,并記錄每一條線段的起始坐標。

2.2 導航參量的計算

    在2.1小節(jié)檢測的基礎上,為進一步精確引導車輛的行駛,需基于檢測的邊緣線和道路標志線進行導航中心引導線的提取以及偏離角度的計算。首先采用圖像重心分割的方法獲取精確的導航引導線[16],具體如圖3所示。

ck4-t3.gif

    通過計算兩個標志線以內(nèi)的圖像(包括邊緣線與標志線以內(nèi)的圖像,主要是機器人行駛路線所在的邊界標志)的重心,基于中心的縱坐標進行二次分割,獲取上下圖像的中心A和B點,直線AB即為機器人行駛區(qū)域內(nèi)的中心引導線。如圖3(b)所示,O為該幀圖像的整體重心,I1和I2主要用于偏離角度的計算。具體的計算過程如圖4所示。

ck4-t4.gif

    為計算機器人的行駛偏角及偏距,在獲取機器人引導線以后,利用線段端點坐標及長度畫圓,并結(jié)合線段另一端點像素所在的坐標位置,計算引導線的偏角。實驗中,首先將機器人放置在行駛的路段進行引導線初始化,利用圖3(a)擬合道路引導線,進而基于圖3(b)計算引導線的線性方程,并確定其具體的位置m。以相機為O點,基于I1和I2計算機器人的位置偏移D和偏角α。

3 實驗與結(jié)果分析

    為驗證本文方法的有效性,該部分主要針對路況復雜的彎道行駛進行分析,視頻幀圖像大小為400像素×300像素。圖5(a)所示為在校園內(nèi)彎道測試實驗現(xiàn)場獲取的彎道導航圖像,圖5(b)為本文優(yōu)化后的檢測結(jié)果。

ck4-t5.gif

    表1為彎道視頻幀序列計算結(jié)果平均比較結(jié)果,從表中可以看出在彎道行駛情況下,3種方法的計算精度均有所下降,其中,文獻[13]和文獻[17]的性能明顯變差,而本文方法針對該序列的計算精度仍然保持了相當高的精度,平均偏航角度的計算誤差控制在1.5°以內(nèi),平均行駛偏距控制在5個像素左右。

ck4-b1.gif

4 結(jié)論

    本文主要針對主動視覺導航系統(tǒng)參量的計算方法展開研究,提出了一種基于方向引導優(yōu)化的主動視覺導航參量計算方法。該方法是在文獻[13]的基礎上進行優(yōu)化和改進,利用主動視覺相機的運動可控性進行參量的計算。通過對傳統(tǒng)Canny算子檢測結(jié)果進行方向引導優(yōu)化以后,明顯降低了道路陰影、路面積水等雜波的干擾,在此基礎上,進一步采用閾值優(yōu)化的廣義Hough變換方法對檢測結(jié)果進行分類優(yōu)化,實現(xiàn)車道線的內(nèi)外邊緣及道路標志線的精確檢測。實驗結(jié)果表明,本文方法在彎道行駛情況下導航參量的計算精度明顯提升,具有優(yōu)秀的性能指標。

參考文獻

[1] 姬長英,周俊.農(nóng)業(yè)機械導航技術(shù)發(fā)展分析[J].農(nóng)業(yè)機械學報,2014,45(9):4-54.

[2] 李林,魏新華,朱文靜,等.機器視覺輔助導航系統(tǒng)研究[J].農(nóng)業(yè)機械學報,2015,46(5):1-7.

[3] 張志斌,羅錫文,周學成,等.基于Hough變換和Fisher準則的壟線識別算法[J].中國圖象圖形學報,2007,12(12):2164-2168.

[4] GUERRERO J M,GUIJARRO M,MONTALVO M,et al.Automatic expert system based on images for accuracy crop row detection in maize fields[J].Expert Systems with Applications,2013,40(2):656-664.

[5] WALKER J S,CHEN Y J.Image denoising using tree base wavelet subband correlation and shrinking[J].Optical Engineering,2000,39(11):2900-2908.

[6] Ji Wei,Zhao Dean,Cheng Fengyi,et al.Automatic recognition vision system guided for apple harvesting robot[J].Computers and Electrical Engineering,2012,38(5):1186-1195.

[7] Li Bin,Wang Maohua.In-field recognition and navigation path extraction for pineapple harvesting robots[J].Intelligent Automation & Soft Computing,2013,19(1):9-20.

[8] Wei Xiangqin,Jia Kun,Lan Jinhui,et al.Automatic method of fruit object extraction under complex agricultural back-ground for vision system of fruit picking robot[J].Optik International Journal for Light and Electron Optics,2014,125(19):5684-5689.

[9] Tang Jinglei,Jing Xu,He Dongjian,et al.Visual navigation control for agricultural robot using serial BP neural network[J].Transactions of the Chinese Society of Agricultural Engineering,2011,27(2):194-198.

[10] 李景彬,陳兵旗,劉陽.棉花鋪膜播種機導航路線圖像檢測方法[J].農(nóng)業(yè)機械學報,2014,40(1):40-45.

[11] 張征明,盧偉,陸靜霞.基于快速偽球濾波的智能拖拉機視覺導航中場景去霧方法[J].機器人,2015,37(5):603-613.

[12] 李顥,楊明.基于非線性逆透視變換的攝像機畸變參數(shù)標定[J].上海交通大學學報,2008,42(10):1136-1139.

[13] Su Jianbo.Camera calibration based on receptive fields[J].Pattern Recognition,2007,40(10):2837-2845.

[14] DANG T,HOFFMANN C,STILLER C.Continuous stereo self-calibration by camera parameter tracking[J].IEEE Transactions on Image Processing,2009,18(7):1536-1550.

[15] 胡占義,吳福朝.基于主動視覺攝像機標定方法[J].計算機學報,2002,25(11):1149-1156.

[16] BAKKER T,WOUTERS H,ASSELT K V,et al.A vision based row detection system for sugar beet[J].Computers and Electronics in Agriculture,2008,60(1):87-95.

[17] 朱嘉,李醒飛,徐穎欣.攝像機的一種主動視覺標定方法[J].光學學報,2010,30(5):1297-1303.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲精品欧美激情| 亚洲免费小视频| 国产精品女人毛片| 欧美日韩国产小视频| 免费在线欧美视频| 美日韩精品免费观看视频| 久久精品论坛| 久久er精品视频| 香蕉久久夜色精品| 午夜精品亚洲一区二区三区嫩草| 一区二区三区蜜桃网| 99精品视频免费全部在线| 亚洲精品色图| 日韩网站在线| 这里只有精品电影| 亚洲视频一区二区| 亚洲一区黄色| 国产欧美日本| 国产精品成人一区二区网站软件 | 一区二区三区精品| 一区二区免费看| 亚洲视频欧美在线| 亚洲五月婷婷| 亚洲欧美中文另类| 欧美在线观看你懂的| 久久精品国产v日韩v亚洲| 久久精品国产视频| 久久亚洲综合色一区二区三区| 久久亚洲一区二区| 欧美高清视频在线播放| 欧美乱大交xxxxx| 欧美午夜寂寞影院| 国产欧美日韩麻豆91| 国产一区二区三区高清| 在线日韩中文字幕| 亚洲免费观看| 亚洲香蕉成视频在线观看| 亚洲一区欧美激情| 久久99伊人| 亚洲精品久久嫩草网站秘色| 夜夜嗨av一区二区三区四区 | 性做久久久久久久免费看| 久久xxxx| 日韩视频在线你懂得| 亚洲欧美日韩精品久久奇米色影视| 亚久久调教视频| 久久夜色精品一区| 欧美日本免费一区二区三区| 国产精品护士白丝一区av| 国产亚洲福利一区| 91久久国产自产拍夜夜嗨| 亚洲网站在线播放| 亚洲国产精品一区二区www| 夜夜嗨av色一区二区不卡| 欧美一区成人| 欧美xart系列高清| 国产精品免费观看在线| 在线观看亚洲视频| 亚洲午夜黄色| 亚洲国产中文字幕在线观看| 亚洲视频在线观看视频| 久久―日本道色综合久久| 欧美日韩精品系列| 国产日韩欧美一区二区| 亚洲乱码国产乱码精品精98午夜| 亚洲一级在线| 亚洲欧洲精品一区二区三区不卡| 亚洲欧美高清| 欧美国产日本| 国产日本欧美一区二区三区| 最新国产成人在线观看| 午夜日韩视频| 在线视频欧美日韩| 久久一区免费| 国产精品美女999| 亚洲国产日韩综合一区| 午夜精品福利一区二区三区av| 亚洲精品欧洲| 久久久九九九九| 国产精品露脸自拍| 最新国产乱人伦偷精品免费网站| 欧美一区二区在线视频| 正在播放欧美视频| 蜜臀久久99精品久久久画质超高清 | 亚洲国产高清自拍| 亚洲欧美激情视频在线观看一区二区三区| 亚洲经典三级| 久久精品久久99精品久久| 国产精品sm| 91久久在线| 亚洲风情亚aⅴ在线发布| 午夜影院日韩| 欧美视频网址| 亚洲精品黄色| 亚洲国产婷婷香蕉久久久久久| 午夜欧美电影在线观看| 欧美日韩精品免费观看视一区二区| 伊人久久大香线蕉综合热线| 亚洲欧美日韩一区| 亚洲一区欧美| 欧美日韩1区2区3区| 亚洲缚视频在线观看| 欧美亚洲日本网站| 亚洲欧美日韩国产| 欧美日韩午夜| 亚洲日韩成人| 亚洲精品一区二区三区蜜桃久| 久久久噜噜噜久久人人看| 国产精品一区二区三区四区五区| 一区二区三区三区在线| 在线午夜精品| 欧美激情一区二区三区高清视频| 激情久久久久| 欧美在线精品免播放器视频| 欧美一区二区视频在线| 国产精品久久久久久久久果冻传媒 | 亚洲视频在线观看免费| 亚洲视频一区在线| 欧美日韩在线播| 99国产麻豆精品| 亚洲色图自拍| 欧美视频日韩| 在线一区二区三区四区五区| 亚洲在线一区二区三区| 国产精品av免费在线观看| 宅男精品视频| 亚洲男人的天堂在线aⅴ视频| 欧美视频一区在线观看| 亚洲深夜激情| 欧美亚洲免费| 国产一区日韩一区| 久久精品视频在线看| 美日韩精品视频免费看| 亚洲国产一区二区三区青草影视| 亚洲精品孕妇| 欧美日韩三级一区二区| 夜夜嗨一区二区三区| 亚洲综合色视频| 国产伦精品一区二区三区四区免费 | 欧美视频免费看| 亚洲欧美另类国产| 久久久久五月天| 狠狠久久综合婷婷不卡| 亚洲国产精品ⅴa在线观看 | 麻豆国产精品一区二区三区| 亚洲福利免费| 一区二区免费在线观看| 国产精品扒开腿做爽爽爽软件 | 亚洲高清在线播放| 欧美—级a级欧美特级ar全黄| 日韩视频一区二区在线观看| 亚洲在线成人| 国产亚洲一区二区在线观看| 亚洲第一色在线| 欧美日本亚洲| 亚洲男人av电影| 玖玖视频精品| 一区二区三区欧美在线观看| 欧美在线视频免费观看| 亚洲成人影音| 亚洲综合精品自拍| 在线不卡中文字幕播放| 一区二区三区四区精品| 国产欧美一区二区精品性| 亚洲国产成人91精品| 欧美日韩免费观看一区=区三区| 亚洲欧美日韩国产一区二区| 六月丁香综合| 在线亚洲观看| 久久视频在线免费观看| 亚洲精品视频免费在线观看| 欧美亚洲网站| 亚洲成人在线网| 午夜在线视频观看日韩17c| 尹人成人综合网| 夜夜嗨av一区二区三区四季av| 国产日韩亚洲欧美精品| 一本久道久久综合狠狠爱| 国产免费一区二区三区香蕉精| 亚洲三级观看| 国产精品一区在线播放| 亚洲日本欧美日韩高观看| 国产精品久在线观看| 亚洲精品久久久久久久久久久久| 国产欧美日韩伦理| 中日韩美女免费视频网站在线观看| 国产一区二区三区久久悠悠色av| 亚洲深爱激情| 亚洲电影视频在线| 久久激情视频久久| 日韩亚洲欧美在线观看| 玖玖视频精品| 欧美亚洲免费高清在线观看| 欧美午夜精品电影| 亚洲欧洲一二三| 国产日韩一区在线| 亚洲无玛一区| 亚洲精品美女久久7777777| 久久久久久97三级| 亚洲午夜精品一区二区|