0 引言

    基于NVIDIA Jetson TX2的車輛跟蹤系統(tǒng)設(shè)計(jì)與以往的車輛跟蹤系統(tǒng)設(shè)計(jì)有很大的不同，在本設(shè)計(jì)中實(shí)現(xiàn)超高清4K視頻實(shí)時(shí)編碼和傳輸，在視頻編碼中使用了高效率視頻編碼(High Efficiency Video Coding，HEVC)，HEVC在相同的主觀條件下與H.264/AVC相比,編碼碼率可以節(jié)省50% 以上^[1]。硬件編碼器編碼速率也要比PC端x265編碼器大超過(guò)3個(gè)數(shù)量級(jí)^[2]。因此，本設(shè)計(jì)的跟蹤系統(tǒng)更加能適用于以后的智能交通發(fā)展。

    本設(shè)計(jì)充分利用了HEVC編碼的優(yōu)勢(shì)來(lái)為后續(xù)的檢測(cè)跟蹤帶來(lái)優(yōu)質(zhì)的視頻資料，再利用Yolo V2、Meanshift、Kalman算法實(shí)現(xiàn)對(duì)車輛的準(zhǔn)確跟蹤。同時(shí)，在檢測(cè)跟蹤的質(zhì)量和實(shí)時(shí)性方面也能夠滿足目前市場(chǎng)的應(yīng)用需求。

1 開(kāi)發(fā)平臺(tái)介紹

1.1 硬件平臺(tái)

    2017年3月8日，NVIDIA發(fā)布了Jetson TX2，Jetson TX2作為Jetson TX1的升級(jí)版與TX1相比最大的性能優(yōu)勢(shì)就是采用了NVIDIA最新研發(fā)的Tegra Parker處理器^[3]。在前代的基礎(chǔ)上增加了2個(gè)自主研發(fā)的NVIDIA Denver 2 CPU核心，能夠支持實(shí)時(shí)超高清視頻編解碼。它具備Jetson TX1模塊的所有功能^[4]。因其強(qiáng)大的性能、低功耗、外形小巧，非常適合基于嵌入式的多媒體領(lǐng)域。

1.2 軟件平臺(tái)

    Jetson TX2的軟件平臺(tái)包含了很多種標(biāo)準(zhǔn)硬件接口，可以在包含高性能計(jì)算與低功耗的應(yīng)用場(chǎng)合下更方便靈活地進(jìn)行平臺(tái)擴(kuò)展和設(shè)計(jì)。該軟件平臺(tái)由內(nèi)核、根文件、應(yīng)用軟件等構(gòu)成。

2 系統(tǒng)實(shí)現(xiàn)

2.1 環(huán)境搭建

    先搭建 Jetson TX2的開(kāi)發(fā)環(huán)境。本文所使用的開(kāi)發(fā)環(huán)境為：PC使用64位Ubuntu 16.04操作系統(tǒng)，Jetson SDK 的版本為Jet Pack 3.2。首先在Ubuntu主機(jī)端運(yùn)行Jetson SDK，進(jìn)行下載工作，再進(jìn)行燒寫，最后檢驗(yàn)Jetson TX2上的系統(tǒng)開(kāi)發(fā)環(huán)境是否已經(jīng)搭建完畢^[5]。

2.2 系統(tǒng)設(shè)計(jì)

    設(shè)計(jì)并實(shí)現(xiàn)了NVIDIA嵌入式平臺(tái)上的車輛跟蹤檢測(cè)系統(tǒng)，系統(tǒng)總體框圖如圖1所示。

    利用Jetson TX2的板載相機(jī)獲取YUV420格式幀率為60 f/s的視頻數(shù)據(jù)，送給Tegra Parker的硬件HEVC編碼器將其壓縮為H265碼流；對(duì)輸出碼流進(jìn)行實(shí)時(shí)傳輸協(xié)議(Real-time Transport Protocol，RTP)打包，打包完成后通過(guò)用戶數(shù)據(jù)報(bào)協(xié)議(User Datagram Protocol，UDP)廣播發(fā)送，然后進(jìn)行接收和解碼。根據(jù)設(shè)計(jì)功能的需求，本設(shè)計(jì)的車輛圖像處理算法主要分為兩部分，第一部分是對(duì)視頻中的車輛進(jìn)行檢測(cè)操作，使用的是Yolo V2檢測(cè)算法；第二部分是在檢測(cè)到的車輛基礎(chǔ)上進(jìn)行跟蹤操作，跟蹤的算法使用的是Kalman位置預(yù)測(cè)與Meanshift跟蹤相配合的方法^[6]。

2.3 功能模塊實(shí)現(xiàn)

2.3.1 獲取視頻數(shù)據(jù)

    本文選擇利用Argus來(lái)獲取原始視頻數(shù)據(jù)，Argus可以輸出EGL-Stream圖像數(shù)據(jù)或者DMA Buffer文件描述符，可以把DMA Buffer看做一塊共享內(nèi)存。Argus還可以調(diào)用ISP進(jìn)行圖像的去噪、邊緣增強(qiáng)等圖像預(yù)處理工作。本文利用Argus捕獲視頻數(shù)據(jù)的流程圖如圖2所示。

2.3.2 HEVC編碼器配置

    Tegra Parker處理器內(nèi)有一個(gè)視頻編碼器，相對(duì)于H.264在同等清晰度的前提下少一半的碼率，從而節(jié)省存儲(chǔ)空間和帶寬，可以減少投入的成本，而速度是其200倍以上，且能夠支持幀率為60 f/s的HEVC實(shí)時(shí)編碼^[7]。存儲(chǔ)設(shè)計(jì)視頻編碼器的輸入輸出的緩存隊(duì)列長(zhǎng)度都設(shè)置為10。HEVC視頻編碼器只支持YUV420M的格式，輸入緩存隊(duì)列使用存儲(chǔ)于DMAbuffer的視頻數(shù)據(jù)，輸出的緩存隊(duì)列輸出CPUbuffer。流程圖如圖3所示。

2.3.3 RTP封裝

    H.265碼流RTP協(xié)議是一種實(shí)時(shí)傳輸標(biāo)準(zhǔn)，其設(shè)計(jì)的目的是為了支持網(wǎng)絡(luò)實(shí)時(shí)傳輸服務(wù)^[8]。H.265碼流由NALU序列組成，RTP協(xié)議封裝和傳輸H.265碼流實(shí)際上就是NALU的封裝和傳輸。鏈路層的載荷數(shù)據(jù)有最大傳輸單元限制，當(dāng)傳輸?shù)臄?shù)據(jù)超過(guò)這個(gè)最大輸出單元時(shí)，將無(wú)法進(jìn)行正常的傳輸，按照以太網(wǎng)對(duì)RTP包大小的限制，正常情況下不能超過(guò)1 472 B，超過(guò)1 472 B后將無(wú)法正常進(jìn)行傳輸^[9]。

2.3.4 上位機(jī)取流解碼 

    本設(shè)計(jì)利用Gstreamer來(lái)開(kāi)發(fā)接收、解碼、播放程序^[10]。Gstreamer程序從網(wǎng)口接收RTP數(shù)據(jù)包，接收到數(shù)據(jù)包之后傳送到HEVC上進(jìn)行軟件解碼后播放顯示。UDP接收RTP數(shù)據(jù)包，進(jìn)行解包，經(jīng)過(guò)解包后的數(shù)據(jù)為H.265原始碼流^[11]，利用H265parse對(duì)碼流分析，再將H.265原始碼流送給avdec_H265解碼。最后，將解碼后的視頻數(shù)據(jù)送到xvimagesink實(shí)現(xiàn)視頻播放。

2.3.5 車輛的檢測(cè)與跟蹤

    針對(duì)之前一系列處理得到的視頻影像，需要進(jìn)行算法程序的操作，對(duì)視頻中的汽車先進(jìn)行檢測(cè)，此時(shí)使用Yolo V2檢測(cè)算法，將檢測(cè)到的汽車輪廓信息作為后續(xù)跟蹤算法的輸入。經(jīng)過(guò)Yolo V2檢測(cè)完成后，得到了一個(gè)序列，將這個(gè)序列作為基礎(chǔ)序列，針對(duì)跟蹤檢測(cè)算法，首先監(jiān)測(cè)出一個(gè)汽車輪廓，針對(duì)已有的汽車輪廓使用Meanshift方法得到當(dāng)前車輛的真實(shí)位置^[12]，如圖4所示。

    進(jìn)入到視頻中的汽車，系統(tǒng)首先對(duì)汽車的外框信息保存到跟蹤器中，再提取一個(gè)汽車的外框與之前保存的外框信息進(jìn)行相似度比對(duì)，如果信息重疊則立即更新Kalman預(yù)測(cè)模型，預(yù)測(cè)此車輛的大體活動(dòng)位置，再利用Meanshift得到正確的位置，在視頻中用框標(biāo)注出跟蹤汽車，直到汽車消失在視頻中，系統(tǒng)會(huì)自動(dòng)刪除其外框信息。如果在相似度對(duì)比時(shí)跟蹤器中沒(méi)有與此汽車信息相同的外框信息，則把此信息自動(dòng)添加到跟蹤器中，進(jìn)行后續(xù)操作^[13]。

其中，z(x，y)為候選目標(biāo)的坐標(biāo)。S(z)是巴氏系數(shù)，具有如下公式：

    根據(jù)式(1)～式(3)計(jì)算出S(z)，S(z)的值在0～1之間，S(z)值越大，兩個(gè)模型越相似。

2.4 測(cè)試結(jié)果

    Tegra Parker上的HEVC硬件編碼器編碼速率比PC端x265編碼器大，PSNR比PC端x265編碼器高。根據(jù)本文設(shè)計(jì)的系統(tǒng)，對(duì)HEVC 編碼器在不同分辨率情況下的編碼速度、壓縮率和網(wǎng)絡(luò)發(fā)送速率進(jìn)行了測(cè)試，針對(duì)HEVC硬件編碼器編碼速率與PC端x265編碼選擇分辨率分別為640×480、1 280×720、1 920×1 080、2 104×1 560做了簡(jiǎn)要對(duì)比，在Tegra Parker上編碼器參數(shù)如表1所示。PC端x265編碼器參數(shù)如表2所示。

    下面對(duì)表1中的數(shù)據(jù)加以說(shuō)明，其中表1中壓縮比體現(xiàn)的是壓縮后文件與原始文件的比值，相對(duì)于x265在同等清晰度的前提下壓縮比提高很多。編碼速率是指視頻在編碼的過(guò)程中單位時(shí)間內(nèi)能完成壓縮視頻編碼的幀數(shù)，相對(duì)于商用編碼核心x264的編碼速率快近100倍。在測(cè)試過(guò)程中還對(duì)UDP傳輸時(shí)間進(jìn)行了粗略的統(tǒng)計(jì)，通過(guò)平均的輸出時(shí)間從而得到系統(tǒng)的輸出速率，PSNR計(jì)算公式為：

    本系統(tǒng)能對(duì)采集的高清交通視頻影像進(jìn)行車輛的檢測(cè)跟蹤，對(duì)視頻中的檢測(cè)到的車輛用框標(biāo)記出來(lái)，再對(duì)標(biāo)記的車輛進(jìn)行跟蹤，標(biāo)記框會(huì)伴隨著車輛的移動(dòng)而移動(dòng)^[15]。圖5所示是車輛檢測(cè)及跟蹤的畫面。

3 結(jié)論

    本文在NVIDIA Jetson TX2平臺(tái)上設(shè)計(jì)實(shí)現(xiàn)車輛的檢測(cè)及跟蹤，利用板載攝像頭完成視頻采集，再進(jìn)行HEVC編碼，對(duì)HEVC的輸出碼進(jìn)行RTP封裝后通過(guò)UDP廣播發(fā)送，然后在PC端接收解碼，最后進(jìn)行識(shí)別及跟蹤。測(cè)試結(jié)果表明，相對(duì)于x265，在同等清晰度的前提下壓縮比提高很多；相對(duì)于商用編碼核心x264的編碼速率快了近100倍。本文設(shè)計(jì)的系統(tǒng)在保證視頻畫面質(zhì)量良好的情況下能夠達(dá)到4K分辨率的實(shí)時(shí)編碼傳輸，這使后續(xù)對(duì)顯示的視頻進(jìn)行車輛的識(shí)別跟蹤更加清晰準(zhǔn)確。

參考文獻(xiàn)

[1] 沈燕飛，李錦濤，朱珍民，等.高效視頻編碼[J].計(jì)算機(jī)學(xué)報(bào)，2013，36(11)：23-40.

[2] RAM C，PANWAR S.Performance comparision of high efficiency video coding(HEVC) with H.264 AVC[C].2017 13th International Conference Signal-Image Technology & Internet-Based Systems(SITIS)，2017.

[3] NVIDIA Corporation.NVIDIA Jetson.The AI platform for autonomous machines[EB/OL］.(2018- 05-10)[2019-05-13].https：//developer.nvidia.com/embedded/develop/hardware.Html.

[4] Yan Han，ORUKLU E.Traffic sign recognition based on the nvidia jetson tx1 embedded system using convolutional neural networks[C].2017 IEEE60th International Midwest Symposium on Circuitsand Systems(MWSCAS)，2017：184-187.

[5] 林峰，張雷，梁明亮.基于NVIDIA Jetson TX1的HEVC編碼和傳輸系統(tǒng)設(shè)計(jì)[J].沈陽(yáng)航空航天大學(xué)，2018，35(5)：51-56.

[6] 孫鵬.基于視頻的嵌入式車輛跟蹤系統(tǒng)[D].北京：北方工業(yè)大學(xué)，2013.

[7] 李維，楊付正，任鵬.考慮視頻內(nèi)容的H.265/HEVC幀層碼率分配算法[J].通信學(xué)報(bào)，2015，36(9)：76-81.

[8] 丁涼.基于RTP的MPEG-4傳輸方法研究與實(shí)踐[D].合肥：合肥工業(yè)大學(xué)，2004.

[9] 許寧.基于RTP協(xié)議的移動(dòng)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].通信技術(shù)，2014，47(4)：455-458.

[10] 孟凡飛，劉金海，吳宗澤.基于Gstreamer的嵌入式流媒體播放器的設(shè)計(jì)[J].嵌入式系統(tǒng)應(yīng)用，2010，26(20)：5-9.

[11] 林文.基于嵌入式開(kāi)發(fā)的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].成都：西南交通大學(xué)，2012.

[12] 康劍斌.無(wú)人機(jī)雙目視覺(jué)深度感知技術(shù)研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2018.

[13] 林付春，劉宇紅，張達(dá)峰，等.基于深度學(xué)習(xí)的智能路牌識(shí)別系統(tǒng)設(shè)計(jì)[J].電子技術(shù)應(yīng)用，2018，44(6)：68-71.

[14] 趙春暉，張洪才，王永忠.基于特征顏色空間變換的目標(biāo)跟蹤融合算法[J].計(jì)算機(jī)工程與應(yīng)用，2008(3)：8-9，19.

[15] 張寧.基于無(wú)人機(jī)平臺(tái)的動(dòng)態(tài)目標(biāo)檢測(cè)系統(tǒng)開(kāi)發(fā)[D].杭州：浙江大學(xué)，2018.

作者信息:

張  雷，王  越

(沈陽(yáng)航空航天大學(xué) 電子信息工程學(xué)院，遼寧 沈陽(yáng)110136)