《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 基于距離正則化的單視圖三維重建
基于距離正則化的單視圖三維重建
信息技術(shù)與網(wǎng)絡(luò)安全
胡茂林,李金龍,胡 濤
(中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,安徽 合肥230027)
摘要: 針對從一張物體有限的二維RGB圖像信息中還原物體的三維形狀信息,提出了基于距離正則化的單視圖三維重建。利用二維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)設(shè)計圖像編碼器和三維卷積神經(jīng)網(wǎng)絡(luò)設(shè)計殘差塊,再利用殘差塊為基礎(chǔ)設(shè)計三維形狀生成器,即三維殘差生成器。給定一張物體的二維RGB圖像,首先使用圖像編碼器提取RGB圖像的語義信息;然后,三維形狀生成器使用語義信息,恢復(fù)RGB圖像中物體的三維形狀信息。同時,提出了距離規(guī)則化損失,在訓(xùn)練過程中,保證三維物體形狀重建質(zhì)量。實驗結(jié)果顯示,本方法在交并比(Intersection over Union,IoU)評價指標上超過了之前最好的方法。
中圖分類號: TP391
文獻標識碼: A
DOI: 10.19358/j.issn.2096-5133.2021.05.010
引用格式: 胡茂林,李金龍,胡濤. 基于距離正則化的單視圖三維重建[J].信息技術(shù)與網(wǎng)絡(luò)安全,2021,40(5):56-61.
Single-view 3D reconstruction based on margin regularization
Hu Maolin,Li Jinlong,Hu Tao
(School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China)
Abstract: In order to recover the 3D shape of the object in the input image from the limited information of 2D RGB image, this paper proposes a single image 3D reconstruction method based on a margin regularization loss. This paper uses 2D convolutional neural network(CNN) to design an image encoder and employ 3D CNN to design a special residual block, and then uses residual block to design 3D residual generator. Given a 2D RGB image of an object, firstly, we use our designed image encoder to extract the semantic information of the RGB image; then, the 3D residual generator takes the semantic information as input and recover the 3D shape of the object in the RGB image. At the training phase, this paper proposes a distance regularization loss to ensure the quality of 3D object shape reconstruction during the recovering process. Experiment results demonstrate that the proposed method surpasses the previous best method in the metrics of Intersection over Union(IoU).
Key words : 3D reconstruction;convolutional neural networks;residual block;residual network

0 引言

三維重建是指給定一張或多張RGB圖像的情況下重建該RGB圖像中物體的三維形狀。三維重建已經(jīng)被探索了幾十年,它是計算機視覺領(lǐng)域一個基礎(chǔ)性任務(wù)之一,擁有大量應(yīng)用場景,例如,機器人導(dǎo)航、虛擬現(xiàn)實、計算機輔助設(shè)計、無人駕駛、醫(yī)學(xué)圖像處理等領(lǐng)域。三維重建是一個非常復(fù)雜的過程,從二維圖像恢復(fù)三維形狀,恢復(fù)缺失的信息往往具有歧義性。為克服三維形狀的歧義性,三維重建方法通常需要結(jié)合圖像信息和先驗形狀知識。

隨著大型數(shù)據(jù)集的出現(xiàn),數(shù)據(jù)驅(qū)動的方法一定程度上克服歧義性問題,數(shù)據(jù)集提供三維形狀先驗知識。三維重建方法利用CNN在大型數(shù)據(jù)集進行預(yù)測物體三維形狀取得了巨大的成功,預(yù)測的三維形狀可以被歸結(jié)為三類:體素網(wǎng)格表示[1]、點云表示[2]、網(wǎng)格表示[3]。近年來,大量基于深度學(xué)習(xí)的方法被提出來進行三維重建,例如,3D-R2N2[4]、Pix2Vox、PSGN[2]和AttSets[5]。CHOY C B[4]率先提出使用長短期記憶網(wǎng)絡(luò)(Long Short Term Memory,LSTM)[6]來融合不同視角圖像的信息,一步一步重建三維物體的形狀。PSGN使用點云表示三維形狀進行單視圖三維重建。Pix2Vox++直接使用CNN融合不同視角圖像信息來進行三維重建。AttSets使用一個注意力聚合模塊去預(yù)測一個權(quán)重矩陣作為輸入特征的注意力得分。



本文詳細內(nèi)容請下載:http://m.jysgc.com/resource/share/2000003552




作者信息:

胡茂林,李金龍,胡  濤

(中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,安徽 合肥230027)


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 国产精品美女久久久久AV福利 | 97精品伊人久久久大香线蕉| 成人午夜性视频欧美成人| 久久精品国产亚洲AV麻豆~ | 夫前被强行侵犯在线观看| 中文字幕人成无码免费视频| 日韩在线观看免费| 亚洲a∨无码男人的天堂| 欧美精品18videosex性欧美| 人妻av无码一区二区三区| 精品在线视频免费| 啊轻点灬大ji巴太粗太长了情侣| 钻胯羞辱的视频vk| 国产成人8X视频网站入口 | 被猛男cao尿了| 国产区精品视频| 二区久久国产乱子伦免费精品 | 欧美性猛交xxxx乱大交极品| 亚洲精品狼友在线播放| 男女18禁啪啪无遮挡| 免费精品99久久国产综合精品| 美国发布站精品视频| 四虎影视在线影院在线观看| 色综合视频一区二区三区| 国产伦一区二区三区免费| 高清韩国a级特黄毛片| 国产成人精品午夜福利| 国产黑丝袜在线| 国产日韩精品中文字无码| chinesehd国产刺激对白| 国产精品伦理一二三区伦理| 2019中文字幕在线电影免费| 国产精品视频网| 91精品国产免费久久国语麻豆| 在线中文字幕不卡| 97色伦图片97综合影院| 国内精品18videosex性欧美| 91老湿机福利免费体验| 国产视频精品视频| 5╳社区视频在线5sq| 国产精品欧美日韩|