文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200844
中文引用格式： 倪偉健，秦會(huì)斌. GSDCPeleeNet：基于PeleeNet的高效輕量化卷積神經(jīng)網(wǎng)絡(luò)[J].電子技術(shù)應(yīng)用，2021，47(3)：22-26，30.
英文引用格式： Ni Weijian，Qin Huibin. GSDCPeleeNet：efficient lightweight convolutional neural based on PeleeNet[J]. Application of Electronic Technique，2021，47(3)：22-26，30.
0 引言
隨著深度學(xué)習(xí)理論的提出和硬件設(shè)備計(jì)算速度的不斷突破，卷積神經(jīng)網(wǎng)絡(luò)在近年來得以迅速發(fā)展。2012年，AlexNet[1]在ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽中獲得了圖像分類冠軍。之后，為了提高網(wǎng)絡(luò)模型的準(zhǔn)確率，研究人員不斷地加深卷積網(wǎng)絡(luò)的深度，相繼提出了性能更加優(yōu)越的卷積神經(jīng)網(wǎng)絡(luò)，如VGG16[2]、GoogLeNet[3]和DenseNet[4]等。
這些網(wǎng)絡(luò)準(zhǔn)確率普遍較高，但是有著非常復(fù)雜的模型和很深的層次，參數(shù)量十分巨大。在實(shí)際生活的應(yīng)用中，模型往往需要在資源有限的嵌入式設(shè)備和移動(dòng)設(shè)備上運(yùn)行。因此，研究人員開始著手研究，并且相繼提出了更高效的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)。它們保持了網(wǎng)絡(luò)的性能，大大減少了模型的參數(shù)量，從而減少計(jì)算量，提升了模型速度。
曠視科技的ShuffleNet在ResNet[5]單元上進(jìn)行了改進(jìn)，有兩個(gè)創(chuàng)新的地方：逐點(diǎn)分組卷積和通道混洗[6]。WANG R J等提出的PeleeNet是一種輕量級(jí)網(wǎng)絡(luò)，它在DenseNet基礎(chǔ)上進(jìn)行了改進(jìn)和創(chuàng)新，主要有五個(gè)方面的結(jié)構(gòu)改進(jìn)[7]。ZHANG J N等提出了一種卷積核及其壓縮算法，通過這種卷積方法，ZHANG J N等發(fā)明了輕量卷積神經(jīng)網(wǎng)絡(luò)SDChannelNets[8]。
可以看出，上述輕量卷積神經(jīng)網(wǎng)絡(luò)均存在一定不足。在使用分組卷積時(shí)，為了解決分組卷積導(dǎo)致的信息丟失問題，需要增加額外的操作。在運(yùn)用1×1卷積時(shí)，會(huì)導(dǎo)致1×1卷積的參數(shù)量在網(wǎng)絡(luò)總參數(shù)量中占據(jù)大部分。通過分析，這些網(wǎng)絡(luò)需要通過調(diào)整相應(yīng)的超參數(shù)來提高網(wǎng)絡(luò)識(shí)別精度。這些操作往往會(huì)大大增加網(wǎng)絡(luò)模型參數(shù)量。
為了解決這個(gè)不足，本文結(jié)合參數(shù)共享、密集連接的卷積方法和分組卷積，基于PeleeNet網(wǎng)絡(luò)，提出了輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)GSDCPeleeNet。適當(dāng)調(diào)節(jié)超參數(shù)，在損失較小準(zhǔn)確度甚至擁有更高準(zhǔn)確度的情況下，減小了模型的參數(shù)量。
本文詳細(xì)內(nèi)容請(qǐng)下載:http://m.jysgc.com/resource/share/2000003403
作者信息:
倪偉健，秦會(huì)斌
(杭州電子科技大學(xué) 電子信息學(xué)院 新型電子器件與應(yīng)用研究所，浙江 杭州310018)