《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 設計應用 > 基于權值交互思想的卷積神經網絡量化算法
基于權值交互思想的卷積神經網絡量化算法
2020年電子技術應用第10期
肖國麟,楊春玲,陳 宇
哈爾濱工業大學 電氣工程及自動化學院,黑龍江 哈爾濱150001
摘要: 傳統的卷積神經網絡量化算法廣泛使用對稱均勻量化操作對模型權值進行量化,沒有考慮到相鄰權值量化之間的相互關系,即上一個權值的量化操作產生的量化噪聲可以通過調整之后權值的量化方向加以彌補。針對上述問題,提出了一種基于權值交互思想的三值卷積神經網絡量化算法,達到了16倍的模型壓縮比,以ImageNet作為數據集,量化后的AlexNet和ResNet-18網絡上模型預測準確率只下降了不到3%。該方法達到了較高的模型壓縮比,具有較高的精度,可以用于將卷積神經網絡移植到計算資源有限的移動端平臺上。
中圖分類號: TN911.73;TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.200263
中文引用格式: 肖國麟,楊春玲,陳宇. 基于權值交互思想的卷積神經網絡量化算法[J].電子技術應用,2020,46(10):39-41.
英文引用格式: Xiao Guolin,Yang Chunling,Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique,2020,46(10):39-41.
Convolutional neural network quantization algorithm based on weight interaction ideas
Xiao Guolin,Yang Chunling,Chen Yu
School of Electrical Engineering and Automation,Harbin Institute of Technology,Harbin 150001,China
Abstract: Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.
Key words : ternary quantization;convolutional neural network;weight interaction;model compression

0 引言

    隨著深度學習的飛速發展,卷積神經網絡(CNN)被越來越多地應用于各個領域,如圖像識別[1-2]和目標檢測[3-4]。然而,隨著應用要求的提高,CNN的結構越來越深,導致其對于計算力和內存的需求大大提高。同時由于移動端設備的飛速發展,設備小型化的需求和市場不斷擴大,將CNN應用到小型移動端設備的需求也隨之增加。然而,受限于電源、內存及功耗,移動端平臺無法滿足高性能CNN對于硬件性能、功耗及內存的要求,因此優化CNN模型從而降低其對于計算資源的要求非常必要[5]

    CNN權值量化是目前一種主流的CNN模型優化方法,而三值量化其中一種能夠將權值由32位量化到2位(0,±α)從而達到16倍壓縮比的低位量化方法。自從2016年三值化網絡被LI F等人提出以來[6],其方法不斷改進,性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細粒度三值化網絡[7],將激活函數量化到8或4位,將權重量化至2位,將每N個權值分為一個組,分組量化,兩組之間相互獨立,其中N=2,4,8,16,…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓練的方式得到最優解,但相比原精度的32位卷積網絡仍有較大性能差距。目前的三值量化網絡性能不佳的其中一個問題在于都使用對稱均勻量化操作,只考慮了單個權值的量化,忽視了相鄰權值量化之間的相互關系,量化噪音直接相互累加,導致每一層網絡的噪聲積累過高,使得量化模型的預測準確率有極大的下降。

    針對此問題,本文提出一種新的CNN模型三值量化算法,基于權值交互思想,在同一卷積核內,將先前量化產生的積累噪聲作為一個負變量加入到下一個權值的量化操作中,使得對下一個權值朝著能減小積累噪聲的方向進行量化。然后,通過層級貪婪搜索算法逐層搜索局部最優解,得到效果近似最優解的優化解,降低搜索算法復雜度,極大減少搜索所需時間。實驗證明,相比于其他使用對稱均勻量化操作的算法,本文的算法極大地減小了由于量化操作導致的模型預測準確率的損失。




本文詳細內容請下載:http://m.jysgc.com/resource/share/2000003017




作者信息:

肖國麟,楊春玲,陳  宇

(哈爾濱工業大學 電氣工程及自動化學院,黑龍江 哈爾濱150001)

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲一区二区黄| 久久久国产精品一区二区三区| 亚洲天堂偷拍| 亚洲伦理在线免费看| 亚洲丰满在线| 亚洲电影av| 在线观看成人网| 一区久久精品| 在线观看欧美视频| 亚洲第一主播视频| 亚洲国产精品999| 在线精品视频免费观看| 好看的亚洲午夜视频在线| 国产亚洲一区二区三区| 国产亚洲精品7777| 国内成人在线| 激情av一区二区| 在线观看日韩av先锋影音电影院| 影音先锋中文字幕一区| 在线观看国产一区二区| 136国产福利精品导航网址| 1000部精品久久久久久久久| 1000部国产精品成人观看| 亚洲国产成人一区| 亚洲精品你懂的| 一本色道久久综合狠狠躁篇怎么玩| 99在线|亚洲一区二区| 亚洲午夜激情网页| 亚洲欧美日韩天堂| 久久成人国产精品| 亚洲国产成人久久| 亚洲精品视频二区| 99riav国产精品| 亚洲一区二区欧美| 欧美一区二区三区免费看 | 午夜精品福利一区二区蜜股av| 性久久久久久久久| 久久久人人人| 欧美jizzhd精品欧美喷水| 欧美日韩国产大片| 国产精品美女一区二区在线观看 | 欧美亚洲免费高清在线观看| 久久精品久久综合| 亚洲精品国产日韩| 亚洲伊人伊色伊影伊综合网| 久久电影一区| 欧美成人一区二区在线| 欧美午夜激情在线| 国产三级欧美三级| 亚洲第一中文字幕| 亚洲视频在线二区| 久久国产加勒比精品无码| 99精品欧美一区| 性欧美8khd高清极品| 你懂的视频一区二区| 国产精品福利在线观看网址| 国产一在线精品一区在线观看| 91久久久精品| 亚洲自拍偷拍麻豆| 亚洲精品永久免费| 欧美一级视频| 欧美日韩国产高清| 国产一区二区丝袜高跟鞋图片| 亚洲精选在线| 久久精品人人做人人爽电影蜜月| 中文亚洲视频在线| 久久久久看片| 欧美系列精品| 亚洲福利在线观看| 亚洲伊人网站| 亚洲最新视频在线播放| 久久久www免费人成黑人精品| 欧美激情一区二区三区高清视频| 国产麻豆午夜三级精品| 91久久综合| 欧美在线观看网站| 亚洲亚洲精品在线观看| 蜜桃av一区二区三区| 国产精品午夜春色av| 亚洲激情第一区| 欧美在线国产| 亚洲欧美国产毛片在线| 欧美激情一区二区三级高清视频 | 久久精品在这里| 欧美视频导航| 亚洲国产精品ⅴa在线观看 | 亚洲一品av免费观看| 美女脱光内衣内裤视频久久影院| 国产精品亚洲精品| 日韩视频在线免费| 亚洲精品韩国| 久久人人97超碰人人澡爱香蕉| 国产精品久久久久婷婷| 亚洲三级网站| 亚洲精品国产视频| 久久综合网络一区二区| 国产日韩精品视频一区| 一区二区日韩免费看| 99热免费精品在线观看| 欧美xart系列高清| 黄色成人av网站| 欧美一区二区三区在线看| 午夜免费电影一区在线观看| 欧美区在线播放| 在线不卡免费欧美| 亚洲风情在线资源站| 久久精品一区二区三区四区| 国产精品亚洲第一区在线暖暖韩国| 一本色道久久加勒比88综合| 一区二区三区欧美在线观看| 欧美激情在线播放| 亚洲国产精品t66y| 亚洲精品一区二区在线| 欧美寡妇偷汉性猛交| 亚洲国产成人av| 亚洲精品美女| 欧美激情一区在线| 亚洲精品国产精品国自产观看| 亚洲蜜桃精久久久久久久| 欧美福利小视频| 亚洲国产一二三| 99国产精品久久久久老师| 欧美极品一区| 亚洲免费观看在线观看| 亚洲午夜在线| 国产精品美女久久久久久免费| 国产精品99久久99久久久二8 | 中文无字幕一区二区三区| 亚洲曰本av电影| 国产精品一区二区三区乱码| 亚洲在线一区| 久久久国产亚洲精品| 海角社区69精品视频| 亚洲电影欧美电影有声小说| 麻豆精品视频| 亚洲区一区二区三区| 一区二区日韩| 欧美午夜在线| 性色av一区二区三区在线观看| 久久久人成影片一区二区三区观看 | 亚洲一二区在线| 国产精品视频| 欧美在线观看一区| 欧美大成色www永久网站婷| 亚洲九九爱视频| 亚洲欧美日韩国产精品| 国产一区二区电影在线观看 | 久久精品视频免费观看| 欧美激情亚洲激情| 一区二区三区黄色| 久久爱另类一区二区小说| 尤物在线精品| 亚洲午夜久久久| 国内伊人久久久久久网站视频| 亚洲精品在线视频| 国产精品国产三级国产| 欧美影院一区| 欧美粗暴jizz性欧美20| 在线午夜精品| 久久免费视频在线观看| 亚洲精品国产拍免费91在线| 亚洲欧美日韩国产一区二区| 狠狠久久五月精品中文字幕| 99re成人精品视频| 国产精品专区第二| 亚洲人线精品午夜| 国产精品美女久久久| 久久精品一区二区国产| 欧美日韩国产一区精品一区 | 在线播放精品| 亚洲欧美色一区| 亚洲国产另类久久精品| 亚洲欧美视频在线| 在线观看日韩| 性做久久久久久| 亚洲韩国青草视频| 性色av一区二区三区| 亚洲黄色影片| 久久九九久精品国产免费直播 | 亚洲婷婷国产精品电影人久久| 久久另类ts人妖一区二区| 日韩一本二本av| 久久婷婷综合激情| 艳妇臀荡乳欲伦亚洲一区| 久久久青草青青国产亚洲免观| 一本色道久久综合亚洲二区三区| 久久只精品国产| 亚洲一区二区不卡免费| 欧美成人综合网站| 欧美一区二区精品在线| 欧美色一级片| 亚洲国产人成综合网站| 国产精品久久久久久久免费软件| 亚洲欧洲精品一区二区精品久久久 | 亚洲伦理网站| 免费久久久一本精品久久区| 亚洲男人的天堂在线观看| 欧美美女bbbb| 亚洲激情影视| 国产一区二区三区免费不卡|