《電子技術應用》
您所在的位置:首頁 > 其他 > 業(yè)界動態(tài) > 基于數字CNN與生物視覺的仿生眼設計

基于數字CNN與生物視覺的仿生眼設計

2009-09-10
作者:陳瑞森1,2

  摘??要: 在充分研究第一代視覺假體功能的基礎上,利用細胞神經網絡(CNN)的圖像處理能力,結合生物視覺中信息加工與編碼的原理,設計了一款符合第一代視覺假體功能的仿生眼電路系統(tǒng)。
  關鍵詞: 細胞神經網絡; 生物視覺; 電路系統(tǒng)

?

  眼是人類接收外界信息的主要窗口,人所接收的70%的外界信息來自于人的眼睛。但一些疾病如視網膜色素變性(RP)、老年黃斑變性(AMD)以及一些外傷所導致的失明,目前缺乏有效的治療措施[1],仿生眼是唯一可以使這些RP和AMD或者外傷失明的人恢復基本感知功能的方法。在仿生眼的實現中,除了視網膜信號處理以及信息編碼的研究外,用數字信號處理方法建立視覺信號的并行、快速處理的數學模型和快速算法,實現圖像信號和視神經纖維上動作電位的轉換,是對信息科學中信號處理提出的一個新的挑戰(zhàn)[2]。第一代視覺仿生眼的預期功能是讓患者能進行慢速的閱讀,識別一些簡單的物體,完成一些簡單的視覺任務[2]。本文采用基于CNN[3-4]的數學模型以及相關的數字指令來建立一個能并行、快速處理視覺信號的數字CNN信號處理系統(tǒng)。在研究視網膜信號處理以及信息編碼時,把視網膜作為控制論中的“黑箱”來看待,根據其輸入與輸出進行對照分析,初步得到視網膜信息處理和編碼的結果,并利用具體電路加以實現以完成圖像信號和視神經纖維上的動作電位轉換,最終完成一款能實現第一代仿生眼功能的數字電路系統(tǒng)模型。
1 仿生眼系統(tǒng)及其關鍵技術
  本文研究的仿生眼通過視神經與大腦相連,因此其基本結構框圖如圖1所示,眼外部分的攝像頭將圖像信號轉化為電信號,視覺處理系統(tǒng)將圖像信號經過一定的圖像處理算法,送到刺激器以形成符合一定模式的信號序列來刺激視神經,在圖1的框圖中,圖像處理算法以及圖像編碼(即信號序列的產生)是兩個重要的模塊。下面將分別介紹這兩個模塊的設計中涉及到的一些基本技術或原理。

?

?

1.1 細胞神經網絡
  由生理解剖學可知,當視神經纖維的動作電位序列作為視網膜的最終輸出信號傳向中樞時,它們已經是經過初步加工和處理的信息了,而且這種處理是一種并行、快速的處理過程[5]。而細胞神經網絡(CNN)是一種能實時、高速并行處理信號的大規(guī)模非線性模擬電路,具有易于VLSI實現、能高速并行處理信息的優(yōu)點,因此CNN非常適合用于仿生眼中的圖像信息處理[6],在這里將簡單回顧一下CNN的基本原理。
  圖2為一個簡單的二維m×n的CNN結構圖。C(i,j)表示第i行、第j列的神經元,它只同周圍r范圍內的神經元相連,而同其他的神經元不連接。細胞神經網絡是一個大的動態(tài)系統(tǒng),它的每個神經元細胞可用下面的狀態(tài)方程描述:

  

  其中xij(t)指t時刻各細胞的狀態(tài),ykl(t)是細胞的輸出,ukl是細胞的初始輸入值,A、B、I分別是反饋模板、控制模板和閾值電流,CNN神經元細胞陣列的不同圖像處理功能主要取決于反饋模板A、控制模板B以及閾值I的不同設置。
1.2? 視覺信息編碼
  當改變落在視網膜上的圖像時,新的視覺信息就會被編成神經沖動傳進大腦,在迅速的視覺處理中,神經編碼的本質目前尚不清楚,還處在摸索中?,F在通常把視網膜作為控制論中的“黑箱”來看待,只對它的輸入(相當于作用于視網膜的光刺激)和它的輸出(相當于由視神經傳出的動作電位序列)進行對照分析,這樣探索視網膜信息處理和編碼方式。第一代視覺假體的預期功能是讓患者能進行慢速的閱讀,識別一些簡單的物體,并不是為了恢復患者的所有視覺,因此本文更關注的是視網膜中對圖像空間信息的編碼。從對脊椎動物的實驗可知,可以用兩種特性來描述視網膜中神經節(jié)細胞對圖像空間信息的反應,一種是從圖像刺激到神經節(jié)細胞輸出第一個脈沖的時間間隔,稱為脈沖延時,另外一種就是輸出的總脈沖數[7-10]。從一些感覺系統(tǒng)的實驗中可以得到以下結論:更強的刺激意味著更短的脈沖延時和更多的脈沖數(脈沖數有例外情況)[7],因此可以把脈沖延時作為空間編碼的主要特性。本文中的圖像編碼模塊的設計正是基于此原理。
2 圖像處理及編碼模塊的設計
  本文的仿生眼系統(tǒng)處理的圖像主要為最簡單的數字圖像(二值圖像),若為灰度級圖像則不加處理直接進行圖像編碼傳送到眼內部的解碼模塊或對灰度級圖像先進行二值化處理,下面對具體模塊的設計加以介紹。
2.1 圖像處理模塊的設計
  圖像處理模塊主要利用CNN強大的圖像處理能力[6],但CNN本身是模擬電路,因此在噪聲、精確度、魯棒性以及芯片間的通信、參數調整等方面存在一些不足[11-13],因此本文采用數字CNN電路。所謂數字CNN電路即以數字架構來仿效實現CNN功能的芯片,該設計方式使用數字的方法來仿效實現CNN的微分方程式,計算結果是比較容易用電路實現的,且電路功能也是可測試的[14-15]。在數字電路中,進行數據處理的場所主要是運算器(算術邏輯運算單元ALU),因此在數字CNN電路中,每個像素處理單元的硬件電路就類似于一個ALU結構,該ALU結構的相關運算組合能實現類似狀態(tài)方程(1)和(2)的運算結果,例如對于模擬CNN并行陣列,水平線檢測的A、B模板和閾值I分別為:
  

  將相應參數代入線性方程(1)和(2),可得到的Cij輸出Yij為:
    

  由水平檢測的模板可以看出,神經元Cij的最終輸出只與其左右邊單元的輸入以及本身的輸入和輸出有關。由水平檢測的結果可以看出,若用0來代替白色像素的取值,1代替黑色像素的取值,則通過輸入與輸出的真值表,可以得到水平線檢測相當于邏輯表達式:
  
  上面的例子代表了類似圖3(a)模板的數字實現方式,圖3(b)模板的數字實現方式類似圖3(a)模板的實現方式,例如對于左陰影檢測的模板如圖3(c),相應的輸出輸入關系式為:
  

?

  只是需要一直執(zhí)行上面的“或”指令,直到Yi,j-1 不再變化,即Yij也不再變化,只要所有神經元的輸出都不再變化,指令便可停止執(zhí)行,左陰影檢測即可完成。
  經過上面的分析,對一些常用的模板的運算結果進行真值表化簡后,可以得出只要具備表1的算術邏輯指令,就可以實現二值(黑白)圖像相應的圖像處理功能[16-18],至于灰度圖像的處理,則需要先對灰度圖像進行二值化處理。
在完成了上面的分析以后本文具體對CNN細胞單元進行了設計,圖4為其結構框圖。

?

2.2 圖像編碼模塊的設計
  由1.2節(jié)的內容可知,圖像的空間信息可以用脈沖延時以及脈沖個數兩個特征來編碼,而且刺激越大,脈沖延時越短,脈沖個數越多。根據這個原理,本文利用硬件描述語言對圖像編碼模塊進行了具體設計,圖5為其結構框圖。其基本工作原理如下:當CLK信號上升沿到來時接收來自圖像處理模塊的輸出,并將其數值轉化為表征刺激程度的數字量作為預置計數器的初始計數值,預置計數器計數溢出時產生一個小脈沖作為脈沖序列產生器的觸發(fā)脈沖,脈沖序列產生器每接收到一個脈沖時其輸出取反。脈沖延時以及脈沖個數的產生依賴于CLK、CLK1以及初始計數值的取值,這3個參數的取值主要根據實驗數值來設置,并可做相應調整。

?

3 系統(tǒng)仿真
  在確定了圖像處理以及編碼模塊的設計思路及相關框圖以后,本文具體用硬件描述語言對相關模塊進行描述并仿真。在圖像處理模塊上本文具體設計了一個8×8的數字CNN陣列,并對其圖像處理功能進行了仿真,實驗結果證明,該數字CNN陣列可以對二值圖像進行特征提取等操作,圖6為水平檢測以及圖像腐蝕的效果圖。圖7為圖像編碼模塊的輸出,由圖7可以看出,不同的刺激程度,直接決定了圖像編碼模塊的脈沖延時以及脈沖數,圖7(a)的刺激,脈沖延時大約為0.53 μs(CLK1的上升沿到最近右邊pulseout邊沿的距離),脈沖數為3個(1個CLK1周期內,pulseout脈沖的個數),圖7(b)的刺激,脈沖延時為0.033 μs,脈沖數為4個。以上數據只證明圖像編碼電路的原理是正確的,具體參數的設計還需要根據實驗觀測數據加以調整。從仿真結果可以證實,本文的圖像處理以及編碼模塊的設計是成功的。
到目前為止筆者對視覺系統(tǒng)的認識還比較有限,在視神經的編碼方式、視覺信息的處理等方面,還有許多內容需要去探討研究,隨著時間的推移,對這些領域的認知將會不斷增多,利用電路系統(tǒng)實現的仿生眼將會更精確。本文主要是利用目前對視覺系統(tǒng)的了解,建立一個電路模型,下一步的工作將對該電路模型進行進一步的優(yōu)化和改進,并進行實際應用的研究。

參考文獻
[1] ?KRUMPASZKY H G, KLAUSS V. Epidemiology of blindness and eye disease. Ophthalmological[J],1996,210(1):1.
[2]?喻瑋. 基于DSP的人工視覺圖像處理系統(tǒng)[D].?上海:上海交通大學, 2007.
[3] CHUA L O, YANG L. Cellular neural network: theory[J]. ?IEEE Trans, CAS, 1988, CAS-35:1237-1290.
[4] ?CHUA L O, YANG L. Cellular neural network: Applications[J]. IEEE Trans on CAS, 1988, CAS-35:1272-1275.
[5] ?DOWLING J E. The retina: an approachable part of the?brain. Cambridge, Mass : Belknap Press of Harvard Univ ??Press, 1987.
[6] ?YANG Tao. Cellular image processing[M]. Nova Science?Publishers,Inc.Huntington, NY 2001.
[7] ?GOLLISCHJ T, MEISTER M. Rapid neural coding in the?retina with relative spike latencies[J]. Science, 2008,2(319):1108-1110.
[8] KAGAWA K, ISAKARI K, FURUMIYA T, et al. Pixel?design of pulsed CMOS image sensor for retinal prosthesis
?with digital photosensitivity control[J]. Electronics?Letters, 2003,5(39):419-421.
[9] ?OHTA J, YOSHIDA N, KAGAWA K, et al. Proposal of?application of pulsed vision chip for retinal prosthesis[J].?Jpn. J. Appl. Phys. 41,2322(2002).
[10] FURUMIYA T, UEHARA A, ISAKARI K, et al. Pulse-frequency-modulation vision chip with frequency? range
?control as a retinal prosthesis device[J], Proc. SPIE?4829,969 (2002).
[11] WEN K A, SU J Y, LU C Y. VLSI design of digital?cellular neural networks for image processing[J]. Journal??of Visual Communication and Image Representation, 1994,?5(2):117-126.
[12] NAGY Z, SZOLGAY P. Configurable multilayer CNN-UM ?emulator on FPGA[J]. IEEE Trans. Circuits System. I:
?Fundamental Theory and Applications, 2003,50(6):774-778.
[13] NAGY Z, SZOLGAY P. Numerical solution of a class of?PDEs by using emulated digital CNN-UM on FPGAs[J].
?Proc. 16th European Conf. on Circuits Theory and Design,?Cracow, Sep. 2003.
[14]?KOMURO T, ISHII I, ISHIKAWA M. Vision chip arc?tecture using general-purpose processing elements for lms
?vision system[J]. Computer Architecture for Machine?Perception, 1997:276-279.
[15] KOMURO T, ISHII I, ISHIKAWA M, et al. A digital?vision chip specialized for high-speed target tracking[J].?IEEE Transactions on Electron Devices. 2003,50(1).
[16] 雷國偉. CNN圖像識別算法及其指令集的研究[D].?廈門:廈門大學電子工程系, 2004:28-35.
[17]?郭東輝. CNN 并行處理器視覺圖像處理指令集[M].?廈門大學EDA實驗室內部技術資料,2003.
[18]?郭東輝. CNN并行處理器視覺圖像處理擴展指令集[M]. 廈門大學EDA實驗室內部技術資料,2003.

本站內容除特別聲明的原創(chuàng)文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
国产精品久久久对白| 国内一区二区在线视频观看 | 久久在线免费观看| 午夜欧美不卡精品aaaaa| 一区二区三区四区五区在线| 亚洲美女啪啪| 亚洲精选成人| 亚洲免费久久| 日韩亚洲欧美成人一区| 亚洲巨乳在线| 亚洲美女精品一区| 99亚洲精品| 一区二区三区日韩在线观看| 一片黄亚洲嫩模| 一本色道久久88综合日韩精品 | 国产午夜精品久久久久久久| 国产亚洲人成a一在线v站| 国产日韩在线看| 国产永久精品大片wwwapp| 国内精品久久久久久久影视蜜臀| 国产一区视频观看| 在线播放日韩| 亚洲精华国产欧美| 亚洲精品在线一区二区| 一本久久综合亚洲鲁鲁五月天| 在线亚洲成人| 亚洲欧美日韩另类精品一区二区三区| 亚洲一区国产一区| 小黄鸭精品密入口导航| 亚洲第一色在线| 日韩午夜av电影| 亚洲一区二区在线免费观看视频| 亚洲女女女同性video| 欧美一区二区| 久久久天天操| 欧美国产日韩a欧美在线观看| 欧美精品久久99久久在免费线| 欧美日韩高清在线播放| 国产精品每日更新| 一区二区三区在线免费视频| 亚洲国产精品久久人人爱蜜臀| 一级日韩一区在线观看| 欧美一区二区三区男人的天堂| 亚洲电影免费观看高清| 99re这里只有精品6| 亚洲一区二区三区四区在线观看 | 激情久久一区| 日韩视频在线免费| 欧美一级大片在线观看| 91久久久在线| 亚洲欧美综合v| 久久综合狠狠综合久久综合88| 欧美乱人伦中文字幕在线| 国产精品久久毛片a| 激情欧美日韩| 一区二区不卡在线视频 午夜欧美不卡在 | 亚洲电影第三页| 亚洲社区在线观看| 久久精品一二三| 欧美日产一区二区三区在线观看 | 国产在线欧美日韩| 亚洲精品综合| 久久国产毛片| 亚洲婷婷综合久久一本伊一区| 欧美在线视频观看| 欧美精品v日韩精品v国产精品| 国产精品拍天天在线| 在线观看一区欧美| 亚洲一区二区不卡免费| 91久久极品少妇xxxxⅹ软件| 亚洲淫性视频| 欧美黄色一级视频| 国产区日韩欧美| 99精品国产在热久久下载| 性欧美大战久久久久久久免费观看 | 久久精品国产77777蜜臀| 亚洲天堂网站在线观看视频| 蜜桃av一区二区| 国产精品夜夜夜| 日韩午夜一区| 亚洲黄色免费电影| 久久成人精品无人区| 欧美日韩在线观看一区二区| 在线免费观看日本一区| 亚洲欧美日韩一区在线| 一区二区三区鲁丝不卡| 久热成人在线视频| 国产色综合天天综合网| 在线亚洲一区二区| 99视频在线精品国自产拍免费观看 | 麻豆精品精华液| 国产情人节一区| 亚洲视频在线播放| 夜夜爽夜夜爽精品视频| 欧美大片一区二区| 精品动漫一区二区| 先锋资源久久| 欧美一进一出视频| 国产精品―色哟哟| 亚洲视频免费观看| 一区二区三区四区精品| 欧美国产日韩亚洲一区| 伊人精品在线| 久久国产色av| 欧美在线观看一区| 国产精品亚洲综合天堂夜夜| 宅男噜噜噜66一区二区| 亚洲四色影视在线观看| 欧美日韩另类综合| 亚洲国产日韩在线| 日韩视频一区二区三区在线播放 | 99精品国产在热久久婷婷| 日韩小视频在线观看| 欧美福利一区二区三区| 在线免费观看欧美| 亚洲日本欧美| 欧美精品国产精品日韩精品| 亚洲国产欧美一区二区三区同亚洲| 亚洲国产片色| 欧美α欧美αv大片| 亚洲国产合集| 日韩视频一区二区三区在线播放免费观看 | 性8sex亚洲区入口| 国产精品资源在线观看| 亚洲免费在线精品一区| 欧美亚洲一级| 国产亚洲成年网址在线观看| 欧美一级精品大片| 久久亚洲精品欧美| 在线看日韩av| 99国产精品一区| 欧美日韩亚洲精品内裤| 亚洲午夜激情| 久久激情五月丁香伊人| 国产一区日韩二区欧美三区| 亚洲国产精品日韩| 欧美精品免费在线观看| 99视频有精品| 性色av一区二区三区在线观看 | 在线观看视频一区二区| 亚洲精品乱码视频| 欧美日韩伊人| 亚洲免费网址| 久久综合国产精品台湾中文娱乐网| 亚洲福利视频免费观看| 一区二区国产精品| 国产精品黄视频| 欧美一区二区三区男人的天堂| 嫩草影视亚洲| 99在线视频精品| 欧美在线二区| 亚洲国产精品国自产拍av秋霞 | 久久www成人_看片免费不卡| 一区二区三区在线观看视频| 99re6热只有精品免费观看| 国产精品成人免费精品自在线观看| 亚洲在线国产日韩欧美| 久久久水蜜桃| 99国产精品99久久久久久粉嫩 | 久久中文字幕一区二区三区| 亚洲精品黄网在线观看| 亚洲欧美日韩国产一区| 国外成人在线视频| 99国产精品久久久久久久| 国产精品一区二区三区四区| 亚洲国产精品久久久久秋霞不卡| 欧美极品一区| 午夜精品福利一区二区蜜股av| 另类激情亚洲| 宅男噜噜噜66一区二区66| 久久久久久一区二区| 亚洲精品一区二区三区婷婷月| 欧美一区激情| 91久久国产综合久久| 午夜精品久久久久久久男人的天堂| 激情综合亚洲| 亚洲综合第一| 亚洲国产精品999| 午夜久久久久| 亚洲精华国产欧美| 久久精品一区二区三区不卡| 亚洲精品乱码久久久久久久久| 欧美一二三视频| 亚洲激情在线| 久久久久久亚洲精品杨幂换脸 | 国产日韩在线视频| 亚洲素人一区二区| 亚洲福利在线视频| 久久er99精品| 宅男噜噜噜66国产日韩在线观看| 乱人伦精品视频在线观看| 亚洲永久在线观看| 欧美日韩国产另类不卡| 亚洲电影自拍| 国产精品永久免费| 国产精品99久久久久久www| 一区二区三区无毛| 久久国产毛片| 亚洲午夜一区二区| 欧美久久一级|