《電子技術應用》
您所在的位置:首頁 > 其他 > 業界動態 > 基于數字CNN與生物視覺的仿生眼設計

基于數字CNN與生物視覺的仿生眼設計

2009-09-10
作者:陳瑞森1,2

  摘??要: 在充分研究第一代視覺假體功能的基礎上,利用細胞神經網絡(CNN)的圖像處理能力,結合生物視覺中信息加工與編碼的原理,設計了一款符合第一代視覺假體功能的仿生眼電路系統。
  關鍵詞: 細胞神經網絡; 生物視覺; 電路系統

?

  眼是人類接收外界信息的主要窗口,人所接收的70%的外界信息來自于人的眼睛。但一些疾病如視網膜色素變性(RP)、老年黃斑變性(AMD)以及一些外傷所導致的失明,目前缺乏有效的治療措施[1],仿生眼是唯一可以使這些RP和AMD或者外傷失明的人恢復基本感知功能的方法。在仿生眼的實現中,除了視網膜信號處理以及信息編碼的研究外,用數字信號處理方法建立視覺信號的并行、快速處理的數學模型和快速算法,實現圖像信號和視神經纖維上動作電位的轉換,是對信息科學中信號處理提出的一個新的挑戰[2]。第一代視覺仿生眼的預期功能是讓患者能進行慢速的閱讀,識別一些簡單的物體,完成一些簡單的視覺任務[2]。本文采用基于CNN[3-4]的數學模型以及相關的數字指令來建立一個能并行、快速處理視覺信號的數字CNN信號處理系統。在研究視網膜信號處理以及信息編碼時,把視網膜作為控制論中的“黑箱”來看待,根據其輸入與輸出進行對照分析,初步得到視網膜信息處理和編碼的結果,并利用具體電路加以實現以完成圖像信號和視神經纖維上的動作電位轉換,最終完成一款能實現第一代仿生眼功能的數字電路系統模型。
1 仿生眼系統及其關鍵技術
  本文研究的仿生眼通過視神經與大腦相連,因此其基本結構框圖如圖1所示,眼外部分的攝像頭將圖像信號轉化為電信號,視覺處理系統將圖像信號經過一定的圖像處理算法,送到刺激器以形成符合一定模式的信號序列來刺激視神經,在圖1的框圖中,圖像處理算法以及圖像編碼(即信號序列的產生)是兩個重要的模塊。下面將分別介紹這兩個模塊的設計中涉及到的一些基本技術或原理。

?

?

1.1 細胞神經網絡
  由生理解剖學可知,當視神經纖維的動作電位序列作為視網膜的最終輸出信號傳向中樞時,它們已經是經過初步加工和處理的信息了,而且這種處理是一種并行、快速的處理過程[5]。而細胞神經網絡(CNN)是一種能實時、高速并行處理信號的大規模非線性模擬電路,具有易于VLSI實現、能高速并行處理信息的優點,因此CNN非常適合用于仿生眼中的圖像信息處理[6],在這里將簡單回顧一下CNN的基本原理。
  圖2為一個簡單的二維m×n的CNN結構圖。C(i,j)表示第i行、第j列的神經元,它只同周圍r范圍內的神經元相連,而同其他的神經元不連接。細胞神經網絡是一個大的動態系統,它的每個神經元細胞可用下面的狀態方程描述:

  

  其中xij(t)指t時刻各細胞的狀態,ykl(t)是細胞的輸出,ukl是細胞的初始輸入值,A、B、I分別是反饋模板、控制模板和閾值電流,CNN神經元細胞陣列的不同圖像處理功能主要取決于反饋模板A、控制模板B以及閾值I的不同設置。
1.2? 視覺信息編碼
  當改變落在視網膜上的圖像時,新的視覺信息就會被編成神經沖動傳進大腦,在迅速的視覺處理中,神經編碼的本質目前尚不清楚,還處在摸索中。現在通常把視網膜作為控制論中的“黑箱”來看待,只對它的輸入(相當于作用于視網膜的光刺激)和它的輸出(相當于由視神經傳出的動作電位序列)進行對照分析,這樣探索視網膜信息處理和編碼方式。第一代視覺假體的預期功能是讓患者能進行慢速的閱讀,識別一些簡單的物體,并不是為了恢復患者的所有視覺,因此本文更關注的是視網膜中對圖像空間信息的編碼。從對脊椎動物的實驗可知,可以用兩種特性來描述視網膜中神經節細胞對圖像空間信息的反應,一種是從圖像刺激到神經節細胞輸出第一個脈沖的時間間隔,稱為脈沖延時,另外一種就是輸出的總脈沖數[7-10]。從一些感覺系統的實驗中可以得到以下結論:更強的刺激意味著更短的脈沖延時和更多的脈沖數(脈沖數有例外情況)[7],因此可以把脈沖延時作為空間編碼的主要特性。本文中的圖像編碼模塊的設計正是基于此原理。
2 圖像處理及編碼模塊的設計
  本文的仿生眼系統處理的圖像主要為最簡單的數字圖像(二值圖像),若為灰度級圖像則不加處理直接進行圖像編碼傳送到眼內部的解碼模塊或對灰度級圖像先進行二值化處理,下面對具體模塊的設計加以介紹。
2.1 圖像處理模塊的設計
  圖像處理模塊主要利用CNN強大的圖像處理能力[6],但CNN本身是模擬電路,因此在噪聲、精確度、魯棒性以及芯片間的通信、參數調整等方面存在一些不足[11-13],因此本文采用數字CNN電路。所謂數字CNN電路即以數字架構來仿效實現CNN功能的芯片,該設計方式使用數字的方法來仿效實現CNN的微分方程式,計算結果是比較容易用電路實現的,且電路功能也是可測試的[14-15]。在數字電路中,進行數據處理的場所主要是運算器(算術邏輯運算單元ALU),因此在數字CNN電路中,每個像素處理單元的硬件電路就類似于一個ALU結構,該ALU結構的相關運算組合能實現類似狀態方程(1)和(2)的運算結果,例如對于模擬CNN并行陣列,水平線檢測的A、B模板和閾值I分別為:
  

  將相應參數代入線性方程(1)和(2),可得到的Cij輸出Yij為:
    

  由水平檢測的模板可以看出,神經元Cij的最終輸出只與其左右邊單元的輸入以及本身的輸入和輸出有關。由水平檢測的結果可以看出,若用0來代替白色像素的取值,1代替黑色像素的取值,則通過輸入與輸出的真值表,可以得到水平線檢測相當于邏輯表達式:
  
  上面的例子代表了類似圖3(a)模板的數字實現方式,圖3(b)模板的數字實現方式類似圖3(a)模板的實現方式,例如對于左陰影檢測的模板如圖3(c),相應的輸出輸入關系式為:
  

?

  只是需要一直執行上面的“或”指令,直到Yi,j-1 不再變化,即Yij也不再變化,只要所有神經元的輸出都不再變化,指令便可停止執行,左陰影檢測即可完成。
  經過上面的分析,對一些常用的模板的運算結果進行真值表化簡后,可以得出只要具備表1的算術邏輯指令,就可以實現二值(黑白)圖像相應的圖像處理功能[16-18],至于灰度圖像的處理,則需要先對灰度圖像進行二值化處理。
在完成了上面的分析以后本文具體對CNN細胞單元進行了設計,圖4為其結構框圖。

?

2.2 圖像編碼模塊的設計
  由1.2節的內容可知,圖像的空間信息可以用脈沖延時以及脈沖個數兩個特征來編碼,而且刺激越大,脈沖延時越短,脈沖個數越多。根據這個原理,本文利用硬件描述語言對圖像編碼模塊進行了具體設計,圖5為其結構框圖。其基本工作原理如下:當CLK信號上升沿到來時接收來自圖像處理模塊的輸出,并將其數值轉化為表征刺激程度的數字量作為預置計數器的初始計數值,預置計數器計數溢出時產生一個小脈沖作為脈沖序列產生器的觸發脈沖,脈沖序列產生器每接收到一個脈沖時其輸出取反。脈沖延時以及脈沖個數的產生依賴于CLK、CLK1以及初始計數值的取值,這3個參數的取值主要根據實驗數值來設置,并可做相應調整。

?

3 系統仿真
  在確定了圖像處理以及編碼模塊的設計思路及相關框圖以后,本文具體用硬件描述語言對相關模塊進行描述并仿真。在圖像處理模塊上本文具體設計了一個8×8的數字CNN陣列,并對其圖像處理功能進行了仿真,實驗結果證明,該數字CNN陣列可以對二值圖像進行特征提取等操作,圖6為水平檢測以及圖像腐蝕的效果圖。圖7為圖像編碼模塊的輸出,由圖7可以看出,不同的刺激程度,直接決定了圖像編碼模塊的脈沖延時以及脈沖數,圖7(a)的刺激,脈沖延時大約為0.53 μs(CLK1的上升沿到最近右邊pulseout邊沿的距離),脈沖數為3個(1個CLK1周期內,pulseout脈沖的個數),圖7(b)的刺激,脈沖延時為0.033 μs,脈沖數為4個。以上數據只證明圖像編碼電路的原理是正確的,具體參數的設計還需要根據實驗觀測數據加以調整。從仿真結果可以證實,本文的圖像處理以及編碼模塊的設計是成功的。
到目前為止筆者對視覺系統的認識還比較有限,在視神經的編碼方式、視覺信息的處理等方面,還有許多內容需要去探討研究,隨著時間的推移,對這些領域的認知將會不斷增多,利用電路系統實現的仿生眼將會更精確。本文主要是利用目前對視覺系統的了解,建立一個電路模型,下一步的工作將對該電路模型進行進一步的優化和改進,并進行實際應用的研究。

參考文獻
[1] ?KRUMPASZKY H G, KLAUSS V. Epidemiology of blindness and eye disease. Ophthalmological[J],1996,210(1):1.
[2]?喻瑋. 基于DSP的人工視覺圖像處理系統[D].?上海:上海交通大學, 2007.
[3] CHUA L O, YANG L. Cellular neural network: theory[J]. ?IEEE Trans, CAS, 1988, CAS-35:1237-1290.
[4] ?CHUA L O, YANG L. Cellular neural network: Applications[J]. IEEE Trans on CAS, 1988, CAS-35:1272-1275.
[5] ?DOWLING J E. The retina: an approachable part of the?brain. Cambridge, Mass : Belknap Press of Harvard Univ ??Press, 1987.
[6] ?YANG Tao. Cellular image processing[M]. Nova Science?Publishers,Inc.Huntington, NY 2001.
[7] ?GOLLISCHJ T, MEISTER M. Rapid neural coding in the?retina with relative spike latencies[J]. Science, 2008,2(319):1108-1110.
[8] KAGAWA K, ISAKARI K, FURUMIYA T, et al. Pixel?design of pulsed CMOS image sensor for retinal prosthesis
?with digital photosensitivity control[J]. Electronics?Letters, 2003,5(39):419-421.
[9] ?OHTA J, YOSHIDA N, KAGAWA K, et al. Proposal of?application of pulsed vision chip for retinal prosthesis[J].?Jpn. J. Appl. Phys. 41,2322(2002).
[10] FURUMIYA T, UEHARA A, ISAKARI K, et al. Pulse-frequency-modulation vision chip with frequency? range
?control as a retinal prosthesis device[J], Proc. SPIE?4829,969 (2002).
[11] WEN K A, SU J Y, LU C Y. VLSI design of digital?cellular neural networks for image processing[J]. Journal??of Visual Communication and Image Representation, 1994,?5(2):117-126.
[12] NAGY Z, SZOLGAY P. Configurable multilayer CNN-UM ?emulator on FPGA[J]. IEEE Trans. Circuits System. I:
?Fundamental Theory and Applications, 2003,50(6):774-778.
[13] NAGY Z, SZOLGAY P. Numerical solution of a class of?PDEs by using emulated digital CNN-UM on FPGAs[J].
?Proc. 16th European Conf. on Circuits Theory and Design,?Cracow, Sep. 2003.
[14]?KOMURO T, ISHII I, ISHIKAWA M. Vision chip arc?tecture using general-purpose processing elements for lms
?vision system[J]. Computer Architecture for Machine?Perception, 1997:276-279.
[15] KOMURO T, ISHII I, ISHIKAWA M, et al. A digital?vision chip specialized for high-speed target tracking[J].?IEEE Transactions on Electron Devices. 2003,50(1).
[16] 雷國偉. CNN圖像識別算法及其指令集的研究[D].?廈門:廈門大學電子工程系, 2004:28-35.
[17]?郭東輝. CNN 并行處理器視覺圖像處理指令集[M].?廈門大學EDA實驗室內部技術資料,2003.
[18]?郭東輝. CNN并行處理器視覺圖像處理擴展指令集[M]. 廈門大學EDA實驗室內部技術資料,2003.

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
在线午夜精品自拍| 欧美一区免费视频| 亚洲欧美日韩一区| 日韩视频免费观看高清在线视频| 国产亚洲福利社区一区| 国产精品日韩在线一区| 欧美性大战久久久久久久| 欧美女主播在线| 欧美精品激情在线观看| 欧美成人第一页| 欧美成年人视频| 欧美 日韩 国产在线| 欧美成年人网站| 欧美激情精品久久久久久变态| 女人色偷偷aa久久天堂| 欧美成人一区二区在线| 免费日韩精品中文字幕视频在线| 久久一区二区三区av| 老司机午夜精品视频在线观看| 久久综合影视| 欧美成人免费网站| 免费观看成人www动漫视频| 久久青草久久| 久久一区欧美| 欧美成人免费一级人片100| 欧美大尺度在线| 欧美电影在线观看| 欧美日韩精品免费观看| 欧美色图天堂网| 国产精品成人一区二区三区吃奶| 国产精品乱码久久久久久| 国产精品亚洲综合一区在线观看| 国产欧美一区二区三区久久人妖| 国产中文一区二区| 亚洲第一天堂无码专区| 亚洲日本aⅴ片在线观看香蕉| 日韩亚洲国产欧美| 亚洲午夜av| 欧美一区二区三区视频在线 | 日韩亚洲欧美中文三级| 亚洲香蕉在线观看| 久久成年人视频| 亚洲美女视频在线免费观看| 一本色道久久综合亚洲精品高清| 亚洲一级一区| 久久黄色小说| 欧美成人综合网站| 国产精品国产三级国产普通话99 | 欧美日韩精品一区二区| 国产精品美女在线观看| 狠狠入ady亚洲精品| 亚洲国产高清视频| 一区二区三区免费网站| 欧美一区二区私人影院日本 | 亚洲精品自在在线观看| 亚洲主播在线观看| 亚洲激情在线观看| 亚洲综合色婷婷| 久久午夜精品| 欧美图区在线视频| 狠狠色狠狠色综合日日tαg| 亚洲精品美女| 欧美在线欧美在线| 国产精品99久久久久久有的能看| 久久福利毛片| 欧美日韩精品在线观看| 国产日韩欧美综合一区| 亚洲精品字幕| 亚洲高清在线视频| 亚洲专区一区二区三区| 噜噜噜躁狠狠躁狠狠精品视频| 欧美午夜不卡视频| 在线视频国产日韩| 亚洲欧美在线一区| 一区二区三区国产精华| 久久一区二区三区四区五区| 国产精品www.| 亚洲精美视频| 久久精品首页| 亚洲欧美日韩一区在线| 欧美国产日产韩国视频| 国模套图日韩精品一区二区| 一本久久综合亚洲鲁鲁| 亚洲国产小视频在线观看| 欧美影院精品一区| 国产精品成人v| 亚洲精品之草原avav久久| 亚洲福利专区| 久久国产精品色婷婷| 欧美视频亚洲视频| 亚洲激情啪啪| 亚洲国产精品第一区二区| 欧美亚洲系列| 国产精品人人爽人人做我的可爱| 亚洲国产欧洲综合997久久| 久久国产一区| 久久久国产亚洲精品| 国产精品毛片a∨一区二区三区|国 | 亚洲一二三区精品| 这里是久久伊人| 欧美激情精品久久久久久免费印度 | 亚洲欧美日韩国产另类专区| 欧美精品一区二区精品网| 精品不卡在线| 亚洲第一狼人社区| 久久九九热免费视频| 国产精品自在线| 亚洲一区三区视频在线观看| 正在播放欧美视频| 欧美日韩另类一区| 亚洲免费观看在线视频| 99av国产精品欲麻豆| 欧美激情网友自拍| 91久久久久久| 亚洲免费精彩视频| 欧美肥婆在线| 亚洲人体偷拍| 一区二区三区产品免费精品久久75| 欧美激情影音先锋| 亚洲日本中文字幕| 99在线观看免费视频精品观看| 欧美国产在线视频| 91久久夜色精品国产九色| 国内精品免费在线观看| 欧美午夜视频一区二区| 欧美日韩性视频在线| 欧美三级午夜理伦三级中文幕| 亚洲成人在线视频播放| 亚洲免费视频成人| 午夜精品一区二区三区在线视| 欧美亚洲第一页| 一区二区三区四区精品| 亚洲午夜三级在线| 欧美日韩精品在线| 一本色道久久综合亚洲精品按摩 | 久久一区国产| 在线观看亚洲a| 亚洲日韩成人| 欧美日韩精品免费观看视频完整| 亚洲蜜桃精久久久久久久| 亚洲午夜一二三区视频| 国产精品久久久久9999高清| 亚洲欧美另类在线观看| 欧美在线一区二区三区| 激情综合在线| 揄拍成人国产精品视频| 亚洲一区国产一区| 欧美在线播放高清精品| 国产一区二区三区高清在线观看| 亚洲大胆视频| 欧美—级在线免费片| 一区二区三区视频免费在线观看 | 欧美激情一区二区久久久| 一本大道久久a久久精品综合| 午夜精品久久久久久久久久久久久| 久久高清国产| 欧美三级第一页| 91久久精品日日躁夜夜躁欧美 | 欧美在线三区| 1000精品久久久久久久久| 亚洲国产一区二区视频| 欧美日韩国产美女| 亚洲欧美日韩在线播放| 卡通动漫国产精品| 亚洲精品自在在线观看| 久久gogo国模啪啪人体图| 亚洲国产精品日韩| 亚洲一区综合| 在线高清一区| 亚洲一区中文字幕在线观看| 国产在线日韩| 亚洲少妇最新在线视频| 国产一区二区日韩精品| 欧美一区二区日韩一区二区| 亚洲资源在线观看| 久久乐国产精品| 亚洲国产成人av| 欧美伊人久久久久久午夜久久久久| 麻豆91精品| 99国产精品视频免费观看| 久久琪琪电影院| 99国产精品久久久久久久| 久久激情一区| 日韩网站在线| 久久婷婷国产麻豆91天堂| 日韩一级在线| 美女爽到呻吟久久久久| 亚洲一区精品视频| 中文在线资源观看网站视频免费不卡| 国产私拍一区| 亚洲午夜免费视频| 在线不卡a资源高清| 欧美成人精品| 国产精品久久久久aaaa| 亚洲国产三级| 国产精品婷婷| 在线视频欧美精品| 亚洲黄色精品| 久久免费国产| 亚洲一区二区免费在线|