0 引言

    根據(jù)第六次全國人口普查數(shù)據(jù)顯示，全中國聽力殘疾人數(shù)為2 054萬人，言語殘疾人數(shù)達130萬人^[1]，他們無法像正常人一樣交流溝通，造成了工作、學習、娛樂、就醫(yī)、維權(quán)等不便。他們只能通過手語相互交流，而言語正常的人中只有很少一部分習得手語，聾啞人與普通人之間的交流變得更加困難。因此迫切需要一套智能翻譯設(shè)備來幫助聾啞人與普通人進行正常的溝通和交流。

    2013年微軟亞洲研究院和中科院計算所合作已經(jīng)開發(fā)出了基于Kinect手語翻譯系統(tǒng)，功能強大而且系統(tǒng)穩(wěn)定。但該系統(tǒng)具有設(shè)備昂貴、檢測范圍固定、反向翻譯需要借助于顯示屏、與實際空間有隔閡等缺點，現(xiàn)在并沒有普及。機器人是中國工業(yè)4.0發(fā)展的一個重要領(lǐng)域，未來科技的進步必將使得機器人從電腦屏幕的虛擬空間走進到現(xiàn)實的生活空間，將數(shù)據(jù)手套和智能手語機器人相結(jié)合，使普通群眾能夠享受智能化生活帶來的便捷，符合未來發(fā)展的潮流。

1 總體結(jié)構(gòu)與工作原理

    該雙向手語翻譯系統(tǒng)以STM32F103ZET6微處理器為主控制器，采用模塊化設(shè)計思想，集成語音識別、動作捕捉、動作翻譯、LED顯示、藍牙通信等功能，能夠?qū)崿F(xiàn)語音轉(zhuǎn)手勢和手勢轉(zhuǎn)語音雙向翻譯。語音轉(zhuǎn)手勢部分通過語音識別系統(tǒng)識別非特定人聲，并將數(shù)據(jù)處理反饋給主控制器，然后匹配動作庫，獲取動作指令，完成指定的手語動作。手勢轉(zhuǎn)語音部分通過加速傳感器和彎曲傳感器捕獲手勢動作參數(shù)，通過比對動作庫的值得出手勢。此外，系統(tǒng)具有LED顯示和語音合成功能，方便用戶與機器人的交互。系統(tǒng)總體結(jié)構(gòu)如圖1所示。

2 系統(tǒng)設(shè)計

2.1 硬件電路設(shè)計

2.1.1 語音識別模塊

    語音識別模塊硬件電路包括單片機控制部分、語音識別部分和EEROM。其中單片機控制部分選用的是STM32F103ZET6芯片，該芯片為Cortex-M3內(nèi)核，最高工作頻率72 MHz，1.25DMIPS/MHz可實現(xiàn)單周期乘法和硬件除法，工作電壓為2 V～3.6 V，同語音識別模塊兼容。語音識別部分選用 LD3320 芯片作為識別芯片^[2]，該芯片內(nèi)部集成了語音識別處理器和一些外部電路，包括AD/DA轉(zhuǎn)換器、麥克風接口、聲音輸出接口等，不需要外接其他的輔助芯片如Flash、RAM等，直接集成在現(xiàn)有的產(chǎn)品中即可以實現(xiàn)語音識別功能，而且識別的關(guān)鍵詞語列表是可以任意動態(tài)編輯的。語音識別模塊總體結(jié)構(gòu)圖如圖2所示，其中LD3320芯片內(nèi)部的語音識別原理框圖為虛線框內(nèi)的部分^[3]，供電部分采用ASM117(3.3 V，1 A)穩(wěn)壓器。

2.1.2 LED顯示模塊

    LED顯示模塊采用64×32矩陣共陰極點陣屏，由高亮LED燈、74HC595芯片和UN2003構(gòu)成。74HC595芯片具有8位移位寄存器和一個存儲器，具有速度快、功耗低的特點。74HC595作為LED矩陣的驅(qū)動器^[4]，通過串行方式進行控制，具有電路簡單、控制方便等優(yōu)點。電源部分采用LM2596穩(wěn)壓器，最大輸出電流可達3 A。LED顯示模塊原理結(jié)構(gòu)圖如圖3所示。

2.1.3 語音合成模塊

    語音合成部分選用SYN6288中文語音合成芯片^[5]，通過異步串口(Universal Asynchronous Receiver Transmitter，UART)直接同主控制器通信。SYN6288是一款性價比高、效果自然的中高端語音合成芯片。該芯片通過異步串口通信方式接收待合成的文本數(shù)據(jù)，實現(xiàn)文本到語音的轉(zhuǎn)換。SYN6288芯片采用SSOP28L貼片封裝，硬件接口簡單、低功耗、音色清涼圓潤，在識別文本、數(shù)字、字符串方面更智能、更準確，語音合成自然度更好，可懂度更高。

2.1.4 機械臂控制系統(tǒng)

    機械臂控制系統(tǒng)由32自由度機械臂、PCA9685芯片、LM2596芯片等構(gòu)成。其中32自由度機械臂是模仿人手臂自主建模設(shè)計，并由3D打印機打印而成，關(guān)節(jié)處裝有大扭矩的雙軸舵機，能很好地模仿人體的手臂動作，通過控制舵機來實現(xiàn)關(guān)節(jié)精確移動，結(jié)構(gòu)圖見圖4(a)。舵機控制器采用兩塊PCA9685芯片級聯(lián)的方式，可同時控制32路舵機，電路原理圖見圖4(b)。PCA9685是一款I(lǐng)2C總線接口的16路PWM控制器，每路均可獨立輸出有12 bit分辨率（4096級）固定頻率PWM。該PWM控制器運行在40 Hz～1 000 Hz范圍的頻率下，占空比在0%～100%范圍內(nèi)可調(diào)。供電部分采用LM2596(5 V，3 A)作為穩(wěn)壓芯片，并聯(lián)一個1 000 μF大容量電解電容，提高電源的穩(wěn)定性。

    舵機控制系統(tǒng)^[6]實現(xiàn)對32個舵機的精確控制，通過特定算法實現(xiàn)了僅需要輸入目標角度，關(guān)節(jié)便可勻速到達指定位置的目的。由于舵機較多，大大增加了控制的復(fù)雜性。程序控制將32個舵機分成了3組：左手(11個)、右手(11個)、左右胳膊(10個)，并采取分組控制的方法。

2.1.5 數(shù)據(jù)手套設(shè)計

    數(shù)據(jù)手套^[7]由微處理器STM32、彎曲傳感器Flex4.5"、OLED顯示屏和姿態(tài)傳感器MPU6050^[8]等構(gòu)成，可以捕捉手指的彎曲程度和手臂的運動狀態(tài)，經(jīng)過濾波處理將計算后得到的值與手語庫的值進行比對，得到對應(yīng)的手語動作。其中彎曲傳感器采用FLX-03A型Flex4.5"，該傳感器是一個特殊的電阻型傳感器。當傳感器彎曲或形變時阻值會發(fā)生改變，傳感器正常狀態(tài)時阻值大約是10 k?贅，當傳感器向一個方向彎曲時阻值會增加。通過分壓電路采集AD值可得到對應(yīng)的電阻值，從而獲得手指的彎曲程度。姿態(tài)傳感器MPU6050集成了3軸微電子機械系統(tǒng)(Micro-electromechanical Systems，MEMS)陀螺儀、3軸MEMS加速度計，以及一個可擴展的數(shù)字運動處理器DMP（Data-Management Platform），可減少復(fù)雜的融合演算數(shù)據(jù)、感測器同步化、姿勢感應(yīng)等的負荷。傳感器安裝位置如圖5(a)所示，圖中：1為彎曲傳感器，2為OLED顯示器，3為MPU6050，4為微處理器STM32。圖5(b)為自主設(shè)計制作的數(shù)據(jù)手套外觀圖。

2.1.6 藍牙模塊

    藍牙模塊在該系統(tǒng)中有兩大功能：(1)可以和數(shù)據(jù)手套通信，將手套捕獲的數(shù)據(jù)指令傳至手語機器人，控制語音合成模塊發(fā)出提示音；(2)可以同上位機通信，方便上位機發(fā)送調(diào)試指令，尋找動作的關(guān)鍵節(jié)點。藍牙模塊選用DX-BT05 4.0，該模塊支持UART接口及SPP藍牙串口協(xié)議，具有成本低、體積小、功耗低、收發(fā)靈敏性高等優(yōu)點，只需配備少許的外圍元件就能實現(xiàn)其強大功能。

2.2 軟件設(shè)計

2.2.1 主系統(tǒng)軟件設(shè)計

    主系統(tǒng)軟件部分以STM32為主控制器，通過異步串口通信控制完成語音識別、LED屏顯示、語音合成，并通過異步串口控制舵機驅(qū)動模塊完成指定手語動作。主機軟件通過內(nèi)嵌的FatFS文件管理系統(tǒng)^[9]，完成對SD卡的數(shù)據(jù)存儲與讀取。

    具體實現(xiàn)過程如圖6所示。系統(tǒng)上電初始化完成后，STM32發(fā)送控制指令控制手語機器人播放提示語音并通過LED顯示模塊播放開機動畫，控制舵機驅(qū)動模塊恢復(fù)至起始動作并等待識別。手語機器人獲得識別的語音信息后對數(shù)據(jù)包進行解析，獲得指令碼并和動作庫比對獲得指令代碼的指針。然后FatFS文件管理系統(tǒng)讀取函數(shù)獲得動作指令代碼，并通過舵機控制器控制手臂關(guān)節(jié)實現(xiàn)手語翻譯。同時，STM32可控制手語機器人發(fā)出提示信息，更好地實現(xiàn)人機交互。

2.2.2 主系統(tǒng)軟件設(shè)計

    子系統(tǒng)軟件設(shè)計包括語音轉(zhuǎn)手勢和手勢轉(zhuǎn)語音兩部分。其中語音轉(zhuǎn)手勢子系統(tǒng)實現(xiàn)原理如下：語音識別進行系統(tǒng)初始化，讀取位于存儲器中的等待被識別的關(guān)鍵詞句，等待語音識別指令。識別到語音信號后首先將非特定語音轉(zhuǎn)換為文本。然后提取文本中的關(guān)鍵詞，經(jīng)過算法匹配獲得相似度最高的動作，最后將動作指令碼轉(zhuǎn)換為數(shù)據(jù)包通過異步串口傳送至主控制器。工作流程如圖7所示。

    手勢轉(zhuǎn)語音子系統(tǒng)實現(xiàn)原理如下：數(shù)據(jù)手套通過姿態(tài)傳感器捕獲到手臂的動作后，啟動定時器，通過彎曲傳感器獲得手指彎曲程度，并按照固定時間間隔記錄手臂的動作和手指彎曲程度。一旦檢測到動作停頓后，將每一幀的數(shù)據(jù)同手語庫中的數(shù)據(jù)比對，尋找相似度最大的動作，然后清零計時器，將數(shù)據(jù)發(fā)送給主系統(tǒng)，OLED模塊顯示捕獲到的動作。如果定時器超時，表示識別錯誤，結(jié)束本次識別，等待下一次動作的來臨，工作流程圖如圖7(b)所示。

2.2.3 上位機調(diào)試軟件設(shè)計

    為了方便動作庫的編錄，開發(fā)了一款動作庫上位機調(diào)試軟件。該軟件通過VB可視化編程語言編寫，能夠通過異步串口與主機建立連接。通過拖動軟件界面中滑塊改變機器人關(guān)節(jié)角度值，尋找動作庫中的關(guān)鍵節(jié)點。同時該軟件可以將關(guān)鍵節(jié)點的值自動生成控制指令代碼，提高動作庫的編寫效率。

3 實驗結(jié)果

    系統(tǒng)上電后，自動啟動初始化進程。完成初始化后等待語音輸入。這里測試了詞組“祝您身體健康”。通過向機器人說“翻譯”，告知機器人進入翻譯狀態(tài)，機器人回復(fù)“好”，表示已經(jīng)準備好，向翻譯機器人說出“祝您身體健康”，機器人開始翻譯預(yù)先編程好的“祝您身體健康”的手語動作庫，回復(fù)“正在為您翻譯”，同時LED顯示屏顯示正在翻譯的動作名稱。具體翻譯過程如圖8所示。

4 結(jié)論

    此款智能仿生雙向手語翻譯系統(tǒng)具有操作簡單、詞匯量較大以及雙向轉(zhuǎn)化的優(yōu)勢。產(chǎn)品成本低，識別率較高，不受光照等環(huán)境的影響，給聾啞人和正常人之間的溝通帶來方便。同時該設(shè)備適合用于聾啞人家庭、公共場所以及公益機構(gòu)進行手語教學，因此具有良好的應(yīng)用前景。

參考文獻

[1] 中國殘疾人聯(lián)合會.2010年末全國殘疾人總數(shù)及各類、不同殘疾等級人數(shù)[EB/OL].[2012-6-26].http：//www.cdpf.org.cn/sjzx/cjrgk/201206/t20120626_387581.shtml.

[2] 洪家平.LD3320的嵌入式語音識別系統(tǒng)的應(yīng)用[J].新器件新技術(shù)，2012(2)：47-49.

[3] ICRoute.LD332X數(shù)據(jù)手冊[EB/OL].[2011-10-13].http：//www.icroute.com/web_cn/Download.htm1.

[4] 洪岳煒，王百鳴，謝超英.智能點陣電子顯示屏控制系統(tǒng)設(shè)計[J].實驗室研究與探索，2010，29(2)：37-39.

[5] SYN6288--Manual[EB/OL].[2011-9-6].http：//www.tts168.com.cn/bao/SYN6288--Manual.pdf．

[6] 梁鋒，王志良，解侖，等.多舵機控制在類人機器人上的應(yīng)用[J].微計算機信息，2008，24(1-2)：242-243.

[7] 江立.基于CAS-GLOVE數(shù)據(jù)手套的手勢識別技術(shù)研究[D].北京：北京交通大學，2006.

[8] 曲波，肖圣兵，呂建平.工業(yè)常用傳感器選型指南[M].北京：清華大學出版社，2002．

[9] 崔鵬偉，閆學文.基于SD卡的FATFS文件系統(tǒng)的研究與應(yīng)用[J].嵌入式控制系統(tǒng)，2013，26(11)：141-142.