????摘? 要: 介紹國內外手語研究的主要方向及研究現狀,手語識別的各種方法、手語合成的組成部分、手語網絡通信的實現技術以及手的運動約束問題。
??? 關鍵詞: 人體語言? 手語? 識別? 合成? 通信? 運動約束
?
??? 手語是聾啞人使用的語言。它是由手形動作輔之以表情姿勢而構成的比較穩定的表達系統,是一種靠動作/視覺進行交際的特殊語言。
??? 人類交互往往聲情并茂,除了采用自然語言(口語、書面語言)外,人體語言(表情、體勢、手勢)也是人類交互的基本方式之一。與人類交互相比,人機交互就呆板得多,因而研究人體語言理解,即人體語言的感知,及人體語言與自然語言的信息融合對于提高計算機的人類語言理解水平和加強人機接口的可實用性是極有意義的。手語是人體語言的一個非常重要的組成部分,它是包含信息量最多的一種人體語言,它與語音及書面語等自然語言的表達能力相同,因而在人機交互方面,手語完全可以作為一種手段,而且具有很強的視覺效果,它生動、形象、直觀。
??? 手語的研究不僅有助于改善和提高聾啞人的生活學習和工作條件,為他們供更好的服務。同時也可以應用于計算機輔助啞語教學、電視節目雙語播放、虛擬人" title="虛擬人">虛擬人的研究、電影制作中的特技處理、動畫的制作、醫療研究、游戲娛樂等諸多方面。另外,手語的研究涉及到數學、計算機圖形學、機器人運動學、醫學等多學科。因此,手語的研究是一個非常有意義的課題。這里將結合國內外手語研究的相關方向,對手語的識別、手語的合成、手語的網絡通信、手的運動約束這幾方面作一下綜述。
1 手語的識別
??? 手語的識別不但具有深遠的研究意義,而且具有廣闊的實際應用前景,至少表現在以下幾個方面:(1)能夠使得聾啞人,尤其是使得文化程度比較低的聾啞人,使用手語和正常人交流;(2)從認知科學的角度,研究人的視覺語言理解的機制,提高計算機對人類語言的理解水平;(3)利用手勢控制VR中的智能體;(4)機器人的示范學習;(5)虛擬現實系統中的多模式接口等。
??? 從手語輸入設備來看,手語識別系統" title="識別系統">識別系統主要分為基于數據手套的識別和基于視覺(圖像)的手語識別系統。基于數據手套的手語識別系統,是利用數據手套和位置跟蹤器" title="跟蹤器">跟蹤器測量手勢在空間運動的軌跡和時序信息。這種方法的優點是系統的識別率高。缺點是打手語的人要穿戴復雜的數據手套和位置跟蹤器,并且輸入設備比較昂貴。利用數據手套等典型傳感設備的方法,臺灣大學的Liang等人利用單個VPL數據手套作為手語輸入設備,可識別臺灣手語課本中的250個基本詞條,識別率為90.5%。CMU的Christopher Lee和Xu在1995年完成了一個操縱機器人的手勢控制系統。Kadous用Power Gloves 作為手語輸入設備,識別有95個孤立詞構成的詞匯集,正確率為80%。基于視覺的手勢識別" title="手勢識別">手勢識別是利用攝像機采集手勢信息,并進行識別。該方法的優點是輸入設備比較便宜,但識別率比較底,實時性較差,特別是很難用于大詞匯量的手語錄的識別。在基于視覺的方法方面,具有代表性的研究成果包括:1991年富士通實驗室完成了對46個手語符號的識別工作。Davis和Shah將戴上指間具有高亮標記的視覺手套的手勢作為系統的輸入,可識別7種手勢。Starner等在對美國手語中帶有詞性的40個詞匯隨機組成的短句子識別率達到99.2%。Grobel和Assam從視頻錄像中提取特征,采用HMM技術識別262個孤立詞,正確率為91.3%。此外,Vogler與Metaxas將兩種方法結合用于美國手語識別,交互采用一個位置跟蹤器及三個互相垂直的攝像機作為手勢輸入設備,完成了53個孤立詞的識別,識別率為89.9%。
??? 從識別技術" title="識別技術">識別技術來看,以往手語識別系統主要采用基于人工神經網絡(ANN)及基于隱Markov模型(HMM)等方法。神經網絡方法具有分類特性及抗干擾性,然而由于其處理時間序列的能力不強,目前廣泛用于靜態手勢的識別。著名的Fels的GloveTalk系統采用神經網絡方法作為識別技術。對于分析區間內的手語信號,通常采取HMM方法進行模型化。HMM是眾所周知并廣泛使用的統計方法,一般拓撲結構下的HMM具有非常強的描述手語信號的時空變化能力,在動態手勢識別領域一直占有主導地位,如卡內基·梅隆大學的美國手語識別系統及臺灣大學的臺灣手語識別系統等均采用HMM作為系統的識別技術。另外,Grobel與Assam利用HMM識別由戴有色手套的用戶通過攝像機輸入的262個孤立手語詞,正確率為91.3%。然而正是由于HMM拓撲結構的一般性,導致這種模型在分析手語信號時過于復雜,使得HMM訓練和識別計算量過大。尤其是在連續的HMM中,由于需要計算大量的狀態概率密度,需要估計的參數個數較多,使得訓練及識別的速度相對較慢。因而以往手語識別系統所采用的HMM一般為離散HMM。
??? 在我國,哈爾濱工業大學的吳江琴、高文等給出了ANN 與HMM的混合方法作為手語的訓練識別方法,以增加識別方法的分類特性和減少模型的估計參數的個數。將ANN-HMM混合方法應用于有18個傳感器的CyberGlove型號數據手套的中國手語識別系統中,孤立詞識別率為90%,簡單語句級識別率為92%。接下來高文等又選取Cyberglove型號數據手套作為手語輸入設備,并采用了DGMM(dynamicGaussianmixturemodel)作為系統的識別技術,即利用一個隨時間變化的具有M個分量的混合GaussianN-元混合密度來模型化手語信號,可識別中國手語字典中的274個詞條,識別率為98.2%。與基于HMM的識別系統比較,這種模型的識別精度與HMM模型的識別精度相當,其訓練和識別速度比HMM的訓練與識別速度有明顯的改善。他們為了進一步提高識別速度,識別模塊中選取了多層識別器,可識別中國手語字典中的274個詞條,識別率為97.4%。與基于單個DGMM的識別系統比較,這種模型的識別精度與單個DGMM模型的識別精度基本相同,但其識別速度比單個DGMM的識別速度有明顯的提高。2000年在國際上他們首次實現了5000詞以上的連續中國手語識別系統。另外,清華大學的祝遠新、徐光祐等給出了一種基于視覺的動態孤立手勢識別技術,借助于圖像運動的變階參數模型和魯棒回歸分析,提出一種基于運動分割的圖像運動估計方法。基于圖像運動參數,構造了兩種表觀變化模型分別作為手勢的表現特征,利用最大最小優化算法來創建手勢參考模板,并利用基于模板的分類技術進行識別。對12種手勢的識別率超過90%。在進一步研究中,他們又給出了有關連續動態手勢的識別,融合手勢運動信息和皮膚顏色信息,進行復雜背景下的手勢分割;通過結合手勢的時序信息、運動表現以及形狀表觀,提出動態手勢的時空表現模型,并提出基于顏色、運動以及形狀等多模式信息的分層融合策略抽取時空表觀模型的參數。最后,提出動態時空規整算法用于手勢識別。對12種手勢,平均識別率高達97%。
??? 盡管已經實現了一些手語識別系統,但中國手語識別仍然面臨許多挑戰性課題,如手勢不變特征的提取、手勢之間的過度模型、手語識別的最小識別基元、自動分割識別基元、詞匯量可擴展的識別方法、手語識別的輔助信息、非特定人的手語識別問題、混合手指語和手勢語的手語識別以及中國手勢語語法等。
2 手語的合成
??? 手語的合成是使聾啞人理解正常語言表達的最有效手段,在手語合成中涉及以下幾個方面的問題:文本輸入部分、文本切分部分、文本的分析與手語碼轉換、手語庫的建立與基于手語詞的手語合成和手語的顯示。
??? 文本輸入部分的功能是編輯輸入漢語句子。文本的切分將句子分成詞,標點符號單獨成詞。系統的分詞過程首先采用最大匹配發切分,然后利用第一步分詞結果通過查找詞條的歧義標志位調用詞規則,進而進行歧義校正。文本分析與手語碼轉換是手語合成的重要部分。雖然中國手語是參考漢語制定的,但是兩種語言的差別主要體現在四個方面:語言表達形態、基本詞匯、句子結構和構詞方法。在語言表達形態上:漢語是靠語音/聽覺交際的有聲語言。中國手語是一種靠動作/視覺交際的可視化語言。在基本詞匯上:漢語的詞匯大約有近五萬多個字組成,總的詞匯量可達十萬多個。中國手語的詞匯僅由3330個手勢語組成。中國手語的手勢詞語與漢語的詞語不完全存在一一對應的關系。在句子的語法結構上:手語句子與漢語句子的詞序有所不同,此外還省略了日常語言的某些詞如量詞。因此從漢語轉換到中國手語,主要解決的是基本詞匯上的差別,同時考慮部分詞匯的差別。手語詞庫記錄了每個手語詞的手語運動信息,是手語合成的重要基礎。建立手語詞庫不僅工作量大,而且其質量也直接影響合成手語的結果。目前建立手語詞庫的方法有兩種:運動跟蹤方法和手工編輯方法。也有人綜合使用這兩種方法。運動跟蹤的方法是對腕關節及各手指關節的運動由數據手套獲取,肩關節與肘關節的運動由位置跟蹤傳感器獲取。而手工的方法是通過手工實驗來獲取手勢的參數。手語是一種可視語言,合成的手語只有顯示出來,觀察者才能“讀”取手語的信息與意義。手語的合成與顯示的實現的方法是:在VRML中有一部分是專門用于描述三維人體模型的H-Anim標準,根據此標準對虛擬人的定義,一個虛擬人有47個關節96個自由度,只要確定這96個自由度的角度值,應用運動學的方法和計算機圖形學的方法,就可以計算出虛擬人每個肢體的位置和方向,由此確定虛擬人的一個姿態。一個手語運動是一個人體手勢的序列,按照預定的時間間隔連續顯示一個手語運動中的每一個手勢,既可以生成對應的手語運動。
3 手語的網絡通訊
??? 當今,網絡通訊已經成為一種重要的通訊手段。研究啞語通訊,使聾啞人更好地融入網絡社會,感受科技的進步,更好的為他們服務并且方便了他們的生活。而手語作為一種動作語言,從廣義上講,它的應用不僅僅局限于聾啞人之間,聾啞人與非聾啞人之間,以及異語種間健常人的交流都可能應用到動作語言。從這個意義上,研究啞語的表達與通訊,具有更加廣泛的社會意義和實際應用前景。
??? 要實現手語的網絡通訊,必須采用一種恰當的技術,它既能完成手語圖像的三維動畫表示,產生的數據、文件應該盡可能地短小,且便于壓縮,以利于網絡傳輸,提高網絡傳輸速度,避免網絡擁塞,實現實時反應。可以使用三維動畫技術來實現手語動畫,但一般的三維動畫技術形成的圖像雖然可以滿足生動逼真的要求,卻不適合網絡應用。因為它們用于圖像和動畫的文件格式是基于像素的,大小和行為都是固定的,為了得到物體的三維印象,至少需要兩幅圖像,這使傳輸量巨大且不能實現交互。同時,基于HTTP、HTML標準的WWW只能表示和傳遞二維信息,不能滿足對三維環境和三維顯像具有特定要求的應用需求。鑒于這種應用的特殊要求,提出采用VRML技術。VRML(Virtual Reality Modeling Language)是一種可以在WWW上操作的三維圖形可視化工具,VRML 2.0發布于1996年8月,它能夠以靈活有效的方式,將二維、三維圖形和動畫、影片、聲響和音樂等多種效果調和在一起,形成一個綜合性的單一媒體,在環球網上創建動態世界。VRML本身不是一種傳統的編程語言,它是一種建模語言,有它自己的文件格式,人們可以用它描述三維場景。它不但能滿足圖像質量的要求,而且存儲和傳輸的只是物體的三維坐標,圖像本身是在本地生成的,這就大大減少了網絡傳輸量,也便于進行交互操作。同時,使用VRML技術生成的文件格式是ASCII碼,能被有效地壓縮,這就進一步減輕了網絡壓力,提高了傳輸效率,能夠實現手語圖像在網絡上的高速傳輸。
??? 另外,日本北海道大學的青木由直教授是研究手語通訊的倡導者,他通過建立一個不同語言的手語翻譯字典在Internet實現了日語和韓語的手語的聊天系統,進一步又研究了日本與中國的手語變換,手語生成的二維及三維動畫,以及帶有面部表情和嘴唇形狀的日語和韓語的手語聊天系統等。
4 手的運動約束
??? 人手的組成是一個非常復雜的結構。手是由骨頭,連接骨頭的韌帶,作為拉力運動服務的肌肉,運動時連接肌肉與骨頭的腱,以及覆蓋著保護的軟組織和皮膚。骨頭通過關節連接起來并且不能改變大小,肌肉產生扭矩和關節通過拉力運動都存在一塊或更多的肌肉群為其服務。因此,手的運動是極其復雜的。由于真實手的生理特點,手的運動受到一些限制和約束。分析手的運動約束,就可以更好研究虛擬三維人手的運動。這樣一來就可以在有關手的動畫片中避免一些不真實的動作,使其更加擬人化。
??? 手的運動約束主要體現在關節運動的約束上。有以下四種情況:(1)關節角度限制和運動類型的約束。第二到第五手指的第三關節的運動僅能彎曲/伸直或一方向運動,并且第一和第二關節也僅能在同一方向上彎曲/伸直。因此,第二到第五手指的四個手指在同一個平面。(2)指骨之間的關節彎曲的約束。對人的手指運動來說,在沒有外力作用下,不可能存在第一關節彎曲而第二關節不彎曲的情況。經研究發現,第一關節彎曲的角度大約是第二關節彎曲角度的2/3。(3)掌骨與手之間的彎曲的約束。當第三個關節彎曲時大約角度是90°,而對于第二個手指卻少于90°,第三到第五個手指彎曲的角度超過90°。這是因為獨立的一個手指的彎曲要受到指狀組合型韌帶的限制,這樣一個手指的彎曲可能導致其它附近的手指的彎曲,同時一個手指的伸展也要受到其它手指彎曲的阻止。因此,第三關節彎曲的角度依賴于相鄰的手指的彎曲或伸展。(4)掌骨與手之間的關節并攏與分開的約束。自然伸開手掌是,并攏與分開可自由進行,而握成一個拳頭時,隨著手指彎曲的角度增加分開與并攏的角度減少。第三個手指作用限制并攏與分開。此外手的運動約束還包括腕關節,肘關節以及肩關節等。
??? 手語研究的內容多,范圍廣,發展很快,是一個很有前景的研究方向。當然,手語研究較為復雜,而且涉及到多學科多領域,許多問題還有待于進一步的探索。
參考文獻
1 吳江琴,高文,陳熙霖,劉偉等.基于ANN/HMM的中國手語識別系統.計算機工程與應用Vol.35,1999:1～4
2 Sang-Woon Kim,Jinchan Li and Yoshinao AOKI.A Dictionary Structure for Sign Language Translation between? Korean and Japanese.北海道大學工學研究科1997年間報文集.1998:289～293
3 吳江琴,高文.基于DGMM的中國手語識別系統.計算機研究與發展, 2000 Vol.37 No.5 551～558
4 任海賓,祝遠新,徐光祐,林學閆,張曉平等.連續動態手勢的時空表觀建模及識別.計算機學報 2000 Vol.23 No.8 824~828
5 祝遠新,徐光祐,黃浴等.基于表觀的動態孤立手勢識別.軟件學報 2001,11(1) 54～61
6 高文,陳熙霖,馬繼勇,王兆其等.基于多模式接口技術的聾人與正常人交流系統.計算機學報. 2000 Vol.23 No.12 1253～1259
7 徐琳,高文.面向機器翻譯的中國手語的理解與合成.計算機學報. 2000 Vol.23 No.1? 60～65
8 Wu Jiangqin,Gao wen,Chen Xilin,Ma Jiyong.A Hierarchical DGMM Recognizer for Chinese Sign Language Recognition.Tournal of Software ?2000 Vol.11 No.11? 1430～1439
9 宋益波,高文,尹寶才,劉穎,晏潔,徐琳,陳海濤等.文本驅動的聾啞人手語合成系統.計算機學報,1999 Vol.22 No.7 733～739
10 Jintae Lee and Tosiyasu L.Kunii.Model-Based Analysis of Hand Posture.IEEE Computer Graphics and Applications.September 1995 77～86
11 Sang-Woon Kim,Seong-Hyo Shin and Yoshinao Soki.A Representation Method Korean Sign Language with Facial Expression and Lip Shapes.Proceedings of The Third Inter Media Symposium Sapporo＇98.February 3-4,1998:133～136