《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業(yè)界動態(tài) > EMG在語音信號識別中的應用

EMG在語音信號識別中的應用

2008-10-23
作者:戴立梅 姚曉東 王 蓓 鄒

  摘 要: 提出使用肌電信號的語音識別" title="語音識別">語音識別系統(tǒng)。研究證實從面部肌肉中提取的肌電信號存在語音信息。實驗使用(0~9)十個數字,受試者每隔10s重復單詞。講話時用電極記錄五個通道表面肌" title="表面肌">表面肌電信號。用短時傅里葉變換" title="短時傅里葉變換">短時傅里葉變換提取信號的特征量,并通過主成分分析" title="主成分分析">主成分分析降維,有效地提取特征量進行模式識別。分類錯誤范圍在15%以下。實驗表明表面肌電信號的語音識別系統(tǒng)有著極好的前景。
  關鍵詞: EMG信號 語音識別 短時傅里葉變換 模式識別 生物信號處理


  肌電圖EMG(electromyography)是研究或檢測肌肉生物電活動,借以判斷神經肌肉系統(tǒng)機能及形態(tài)學變化,并有助于神經肌肉系統(tǒng)的研究或提供臨床診斷的科學。肌電信號(EMG)發(fā)源于作為中樞神經一部分脊髓中的運動神經元,是電極所接觸到的許多運動單元發(fā)放的動作電位的總和,反映了神經肌肉的活動、功能狀態(tài)[1]。表面肌電信號是從人體骨骼肌表面通過電極記錄下來的神經肌肉活動發(fā)放的生物電信號。肌電信號不僅在臨床醫(yī)學、運動學等領域被廣泛應用,而且研究證實肌肉關節(jié)內的生理肌電信號存在著相應的語音信息[2~3]。不同的肌肉運動模式是由不同的肌群收縮產生的,其所伴隨的表面肌電信號是不同的。而發(fā)音時肌肉對應著不同的運動模式,完全有可能從不同的表面肌電信號特征中找到對應的肌肉動作模式。隨著信號處理方法和計算機技術的發(fā)展,如何從生理肌電信號中識別出語音信號,已引起越來越多人的關注。
  以前有些用肌電信號識別語音的研究,研究目的是使用肌電信號作為輸入來彌補語音信息。肌電語音識別系統(tǒng)與常規(guī)語音識別標準相比,識別準確度較差,但準確度遠高于隨便猜測的準確度。這表明在肌肉關節(jié)內的生理肌電信號存在著語音信息。語音識別中使用肌電信號的優(yōu)點是能夠幫助發(fā)音障礙者交流;且信號不受聲音噪聲干擾;還有一些字在聲學上發(fā)音相似,但說話方式和嘴的位置不同,在表面肌電信號中信號的特征是有區(qū)別的。這意味著肌電信號能用來區(qū)別聽起來相似的字。Day[3]研究表明,識別準確度在聽起來相似和不相似的詞匯中保持相同。使用面部肌電信號的語音識別系統(tǒng)一個應用是幫助操作高性能飛機的飛行員,一旦系統(tǒng)識別出飛行員講的話,能使用信息控制設備,如顯示器、雷達、無線電通信和飛行導航,但飛行艙內是高噪聲的環(huán)境,聲學噪聲能掩蓋飛行員的所有口頭講話,嚴重降低了常規(guī)的語音識別系統(tǒng)的準確度和性能,在飛行艙內使用面部肌電信號能提高語音識別性能。
  本文使用表面肌電信號(EMG)的語音信號識別系統(tǒng)改善噪聲條件下的聲音性能或幫助發(fā)音障礙的人。有些人發(fā)音有障礙,但講話時面部肌肉與正常人有同樣的動作模式,這樣使用表面肌電信號能幫助這些發(fā)音障礙的人發(fā)出簡單的指令,用來交流。
1 原理和方法
  本研究只使用肌電信號的信息識別孤立的單詞、(0~9)十個數字。使用腦電圖儀EEG-1100K(electroencephalograph, EEG)采集肌電信號,采用雙極導聯(lián)模式,采樣頻率1000Hz。使用(0~9)十個單詞做試驗。在實驗中,受試者每10s重復詞匯表中的單詞,每個單詞重復10次。受試者以相似的方式重復講每個單詞,保持音量和語速最小變化。


  表面肌電信號從五組面部肌肉中采樣,五路信號如圖1所示。提肌口(LAI)、顴肌部分(ZYG)、頸闊肌(PLT)、壓板口(DAO)、二腹的前面腹部(ABD)。使用五對表面電極采集肌電信號,每個電極用電極膏改進電極—皮膚界面,降低電阻。參考電極放在鼻根部。圖2是部分數字(0~3)的五路肌電信號(通道LAI、ZYG、PLT、DAO、ABD)時序圖。
  肌電信號分析,首先對采集的信號進行預處理,端點檢測。再使用短時傅里葉變換(STFT)處理數據,提取特征量。通過主成分分析(PCA)減少這些特征集系數的維度。5個肌電通道每個都保留6個PCA系數,這樣一共有30個特征量。使用線性判別分析分類器分類(0~9)十個數字。表面肌電信號中語音識別系統(tǒng)的構成如圖3所示。


2 特征量提取
  肌電信號本質上是具有非平穩(wěn)特性的生理電信號,時頻分析是研究非平穩(wěn)信號的一種有效方法。該方法在時頻面上表述信號的時變特征,能夠更清晰地反映出信號的頻率特性隨時間的變化。本研究使用短時傅里葉變換方法對講不同詞的肌電信號進行分析,由于變換后特征向量" title="特征向量">特征向量的維度很高,為了成功的分類需要采用合適的降維方法,本文通過主成分分析PCA(Principal Component Analysis)減少這些特征集系數的維度。
2.1 短時傅里葉變換
  短時傅里葉變換基本原理:把信號劃分成許多小的時間間隔,分析每一個時間間隔,確定每個間隔存在的頻率,頻譜的總體表示頻譜在時間上的變化。
  信號s(t)短時傅里葉變換定義為:
  
2.2 主成分分析(PCA)
  主成分分析(PCA)是總結多變量分析屬性的方法,經常用于特征提取或數據壓縮上的線性變換。在統(tǒng)計模式識別方面,主成分分析提供降低維度的有效方式,有效地減少特征系數表示的數量[4]。PCA是把特征映射到特征向量上,保留那些最大的特征值。
  p維隨機向量x的n次采樣值構成樣本陣X(n×p),n個p維列向量zi構成矩陣Z,如式(1)。
  Z=XT=(z1 z2 … zp)    (1)
  式中 T=(t1 t2 … tp)為正交陣,其列向量ti為樣本方差矩陣的特征值λi所對應的單位特征向量,且有λ1≥λ2…≥λp,則z1,z2,…,zp分別為樣本陣X的第1主成分,第2主成分,…,第p主成分,而且主成分z1表達了x最主要的信息,z2表達了x次主要的信息,依次類推,前m個主成分一起表達x的主要特征。
3 特征分類
  對肌電信號中的語音識別來說,特征提取是基礎,有效地進行分類是關鍵。本文的模式識別分類采用線性判別分類LDA(linear discriminant analysis),分類(0~9)十個數字。
  線性判別分析,亦稱為Fisher線性判別,是較常用的方法[5]。Fisher準則函數就是為了發(fā)現(xiàn)使得樣本類間離散度和樣本類內離散度的比值最大的投影方向。即在一投影方向上,同一個類的樣本聚集在一起,而不同類的樣本相對比較分散。
  樣本類間離散度矩陣定義為:
  
  其中,μi是Ci類的均值,μ是所有樣本的均值,Pi是先驗概率。
  樣本類內離散度矩陣定義為:
  
  其中, Si=E[(x-μi)(x-μi)Tx∈Ci]投影后希望樣本類間離散度越大越好,而樣本類內離散度越小越好。因此,如果Sω是非奇異矩陣,最優(yōu)的投影方向Wopt就是使得樣本類間離散度矩陣和樣本類內離散度矩陣的行列式比值最大的那些正交特征向量。因此,F(xiàn)isher準則函數定義為:
  
  通過線性代數理論知,Wopt就是滿足等式SbWiiSwWi(i=1,2,…,m)的解,對應于矩陣Sw-1Sb較大的特征值λi的特征向量。
4 實驗與結論
  在實驗中,使用腦電圖儀(EEG-1100K),采用五對電極從面部肌肉同時采集五路肌電信號,受試者每10s講(0~9)十個數字,每個數字重復講十次。對采集的肌電信號首先預處理端點檢測,然后對采集的五路肌電信號分別作短時傅里葉變換,分析窗選用矩形窗,窗寬為1024點。提取短時傅里葉變換頻譜圖的結果矩陣,做主成分分析降低維度,構造特征矢量,輸入線性判別分析分類器進行識別。
  由于傅氏變換后特征向量的維度很高,為了成功地分類需要降低維度,通過主成分分析(PCA)減少特征集系數的維度。本文將不同數字的五路肌電信號的短時傅里葉變換的幅度矩陣進一步做主成分分析降維,構造相應數字的特征矢量,x=[o11,…,o16,…,o51,…,o56]。其中o11,…,o16是第一路信號降維后的主成分;o51,…,o56是第五路信號降維后的主成分。


  表1列出了實驗中(0~9)十個數字降維后ABD通道主成分的部分特征向量。從表1中的數據可以看出由信號傅里葉變換系數的幅度進行主成分分析,提取的特征量具有很好的分離性。
  本文線性模式分類采用基于fisher準則的線性判別分析分類器,對特征矢量分別計算類間散度、類內散度,尋求一最優(yōu)投影方向。圖4表明了(0~9)十個數字分類后的散點圖。經過分類器的識別,對(0~9)十個數字的分類錯誤率在15%以下。


  通過實驗可以得到:短時傅里葉變換后再做主成分分析降維提取特征量,提取的特征穩(wěn)定且易于識別。面部肌肉記錄的表面肌電信號實現(xiàn)語音信號語音識別,輔助發(fā)音障礙者交流。研究結果證明,對10個數字的詞匯使用肌電信號有較好的分類準確度。實驗表明用表面肌電信號提高常規(guī)的語音識別系統(tǒng)有著極好的前景。但是做使用肌電信號實現(xiàn)語音識別系統(tǒng)的可行性結論前,還需進一步研究。首先,必須研究擴展測試條件,如連續(xù)的語音、更少強調發(fā)音、講話速率的最小變化。生理上的變化也可能影響肌電信號。
參考文獻
1 王新德,湯曉芙,崔麗英等.神經病學(2)——神經系統(tǒng)臨床電生理學,人民軍醫(yī)出版社,2002
2 Morse,M.S., O′Brien, E.M. Research summary of a scheme to ascertain the availability of speech information in the myoelectric signals of neck and head muscles using surface electrodes.Computers in Biology and Medicine,1986;16(6):399~410
3 Day, S.H. (1990): Recognition of speech uti-lizing the myoelectric signals of neck muscles- An advanced study in the time domain, M.Sc.Thesis, Auburn University.
4 司風琪,洪軍,徐治皋.基于向量投影的數據 檢驗PCA方法.中國電機工程學報,2002;10
5 Richard O. Duda Peter E. Hart David G. stork著,李宏東, 姚天翔譯. 模式分類.北京:機械工業(yè)出版社,2003

本站內容除特別聲明的原創(chuàng)文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯(lián)系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲女人av| 日韩亚洲国产欧美| 亚洲国产精品一区二区www| 国产午夜精品麻豆| 国产伦精品一区二区三区在线观看 | 蜜桃久久精品乱码一区二区| 久久久噜噜噜久久| 久久久久久久综合狠狠综合| 久久aⅴ国产紧身牛仔裤| 午夜日韩电影| 香蕉久久国产| 久久国产一二区| 久久国产精品99国产| 久久九九免费| 久久久久91| 裸体一区二区三区| 欧美91精品| 欧美精品一区二区三区高清aⅴ| 欧美成人日韩| 欧美日韩国产在线| 国产精品第一区| 国产精品一区二区视频 | 亚洲黄色av| 亚洲精品中文字幕女同| 亚洲另类自拍| 亚洲天堂av高清| 亚洲欧美视频在线观看视频| 欧美伊人久久久久久久久影院 | 亚洲区免费影片| 亚洲美女在线观看| 亚洲一区二区四区| 先锋资源久久| 久久亚洲精品视频| 欧美精品v日韩精品v国产精品 | 亚洲福利视频在线| 一本色道久久加勒比88综合| 亚洲免费视频网站| 亚洲国产精品久久久久秋霞影院| 亚洲精品少妇| 亚洲一区二区视频在线| 欧美在线视频导航| 免费欧美高清视频| 欧美日韩中文字幕日韩欧美| 国产日韩欧美亚洲| 亚洲国产精品久久人人爱蜜臀| 亚洲精品裸体| 亚洲私人影吧| 亚洲国产精品一区二区第四页av| 99精品99久久久久久宅男| 午夜精品理论片| 麻豆久久婷婷| 国产精品99免视看9| 国色天香一区二区| 亚洲美女精品久久| 欧美影院一区| 一区二区三区日韩欧美精品| 久久国产99| 欧美日韩成人综合| 国产在线观看一区| 99在线精品视频| 久久精品国产一区二区三区| 亚洲私人黄色宅男| 快射av在线播放一区| 欧美视频在线一区二区三区| 国产一区二区三区高清| 9i看片成人免费高清| 久久精品72免费观看| 亚洲午夜女主播在线直播| 久久久国产一区二区| 欧美丝袜一区二区三区| 黄色欧美成人| 亚洲一区视频| 99国产精品国产精品毛片| 久久精品综合| 国产精品高潮视频| 亚洲国产影院| 欧美在线视频导航| 亚洲一级特黄| 欧美激情成人在线视频| 国产亚洲成人一区| 亚洲小说区图片区| 这里只有精品视频在线| 美国成人直播| 国产精品一区免费视频| 99视频有精品| 亚洲精品久久久久久久久久久久久 | 欧美粗暴jizz性欧美20| 国产伦理精品不卡| 一区二区高清视频在线观看| 亚洲三级免费| 久久免费的精品国产v∧| 国产精品你懂的在线欣赏| 亚洲日本va午夜在线电影| 亚洲成色777777女色窝| 久久国产精品一区二区| 国产精品日本欧美一区二区三区| 亚洲日韩欧美一区二区在线| 亚洲黄色影院| 久久久久久亚洲综合影院红桃| 国产精品日日摸夜夜添夜夜av| 日韩午夜免费| 99综合电影在线视频| 欧美韩日一区| 在线观看视频日韩| 亚洲大片在线观看| 久久裸体视频| 黑人一区二区| 欧美一区在线看| 久久本道综合色狠狠五月| 国产精品免费观看在线| 一区二区欧美精品| 亚洲一区二区免费视频| 欧美日韩精品伦理作品在线免费观看| 亚洲第一网站免费视频| 亚洲国产91色在线| 久久久久久久综合色一本| 国产精品一二三四| 亚洲免费在线视频| 欧美一级欧美一级在线播放| 国产精品欧美一区喷水| 亚洲欧美国产高清va在线播| 香蕉久久夜色精品国产使用方法| 国产精品久久久久三级| 亚洲一区二区三区成人在线视频精品 | 亚洲三级电影全部在线观看高清 | 中日韩高清电影网| 欧美性做爰猛烈叫床潮| 亚洲午夜成aⅴ人片| 亚洲欧美在线另类| 国产欧美一区二区精品秋霞影院| 亚洲自拍三区| 久久国产精品亚洲va麻豆| 国内成人精品2018免费看| 亚洲福利视频网站| 欧美a级一区| 亚洲精品小视频| 亚洲视频在线观看三级| 国产精品久久久久久久久借妻 | 欧美制服第一页| 韩国女主播一区二区三区| 亚洲黄色在线| 欧美国产日韩一二三区| 99精品久久久| 欧美中文字幕在线| 在线观看不卡av| 一卡二卡3卡四卡高清精品视频| 欧美日韩另类在线| 亚洲一区图片| 巨乳诱惑日韩免费av| 亚洲欧洲另类国产综合| 亚洲一区在线播放| 国产欧美一区二区三区沐欲| 久久riav二区三区| 欧美激情成人在线| 亚洲系列中文字幕| 久久综合九色九九| 最新国产精品拍自在线播放| 亚洲一区免费网站| 国产一区欧美日韩| 亚洲精品一区二区网址 | 亚洲欧美成人一区二区三区| 久久久噜噜噜久久人人看| 亚洲国产综合视频在线观看| 亚洲字幕一区二区| 激情综合激情| 亚洲婷婷综合色高清在线| 国产亚洲一级高清| 野花国产精品入口| 国产日韩av一区二区| 亚洲激情在线观看视频免费| 欧美新色视频| 亚洲国产影院| 国产精品国产福利国产秒拍 | 小辣椒精品导航| 亚洲第一狼人社区| 亚洲免费婷婷| …久久精品99久久香蕉国产| 亚洲一区视频在线观看视频| 激情综合久久| 亚洲一区二区在线视频| 精品动漫3d一区二区三区免费版 | 欧美成人黄色小视频| 亚洲午夜黄色| 美女精品在线观看| 亚洲一区精品电影| 欧美ed2k| 小黄鸭精品aⅴ导航网站入口| 欧美精品在欧美一区二区少妇| 欧美一级欧美一级在线播放| 欧美日韩国产成人精品| 久久精品天堂| 国产精品毛片大码女人| 亚洲美女av黄| 韩国一区二区三区在线观看 | 欧美资源在线观看| 日韩一级精品| 欧美成人综合| 久久精品国产一区二区电影| 国产精品亚洲а∨天堂免在线| 99精品热视频只有精品10|