《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > EMG在語音信號識別中的應用

EMG在語音信號識別中的應用

2008-10-23
作者:戴立梅 姚曉東 王 蓓 鄒

  摘 要: 提出使用肌電信號的語音識別" title="語音識別">語音識別系統。研究證實從面部肌肉中提取的肌電信號存在語音信息。實驗使用(0~9)十個數字,受試者每隔10s重復單詞。講話時用電極記錄五個通道表面肌" title="表面肌">表面肌電信號。用短時傅里葉變換" title="短時傅里葉變換">短時傅里葉變換提取信號的特征量,并通過主成分分析" title="主成分分析">主成分分析降維,有效地提取特征量進行模式識別。分類錯誤范圍在15%以下。實驗表明表面肌電信號的語音識別系統有著極好的前景。
  關鍵詞: EMG信號 語音識別 短時傅里葉變換 模式識別 生物信號處理


  肌電圖EMG(electromyography)是研究或檢測肌肉生物電活動,借以判斷神經肌肉系統機能及形態學變化,并有助于神經肌肉系統的研究或提供臨床診斷的科學。肌電信號(EMG)發源于作為中樞神經一部分脊髓中的運動神經元,是電極所接觸到的許多運動單元發放的動作電位的總和,反映了神經肌肉的活動、功能狀態[1]。表面肌電信號是從人體骨骼肌表面通過電極記錄下來的神經肌肉活動發放的生物電信號。肌電信號不僅在臨床醫學、運動學等領域被廣泛應用,而且研究證實肌肉關節內的生理肌電信號存在著相應的語音信息[2~3]。不同的肌肉運動模式是由不同的肌群收縮產生的,其所伴隨的表面肌電信號是不同的。而發音時肌肉對應著不同的運動模式,完全有可能從不同的表面肌電信號特征中找到對應的肌肉動作模式。隨著信號處理方法和計算機技術的發展,如何從生理肌電信號中識別出語音信號,已引起越來越多人的關注。
  以前有些用肌電信號識別語音的研究,研究目的是使用肌電信號作為輸入來彌補語音信息。肌電語音識別系統與常規語音識別標準相比,識別準確度較差,但準確度遠高于隨便猜測的準確度。這表明在肌肉關節內的生理肌電信號存在著語音信息。語音識別中使用肌電信號的優點是能夠幫助發音障礙者交流;且信號不受聲音噪聲干擾;還有一些字在聲學上發音相似,但說話方式和嘴的位置不同,在表面肌電信號中信號的特征是有區別的。這意味著肌電信號能用來區別聽起來相似的字。Day[3]研究表明,識別準確度在聽起來相似和不相似的詞匯中保持相同。使用面部肌電信號的語音識別系統一個應用是幫助操作高性能飛機的飛行員,一旦系統識別出飛行員講的話,能使用信息控制設備,如顯示器、雷達、無線電通信和飛行導航,但飛行艙內是高噪聲的環境,聲學噪聲能掩蓋飛行員的所有口頭講話,嚴重降低了常規的語音識別系統的準確度和性能,在飛行艙內使用面部肌電信號能提高語音識別性能。
  本文使用表面肌電信號(EMG)的語音信號識別系統改善噪聲條件下的聲音性能或幫助發音障礙的人。有些人發音有障礙,但講話時面部肌肉與正常人有同樣的動作模式,這樣使用表面肌電信號能幫助這些發音障礙的人發出簡單的指令,用來交流。
1 原理和方法
  本研究只使用肌電信號的信息識別孤立的單詞、(0~9)十個數字。使用腦電圖儀EEG-1100K(electroencephalograph, EEG)采集肌電信號,采用雙極導聯模式,采樣頻率1000Hz。使用(0~9)十個單詞做試驗。在實驗中,受試者每10s重復詞匯表中的單詞,每個單詞重復10次。受試者以相似的方式重復講每個單詞,保持音量和語速最小變化。


  表面肌電信號從五組面部肌肉中采樣,五路信號如圖1所示。提肌口(LAI)、顴肌部分(ZYG)、頸闊肌(PLT)、壓板口(DAO)、二腹的前面腹部(ABD)。使用五對表面電極采集肌電信號,每個電極用電極膏改進電極—皮膚界面,降低電阻。參考電極放在鼻根部。圖2是部分數字(0~3)的五路肌電信號(通道LAI、ZYG、PLT、DAO、ABD)時序圖。
  肌電信號分析,首先對采集的信號進行預處理,端點檢測。再使用短時傅里葉變換(STFT)處理數據,提取特征量。通過主成分分析(PCA)減少這些特征集系數的維度。5個肌電通道每個都保留6個PCA系數,這樣一共有30個特征量。使用線性判別分析分類器分類(0~9)十個數字。表面肌電信號中語音識別系統的構成如圖3所示。


2 特征量提取
  肌電信號本質上是具有非平穩特性的生理電信號,時頻分析是研究非平穩信號的一種有效方法。該方法在時頻面上表述信號的時變特征,能夠更清晰地反映出信號的頻率特性隨時間的變化。本研究使用短時傅里葉變換方法對講不同詞的肌電信號進行分析,由于變換后特征向量" title="特征向量">特征向量的維度很高,為了成功的分類需要采用合適的降維方法,本文通過主成分分析PCA(Principal Component Analysis)減少這些特征集系數的維度。
2.1 短時傅里葉變換
  短時傅里葉變換基本原理:把信號劃分成許多小的時間間隔,分析每一個時間間隔,確定每個間隔存在的頻率,頻譜的總體表示頻譜在時間上的變化。
  信號s(t)短時傅里葉變換定義為:
  
2.2 主成分分析(PCA)
  主成分分析(PCA)是總結多變量分析屬性的方法,經常用于特征提取或數據壓縮上的線性變換。在統計模式識別方面,主成分分析提供降低維度的有效方式,有效地減少特征系數表示的數量[4]。PCA是把特征映射到特征向量上,保留那些最大的特征值。
  p維隨機向量x的n次采樣值構成樣本陣X(n×p),n個p維列向量zi構成矩陣Z,如式(1)。
  Z=XT=(z1 z2 … zp)    (1)
  式中 T=(t1 t2 … tp)為正交陣,其列向量ti為樣本方差矩陣的特征值λi所對應的單位特征向量,且有λ1≥λ2…≥λp,則z1,z2,…,zp分別為樣本陣X的第1主成分,第2主成分,…,第p主成分,而且主成分z1表達了x最主要的信息,z2表達了x次主要的信息,依次類推,前m個主成分一起表達x的主要特征。
3 特征分類
  對肌電信號中的語音識別來說,特征提取是基礎,有效地進行分類是關鍵。本文的模式識別分類采用線性判別分類LDA(linear discriminant analysis),分類(0~9)十個數字。
  線性判別分析,亦稱為Fisher線性判別,是較常用的方法[5]。Fisher準則函數就是為了發現使得樣本類間離散度和樣本類內離散度的比值最大的投影方向。即在一投影方向上,同一個類的樣本聚集在一起,而不同類的樣本相對比較分散。
  樣本類間離散度矩陣定義為:
  
  其中,μi是Ci類的均值,μ是所有樣本的均值,Pi是先驗概率。
  樣本類內離散度矩陣定義為:
  
  其中, Si=E[(x-μi)(x-μi)Tx∈Ci]投影后希望樣本類間離散度越大越好,而樣本類內離散度越小越好。因此,如果Sω是非奇異矩陣,最優的投影方向Wopt就是使得樣本類間離散度矩陣和樣本類內離散度矩陣的行列式比值最大的那些正交特征向量。因此,Fisher準則函數定義為:
  
  通過線性代數理論知,Wopt就是滿足等式SbWiiSwWi(i=1,2,…,m)的解,對應于矩陣Sw-1Sb較大的特征值λi的特征向量。
4 實驗與結論
  在實驗中,使用腦電圖儀(EEG-1100K),采用五對電極從面部肌肉同時采集五路肌電信號,受試者每10s講(0~9)十個數字,每個數字重復講十次。對采集的肌電信號首先預處理端點檢測,然后對采集的五路肌電信號分別作短時傅里葉變換,分析窗選用矩形窗,窗寬為1024點。提取短時傅里葉變換頻譜圖的結果矩陣,做主成分分析降低維度,構造特征矢量,輸入線性判別分析分類器進行識別。
  由于傅氏變換后特征向量的維度很高,為了成功地分類需要降低維度,通過主成分分析(PCA)減少特征集系數的維度。本文將不同數字的五路肌電信號的短時傅里葉變換的幅度矩陣進一步做主成分分析降維,構造相應數字的特征矢量,x=[o11,…,o16,…,o51,…,o56]。其中o11,…,o16是第一路信號降維后的主成分;o51,…,o56是第五路信號降維后的主成分。


  表1列出了實驗中(0~9)十個數字降維后ABD通道主成分的部分特征向量。從表1中的數據可以看出由信號傅里葉變換系數的幅度進行主成分分析,提取的特征量具有很好的分離性。
  本文線性模式分類采用基于fisher準則的線性判別分析分類器,對特征矢量分別計算類間散度、類內散度,尋求一最優投影方向。圖4表明了(0~9)十個數字分類后的散點圖。經過分類器的識別,對(0~9)十個數字的分類錯誤率在15%以下。


  通過實驗可以得到:短時傅里葉變換后再做主成分分析降維提取特征量,提取的特征穩定且易于識別。面部肌肉記錄的表面肌電信號實現語音信號語音識別,輔助發音障礙者交流。研究結果證明,對10個數字的詞匯使用肌電信號有較好的分類準確度。實驗表明用表面肌電信號提高常規的語音識別系統有著極好的前景。但是做使用肌電信號實現語音識別系統的可行性結論前,還需進一步研究。首先,必須研究擴展測試條件,如連續的語音、更少強調發音、講話速率的最小變化。生理上的變化也可能影響肌電信號。
參考文獻
1 王新德,湯曉芙,崔麗英等.神經病學(2)——神經系統臨床電生理學,人民軍醫出版社,2002
2 Morse,M.S., O′Brien, E.M. Research summary of a scheme to ascertain the availability of speech information in the myoelectric signals of neck and head muscles using surface electrodes.Computers in Biology and Medicine,1986;16(6):399~410
3 Day, S.H. (1990): Recognition of speech uti-lizing the myoelectric signals of neck muscles- An advanced study in the time domain, M.Sc.Thesis, Auburn University.
4 司風琪,洪軍,徐治皋.基于向量投影的數據 檢驗PCA方法.中國電機工程學報,2002;10
5 Richard O. Duda Peter E. Hart David G. stork著,李宏東, 姚天翔譯. 模式分類.北京:機械工業出版社,2003

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲国产精品一区制服丝袜 | 国产精品视频自拍| 久久国产日本精品| 亚洲视频电影在线| 欧美一区二区三区视频| 亚洲精品裸体| 伊人精品成人久久综合软件| 国产精品视频免费观看www| 欧美激情欧美激情在线五月| 久久九九99视频| 亚洲欧美韩国| 一区二区三区色| 亚洲精品孕妇| 亚洲黄网站在线观看| 欧美一区二区成人6969| 亚洲午夜在线观看| 夜夜嗨av一区二区三区中文字幕| 在线看片第一页欧美| 国产在线观看精品一区二区三区| 国产精品―色哟哟| 欧美另类在线播放| 久久久亚洲精品一区二区三区| 午夜精品免费视频| 亚洲一区二区三区精品动漫| 日韩午夜电影av| 亚洲精品久久久蜜桃| 亚洲第一在线综合在线| 欧美亚洲一区| 亚洲网站在线看| 艳女tv在线观看国产一区| 亚洲第一福利视频| 韩国欧美国产1区| 国产亚洲精品v| 国产视频一区在线观看| 国产欧美日韩一区二区三区在线观看 | 尤妮丝一区二区裸体视频| 国产亚洲成av人在线观看导航| 国产精品蜜臀在线观看| 欧美性大战久久久久久久蜜臀| 欧美日韩亚洲一区二区三区在线观看| 欧美激情小视频| 欧美精品黄色| 欧美日韩精品二区| 欧美日韩综合一区| 国产精品户外野外| 国产精品免费一区豆花| 国产精品色在线| 国产欧美视频一区二区三区| 国产婷婷色一区二区三区| 国产一区二区三区高清播放| 国产亚洲欧美一区在线观看| 黄色日韩在线| 亚洲激情影视| 一区二区三区精品视频| 亚洲一区二区欧美| 香蕉成人伊视频在线观看| 午夜伦理片一区| 久久激情五月激情| 亚洲国产高清视频| 亚洲乱码国产乱码精品精天堂| 在线午夜精品自拍| 亚洲综合视频1区| 久久不射网站| 久久成人精品一区二区三区| 久久精品99无色码中文字幕| 久久综合福利| 欧美欧美天天天天操| 欧美午夜电影网| 国产欧美一区二区精品性色 | 国产精品日韩欧美综合| 国产精品自在在线| 精品成人在线观看| 亚洲精品免费一二三区| 亚洲午夜一区二区三区| 久久精品国产清高在天天线| 亚洲精品在线观| 亚洲欧美日韩精品久久亚洲区 | 久久综合色影院| 欧美日本国产精品| 国产精品羞羞答答| 在线看一区二区| 亚洲午夜久久久| 亚洲电影一级黄| 一区二区成人精品| 新狼窝色av性久久久久久| 久久久午夜电影| 欧美日韩亚洲在线| 国产日韩欧美综合一区| 亚洲精品久久久久| 午夜在线电影亚洲一区| 日韩一级视频免费观看在线| 性感少妇一区| 欧美电影在线观看完整版| 国产精品国色综合久久| 在线精品一区二区| 亚洲影音先锋| 亚洲精品免费观看| 欧美在线地址| 蜜臀av一级做a爰片久久| 欧美新色视频| 亚洲福利视频网| 亚洲在线视频一区| 日韩午夜av| 久久国产精品第一页| 欧美国产成人精品| 国产婷婷97碰碰久久人人蜜臀| 亚洲精品美女久久7777777| 欧美一站二站| 亚洲在线观看视频网站| 欧美粗暴jizz性欧美20| 国产欧美日韩精品a在线观看| 亚洲久久成人| 亚洲第一福利社区| 亚洲自拍偷拍色片视频| 免费高清在线一区| 国产色产综合色产在线视频| 亚洲乱码久久| 亚洲精品国久久99热| 欧美一区二区免费视频| 欧美日韩国内| 亚洲电影观看| 久久大逼视频| 香蕉尹人综合在线观看| 欧美日韩在线高清| 亚洲国产欧美国产综合一区| 久久精品国产精品亚洲综合| 亚洲一区二区精品在线观看| 欧美国产精品专区| 国内精品免费在线观看| 亚洲欧美日韩国产中文| 亚洲一区二区三区在线| 欧美日韩一二三四五区| 亚洲人成7777| 亚洲精品乱码久久久久久黑人 | 欧美午夜精品理论片a级大开眼界| 亚洲经典自拍| 亚洲欧洲日产国产网站| 鲁大师成人一区二区三区| 国产一区二区三区自拍| 亚洲视频免费在线| 中国成人在线视频| 欧美精品一区二区久久婷婷| 亚洲国产另类久久精品| 亚洲日本国产| 欧美99在线视频观看| 悠悠资源网久久精品| 亚洲国产美女久久久久| 久久久综合激的五月天| 国产在线观看精品一区二区三区 | 久久成人免费视频| 欧美一区三区二区在线观看| 国产精品白丝av嫩草影院| 99精品免费视频| 一区二区三区欧美激情| 欧美日韩一区视频| 91久久嫩草影院一区二区| 亚洲欧洲一区二区三区| 老巨人导航500精品| 在线看片欧美| 99国产精品| 欧美日韩亚洲一区三区 | 午夜精品在线| 狠狠入ady亚洲精品经典电影| 亚洲精品一区中文| 国产精品视频yy9099| 久久精品亚洲一区二区| 欧美日韩你懂的| 欧美一级片一区| 欧美极品一区二区三区| 亚洲一区中文字幕在线观看| 免费观看久久久4p| 在线亚洲成人| 麻豆国产va免费精品高清在线| 亚洲精品在线电影| 久久国内精品视频| 亚洲国产日韩一区| 午夜精品久久| 亚洲激情在线播放| 欧美在线观看视频一区二区三区| 亚洲电影免费观看高清完整版在线观看 | 日韩视频二区| 久久精品久久综合| 日韩视频在线免费| 久久这里有精品15一区二区三区| 亚洲毛片在线观看| 久久精品欧美日韩精品| 一本大道久久a久久综合婷婷| 久久天天躁夜夜躁狠狠躁2022 | 国产精品久久中文| 91久久久在线| 国产欧美婷婷中文| 亚洲视频中文| 亚洲国产免费| 久久久久成人精品| 亚洲午夜日本在线观看| 欧美国产日韩a欧美在线观看| 欧美一区二区三区精品电影| 欧美无砖砖区免费| 日韩午夜黄色| 在线观看福利一区|