《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 基于盲源分離的語音識別前端語音凈化處理研究

基于盲源分離的語音識別前端語音凈化處理研究

2008-08-01
作者:王舒翀 , 方 勇, 梁 越

  摘 要: 研究了利用盲源分離" title="盲源分離">盲源分離理論解決語音識別" title="語音識別">語音識別之前的語音凈化問題。基于MSICA算法良好的性能、低復雜度和實時性,設計了以TI公司的TMS320C6416數字信號處理器為內核的語音凈化系統。該系統可以使語音識別系統" title="語音識別系統">語音識別系統獲得純凈語音,從而有效提高語音識別系統的識別率和魯棒性。
  關鍵詞: 盲源分離 DSP 語音識別 語音凈化


  目前針對語音識別提出了很多算法,但是這些研究基本上都是基于較為純凈的語音環境,一旦待識別的環境中有噪聲和干擾,語音識別就會受到嚴重影響。因為大多數語音識別的語音模板基本上是在無噪聲和無混響的“純凈”環境中采集、轉換而成。而現實環境中不可避免地存在干擾和噪聲,包括其他人的聲音和回聲等,這些噪聲有時很強,使語音識別系統的性能大大降低甚至癱瘓。已有的信號去噪、參數去噪和抗噪識別等方法都有一定的局限。如果能實現噪聲和語音的自動分離,即在識別前就獲得較為純凈的語音,可以徹底解決噪聲環境下的識別問題。近年來取得很大進展的盲源分離為噪聲和語音的分離提供了可能。盲源分離(Blind Source Separation)的算法眾多且運算復雜,經比較,其中T. Nishikawa等人提出的分階段 ICA方法(MSICA[1])適合有混響的噪聲環境中的語音分離問題。經過計算機仿真,MSICA算法分離一段7s的語音要用時10ms以上,計算機和低速的DSPs很難滿足實時要求。針對這一算法,設計了一套以TI的TMS320C6416 DSP(簡稱6416)芯片為內核的語音凈化系統。6416的時鐘速度高達720MHz,經過使用MSICA算法的測試,該系統可以實時地對語音識別的信號進行凈化處理,有效地提高語音識別系統的抗噪性和魯棒性。
1 算法描述
1.1 語音識別信號的混合模型
1.1.1 卷積混合一般模型[3]

  語音信號的混合模型已從瞬時模型發展到卷積模型,相比瞬時模型而言卷積模型更接近真實環境。麥克風所測是卷積混迭信號,即源信號及其濾波與延遲的混迭信號的線性組合再加上其它噪聲,如(1)式所示。
  
  式(1)中, sj(t), j=1, ...,N為信號源,且各源信號相互獨立;xi(t),i=1,...,N為N個觀測數據向量,其元素是各個麥克風得到的輸入。所以觀測信號xi(t)是每個源信號sj(t)經過延時τij,并乘以因子aij(t)(沖擊響應)后疊加,最后加上噪聲ni(t)。
1.1.2 針對語音識別的簡化混合模型
  一般的語音識別系統只有一個麥克風,根據盲源分離理論,麥克風數應不少于信源數,所以采用主副兩個麥克風輸入待識別語音,為簡化處理假定只有主講話者聲音s1和背景噪聲s2(此背景噪聲包括經過延遲的回聲)兩個聲源。可得如圖1的混合模型。


  信號源s1到達兩個麥克風的時間間隔為τ21,且幅度值不同;s2到達兩個麥克風的時間間隔為τ12,幅度值也不同。又因為主信號源s1非常靠近兩個麥克風,所以認為τ21比τ12小很多,且趨于零。于是得到相應的模型表達式的簡化形式:
  

1.2 MSICA算法及其實現步驟
  傳統采用頻域ICA(FDICA)或者時域ICA(TDICA)方法,單一的方法在真實環境中缺點很明顯,分離效果在混響環境中受到很大影響。然而一種時頻域結合多級分離的混合型ICA算法——MSICA[1] 算法可以有效解決這一問題。
  該算法主要由三個步驟組成:首先,利用FDICA的高穩態性的優點在一定程度上分離源信號;為了簡化后續計算,白化FDICA分離出來的信號;接著,把白化后的FDICA輸出信號當作TDICA的輸入信號" title="輸入信號">輸入信號,并用TDICA分離殘留的交叉干擾分量;最后,TDICA的輸出信號即為分離信號。算法框圖如圖2所示。


2 DSP硬件系統設計
2.1 硬件結構
  為實現上述算法設計了DSP語音分離系統,該系統主要參數如下:
  ·TMS320C6416 DSP;
  ·16M words FLASH ROM;
  ·兩個EMIF: 64-Bit EMIFA 和16-Bit EMIFB;
  ·133MHz的16MB SDRAM;
  ·兩塊16-bit 立體聲CODEC:TLV320AD50。
  TMS320C6416有很高的信號處理能力以及豐富的片內存儲器和片內外設,且有兩級內部存儲結構。第一級L1緩存包含各為16KB的程序和數據存儲器,第二級L2包含1024KB的存儲空間。第一級只能作為緩存而第二級可以被設置為部分靜態RAM和部分緩存。在語音凈化系統中,設置L2為4通道256KB緩存和768KB靜態RAM。這種配置使用了最大允許的緩存,是因為MSICA算法將處理大量的數據,訪問外部存儲器會有瓶頸,而大緩存可以將諸如中斷服務程序、常用函數的代碼、軟件堆棧等關鍵數據段和反復使用的系數存儲于片內存儲器中,從而大大提高內部存儲空間的使用效率。6416的兩個多通道緩沖串口(McBSP)用作數據的輸入輸出端口。模擬接口芯片TLV320AD50可以提供16bit的數/模、模/數轉換,最大轉換率是22.5kHz。采樣率為8kHz,兩個TLV320AD50分別通過McBSP與TMS320C6416相連。兩路混合語音信號通過模擬接口電路轉化為數字信號,兩路數字信號通過TMS320C6416的兩個McBSP輸入,根據語音特征存儲器中存儲的語音特征進行語音分離,分離出純凈的待識別語音,進行語音識別,最后輸出識別結果。系統框圖見圖3。


2.2 軟件流程
  系統上電后,存儲在FLASH ROM中的程序將載入TMS320C6416的片內RAM中,程序對寄存器、中斷向量表和編碼進行初始化并對片內McBSP進行配置,完成這些初始化的任務后系統采集并處理語音信號。系統首先對目前狀態進行辨識。開機后的狀態分為非識別狀態和識別狀態,非識別狀態下系統將采集純正語音信號,提取出語音特征送入存儲器中作為模板;識別狀態下首先參考純凈語音的特征對采集的雙路混合信號進行分離,獲得純凈的待識別語音,最后送入識別系統完成語音識別。整個流程見圖4。


  具體分離步驟在初始化之后,主函數程序進入一個等待循環,在一個新的采樣輸入被獲取之后與中斷服務程序(ISR)一起工作并調用分離程序。第一步,信號首先通過TI的DFT程序變換到頻域。系統使用最前面的幾個塊(例如取5塊)來估計輸入信號x1和x2每個頻率分量的功率矩陣。流程圖(見圖5)中的變量P表示正在處理的塊數。對于接下來的每一塊(P≥5),系統通過指數平均來更新輸入信號的功率矩陣,以計算出梯度。然后計算步長u12、u21 和差分脈沖響應濾波器ΔH12、ΔH21的更新系數。最后確定更新系數和DRIR濾波器系數,在頻域對輸入信號進行初步分離。第二步,白化程序對FDICA輸出信號進行白化處理,以去除信號的相關性。第三步,首先通過最小化非負代價函數計算分離濾波器矩陣和分離濾波器系數,然后帶入白化后的信號求得TDICA輸出信號。


2.3 代碼優化
  為了進行實時的混合語音分離并識別,分離算法必須在盡可能短的時間(如1~2s)內完成。在本系統中,通過CCS對C源代碼進行編譯,并對分離算法的一些關鍵模塊從內聯函數" title="內聯函數">內聯函數替換、數據讀寫、循環體優化、函數拆并、C級優化等方面進行優化設計,以達到充分利用CPU、存儲器等資源,提高算法運行速度,滿足實時性要求。
  (1) 內聯函數優化
  通過內聯函數替換提高代碼性能。內聯函數直接與匯編指令相對應,通過使用它們,C編譯器能達到更好的編譯效果,并充分利用系統資源。C6416提供豐富的內聯函數,涵蓋了各種數據類型的乘、加、移位等操作。實驗結果表明,內聯函數替換是提高代碼性能最簡單、直接有效的方法。
  (2) 數據讀寫優化
  充分利用C6416的雙字存取指令和packing/unpacking方式提高代碼的運行速度。
  (3) 循環體優化
  通過軟件流水工具(Software Pipeline)適當安排循環指令,使多次迭代并行執行,以達到優化代碼的目的。
  (4) 函數拆并優化
  將某些大函數拆開成多個小函數或相反,以提高程序的運行速度。對FDICA和TDICA等大程序中某些常用的分支,可將其拆分以減少判斷、跳轉操作。對于某些簡單的小函數,將其合并成大函數有助于減少程序調用開銷。
  (5) C級優化[2]
  在定點DSP上進行浮點運算會影響C源代碼的性能。因此,第一個優化任務就是將源碼中運算比較密集的部分(如分離濾波器矩陣和分離濾波器系數的計算)轉換成定點的算法。此外,影響系統性能的一個重要原因是沒有有效利用DSP的并行計算能力,TMS320C6416為最優化這些并行操作的打包數據處理提供了特殊的指令。系統另一個瓶頸是對外部存儲器的訪問。對混合語音的分離需要處理大量的數據,存儲和訪問可能是DSP系統的最大瓶頸。通過使用緩存可以緩解瓶頸,優化在外部和內部存儲器中的數據定位可以提高系統的性能。最后,使用C編譯器的最優化選項編譯代碼。
  上述的優化并非已經完全,在后續的研究中代碼可以進一步優化,如可改進以下幾處:首先,使用DMA以提高存儲器訪問的性能并減少存儲器消耗;其次,為了避免浮點溢出可以將代碼全部轉換為定點,對代碼中的關鍵循環進行更好的組織以實現軟件流水線;最后,為了最大程度提高性能可以使用線性匯編語言并對部分代碼進行匯編層的優化。
2.4 實驗結果
  采用兩組混合語音來測試語音凈化系統,即單獨錄制兩個純凈的信號源,圖1所示模型用MATLAB混合(忽略噪聲),通過凈化系統得到兩組分離信號并與原始語音進行比對。x1(t)和x2(t)即為兩個麥克風的輸入信號。使用以下兩組聲音信號作為測試信號,第一組為語音和音樂信號,第二組為兩個語音信號,都是16kHz采樣16bit單聲道文件,長度均為7s。圖6與圖7分別為上述兩組混合語音的分離結果,從中可以看出分離效果非常令人滿意,達到了帶噪語音的凈化效果。


  在實驗室環境引入語音凈化系統后,語音識別的速度雖然略有下降,但是識別語音的信噪比有顯著提高,在有不同信噪比的音樂和混響噪聲的背景中,識別率平均提高30%以上。
參考文獻
1 T. Nishikawa, H. Saruwatari, K.Shikano. Multistage ICA for of real acoustic convolutive mixture Proc.ICA2003,2003;(4):253~256
2 A.U.Batur,B.E.Flinchbaugh, M .H. Hayes. A dsp-based approach for the implementation of face recognition algorithms.ICASSP 2003, IEEE, 2003:253~256
3 Peiyu He, Piet.C.W.Sommen, Bin Yin. A real-time dsp blind signal separation experimental system based on new simplified mixing model. Proc of EUROCON’2001.Bratislava,Slovak Republic. 2001;(7):467~470
4 Chin.Heungsuk, J.Kim,ect. Realization of Speech Recognition using DSP(Digital Signal Processor). ISIE 2001, Pusan, KOREA,2001:508~512

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
久久久一二三| 欧美三级中文字幕在线观看| 亚洲视频欧洲视频| 在线高清一区| 国产精品剧情在线亚洲| 久久偷看各类wc女厕嘘嘘偷窃| 亚洲午夜久久久| 亚洲高清不卡在线| 亚洲私人影院| 亚洲欧洲精品一区二区三区不卡 | 在线视频日韩| 欧美一区二区三区免费大片| 亚洲视频福利| 亚洲精品永久免费| 亚洲高清在线播放| 国产综合视频| 国产日韩欧美一区| 欧美激情一区二区三区| 可以看av的网站久久看| 久久av一区| 欧美一区国产在线| 午夜激情亚洲| 亚洲小说区图片区| 一区二区三区波多野结衣在线观看| 久久精品夜色噜噜亚洲aⅴ| 亚洲综合首页| 亚洲一级在线观看| 日韩一级在线| 亚洲国产欧美不卡在线观看| 一区二区三区在线免费观看| 国产欧美一区二区三区在线看蜜臀 | 国产精品女主播| 欧美性猛交xxxx乱大交退制版| 欧美精品在线免费观看| 久久久久久久久伊人| 久久精品动漫| 久久男女视频| 麻豆精品网站| 免费在线欧美黄色| 欧美成人综合一区| 另类图片国产| 你懂的国产精品| 欧美激情一区二区三区全黄| 欧美激情一区二区三区在线视频| 久久综合伊人77777麻豆| 麻豆国产精品一区二区三区 | 亚洲视频1区2区| 亚洲午夜精品一区二区| 亚洲伊人第一页| 午夜精品视频| 欧美一级片一区| 久久精品国产69国产精品亚洲| 亚洲永久免费| 欧美在线视频不卡| 久久精品亚洲国产奇米99| 狼人天天伊人久久| 欧美黑人一区二区三区| 欧美成人首页| 欧美视频一区二| 国产精品综合视频| 狠狠网亚洲精品| 最近中文字幕mv在线一区二区三区四区| 尹人成人综合网| 亚洲人体影院| 亚洲午夜精品在线| 久久国产免费看| 亚洲精品视频中文字幕| 亚洲午夜高清视频| 亚洲一区二区三区视频播放| 正在播放日韩| 欧美中文字幕视频| 久久久久久久久久久久久久一区| 麻豆成人在线观看| 欧美日韩国语| 国产日韩欧美在线| 欧美日韩国产综合网| 国产精品亚洲综合一区在线观看| 欧美日韩精品一二三区| 国产伦精品一区二区三区在线观看 | 亚洲一区在线观看视频 | 欧美福利视频一区| 国产精品成人va在线观看| 国产伦理一区| 亚洲第一综合天堂另类专| 一区二区欧美在线观看| 久久精品1区| 亚洲天堂视频在线观看| 亚洲欧美视频在线观看视频| 巨乳诱惑日韩免费av| 欧美午夜激情视频| 一区在线视频观看| 亚洲欧美美女| 亚洲私人影院在线观看| 欧美成人中文字幕| 国产真实乱偷精品视频免| 一区二区三区蜜桃网| 亚洲三级毛片| 久久久久.com| 国产精品一区二区三区四区| 亚洲精品在线一区二区| 亚洲电影免费观看高清完整版在线| 亚洲欧美国产高清va在线播| 欧美激情自拍| 在线精品观看| 久久精品视频免费观看| 羞羞色国产精品| 国产精品国产成人国产三级| 亚洲另类黄色| 亚洲看片一区| 裸体歌舞表演一区二区| 国产在线视频欧美一区二区三区| 亚洲免费视频成人| 午夜国产欧美理论在线播放| 欧美色视频在线| 日韩视频中文字幕| 亚洲免费成人av| 欧美大片在线看| 在线日韩欧美视频| 亚洲国产成人高清精品| 久久亚洲春色中文字幕| 国产综合久久久久久| 欧美尤物巨大精品爽| 久久精品一区中文字幕| 国产亚洲一区二区三区在线观看| 亚洲欧美成人| 欧美一区久久| 国产日韩欧美不卡在线| 亚洲欧美日韩精品久久久久| 性欧美办公室18xxxxhd| 国产伦精品一区二区三区四区免费| 亚洲夜间福利| 欧美一级一区| 国产一区二区你懂的| 欧美在线网站| 久久综合狠狠综合久久综合88 | 亚洲一区二区三区免费视频| 欧美色道久久88综合亚洲精品| 亚洲精品在线二区| 中文高清一区| 欧美午夜电影一区| 亚洲深夜av| 欧美怡红院视频| 国产一区欧美日韩| 91久久精品久久国产性色也91| 欧美大胆成人| 亚洲精品一品区二品区三品区| 亚洲午夜电影网| 国产精品三级视频| 欧美在线播放| 欧美大学生性色视频| 亚洲精品久久久久久久久久久久久| 在线视频欧美一区| 国产精品久在线观看| 香蕉精品999视频一区二区| 久久综合狠狠综合久久综合88| 亚洲国产精品成人综合| av不卡在线看| 国产精品一区=区| 亚洲高清资源| 欧美精品成人91久久久久久久| 日韩视频在线观看免费| 午夜精品福利一区二区蜜股av| 国产片一区二区| 亚洲国产精品一区二区久 | 国产亚洲aⅴaaaaaa毛片| 亚洲国产综合91精品麻豆| 欧美日韩免费一区| 午夜精品视频一区| 久久综合九九| 一本久道久久综合婷婷鲸鱼| 久久大综合网| 亚洲区一区二| 午夜精品美女自拍福到在线 | 日韩视频亚洲视频| 国产精品一二三| 亚洲国产一区二区三区青草影视| 欧美日韩a区| 香蕉久久夜色精品国产| 女人天堂亚洲aⅴ在线观看| 一本色道久久综合狠狠躁篇的优点| 欧美一区二区三区喷汁尤物| 亚洲高清在线播放| 小处雏高清一区二区三区 | 亚洲二区在线视频| 欧美日韩一区二区精品| 亚洲激情视频在线观看| 亚洲精品中文字幕女同| 亚洲欧洲精品天堂一级| 国产精品成人一区二区网站软件| 欧美一区二区三区视频在线| 欧美乱妇高清无乱码| 午夜在线一区| 欧美精品三级日韩久久| 欧美一区二区三区在线观看| 欧美日韩一区二区高清| 亚洲第一福利在线观看| 国产精品v日韩精品| 亚洲啪啪91| 国产亚洲成精品久久| 亚洲午夜电影|