融合CNN和Transformer編碼器的變聲語音鑒別與還原
信息技術與網絡安全 1期
魏春雨，孫 蒙，劉 偉，張星昱
(陸軍工程大學 指揮控制工程學院，江蘇 南京210007)
摘要： 語音變聲偽裝會導致人耳感知和聲紋識別出現錯誤，從而達到隱匿說話人真實身份的目的。為削弱變聲語音的影響，提出一種融合卷積神經網絡(Convolutional Neural Networks，CNN)和Transformer編碼器的模型，提取變聲語音的局部特征和全局特征用于判別變聲因子，并根據變聲因子的數值實施變聲語音還原。在中英文真實場景錄音數據集上驗證了所提方法的有效性，對變聲因子判別實現了95%以上的準確率。利用所提出的方法，在黑箱條件下對某型商用硬件變聲器輸出的語音進行鑒別與還原，取得了較好的效果。
中圖分類號： TP391.9
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.01.008
引用格式： 魏春雨，孫蒙，劉偉，等. 融合CNN和Transformer編碼器的變聲語音鑒別與還原[J].信息技術與網絡安全，2022，41(1)：47-54.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.01.008
引用格式： 魏春雨，孫蒙，劉偉，等. 融合CNN和Transformer編碼器的變聲語音鑒別與還原[J].信息技術與網絡安全，2022，41(1)：47-54.
Identification and restoration of transformed voice by fusing CNN and Transformer encoder
Wei Chunyu，Sun Meng，Liu Wei，Zhang Xingyu
(College of Command and Control Engineering，Army Engineering University of PLA，Nanjing 210007，China)
Abstract： Voice transformation will lead to errors in auditory perception and speaker recognition so as to conceal the speaker′s real identity. In order to reduce the negative impact of transformed voice, a model fusing Convolutional Neural Networks(CNN) and Transformer encoder was proposed in this paper, which extracted local and global features of transformed voice to predict the disguise factor, and restored the original voice according to the value of the disguise factor. The validity of the proposed method was verified on datasets of both Chinese and English recorded in real-world scenes, where the accuracy was higher than 95%. Under the condition of black box, the proposed method had good performance when identifying and restoring the output voice of a commercial hardware of voice changer.
Key words : pitch scaling；voice anti-disguise；voice restoration；time-frequency features
0 引言
近年來，基于指紋、人臉、虹膜、聲紋的生物特征識別技術得到了迅速發展[1]。其中，聲紋識別[2]以其采集方便、無需直接接觸、可體現說話人的主觀意圖等優點，被廣泛應用于身份認證、刑事偵查等領域。公安部門可以通過提取犯罪嫌疑人的聲紋信息，將其與數據庫中的聲紋信息進行比對，進而確認嫌疑人的真實身份。然而，這種確認經常受到各種因素的干擾，其中語音變聲偽裝就可以通過隱匿說話人的身份，降低聲紋確認的效果。
與通過壓低嗓音、捏鼻子等方式物理干擾人的發聲器官進行的語音偽裝不同，語音變聲偽裝是利用變聲工具對語音參數進行修改實現變聲[3]。目前，各種硬件變聲設備和變聲軟件在匿名采訪、網絡聊天、電子游戲等場景中得到了廣泛應用。同時，一些不法分子利用變聲語音進行違法犯罪活動，對案件的偵破造成了干擾。相比通過物理干擾發聲器官而產生的偽裝語音，變聲語音更加難以辨認。變聲工具會改變語音的頻譜結構，進而影響聲紋識別模型對說話人的驗證[4-5]。有研究表明，向普通人播放經過變聲偽裝的語音，甚至不能準確地判斷出說話人的性別。
本文詳細內容請下載：http://m.jysgc.com/resource/share/2000003936。
作者信息：
魏春雨，孫 蒙，劉 偉，張星昱
(陸軍工程大學 指揮控制工程學院，江蘇 南京210007)
此內容為AET網站原創，未經授權禁止轉載。