隨著科技的進(jìn)步，人們對(duì)于音視頻的要求不再僅僅只看得見(jiàn)和聽(tīng)得到，而更加追求視覺(jué)和聽(tīng)覺(jué)的雙重享受，追求那種身臨其境的感覺(jué)，也就是我們常提到的沉浸式體驗(yàn)。而要達(dá)到沉浸式體驗(yàn)，音頻的效果至關(guān)重要。
沉浸式音頻技術(shù)近年來(lái)逐漸擴(kuò)大其應(yīng)用范圍，迅速發(fā)展到固定裝置、廣播，甚至現(xiàn)場(chǎng)演出等領(lǐng)域里。2018年6月28日，世界著名的音頻及媒體技術(shù)研究機(jī)構(gòu)Fraunhofer IIS在2018年上海世界移動(dòng)大會(huì)（MWC SH）上展示了能夠?yàn)橐苿?dòng)和家庭用戶帶來(lái)極致音頻體驗(yàn)的系列技術(shù)：為廣播電視和OTT領(lǐng)域打造沉浸式和互動(dòng)式音效的MPEG-H電視音頻系統(tǒng)，通過(guò)一個(gè)3D條形音箱營(yíng)造家庭端影院級(jí)音效的沉浸式音頻虛擬器upHear，為手機(jī)用戶帶來(lái)全高清語(yǔ)音通話質(zhì)量的增強(qiáng)型語(yǔ)音編解碼器EVS技術(shù), 以及為數(shù)字廣播和移動(dòng)流媒體應(yīng)用帶來(lái)卓越音頻解決方案的xHE-AAC技術(shù)。
MPEG-H Audio——下一代交互及沉浸式音頻系統(tǒng)
隨著MPEG-H成功集成于ATSC3.0和DVB標(biāo)準(zhǔn)，并于2017年5月起應(yīng)用于韓國(guó)基ATSC 3.0的全新地面超高清電視系統(tǒng)中，MPEG-H技術(shù)成為了全球首個(gè)成功商用的下一代廣播電視音頻技術(shù)。今年3月，基于MPEG-H技術(shù)的Fraunhofer技術(shù)提案入選入選中國(guó)廣電三維聲傳輸段標(biāo)準(zhǔn)草案。目前，搭載了MPEG-H技術(shù)的專業(yè)廣電設(shè)備（編碼器、解碼器和監(jiān)聽(tīng)解決方案）和消費(fèi)電子產(chǎn)品（家用機(jī)頂盒和電視機(jī)）已經(jīng)先后問(wèn)世。
Fraunhofer工作人員指出，MPEG-H Audio系統(tǒng)能夠帶來(lái)身臨其境的沉浸感并賦予用戶選擇的權(quán)利，用戶可以切換不同的音頻預(yù)設(shè)以及調(diào)節(jié)對(duì)白音量，在家庭影院、智能手機(jī)、平板電腦還是虛擬現(xiàn)實(shí)設(shè)備上都能傳遞最佳的聲音體驗(yàn)。
俄羅斯世界杯期間，韓國(guó)SBS電視臺(tái)通過(guò)基于ATSC 3.0標(biāo)準(zhǔn)的超高清視頻技術(shù)直播該項(xiàng)賽事，由Fraunhofer主導(dǎo)研發(fā)的MPEG-H電視音頻系統(tǒng)的高級(jí)功能為用戶帶來(lái)沉浸式和交互式音頻體驗(yàn)。SBS的觀眾成為全球范圍內(nèi)首批在常規(guī)電視節(jié)目中享受沉浸式3D音頻和個(gè)性化音頻體驗(yàn)的用戶。他們除了能夠選擇適合自己的音頻預(yù)設(shè)以外，通過(guò)MPEG-H的對(duì)白增強(qiáng)功能還可以根據(jù)自身需求優(yōu)化對(duì)白混音效果，該功能也將幫助聽(tīng)力障礙人士更好地理解節(jié)目?jī)?nèi)容。
Fraunhofer IIS中國(guó)區(qū)業(yè)務(wù)代表Toni Fiedler先生表示：“目前，我們正在與CCTV團(tuán)隊(duì)緊鑼密鼓地開(kāi)展2018年俄羅斯世界杯期間中國(guó)三維聲音頻實(shí)時(shí)信號(hào)的測(cè)試工作，從而驗(yàn)證草案標(biāo)準(zhǔn)在實(shí)際直播過(guò)程中的可行性。與此同時(shí)，我們也在探討如何將全新音頻技術(shù)更好地通過(guò)新媒體應(yīng)用呈獻(xiàn)給更為廣泛的觀眾群體。我們期待著中國(guó)三維聲標(biāo)準(zhǔn)在不久的將來(lái)能夠順利發(fā)布，并盡快為中國(guó)用戶帶來(lái)下一代音頻體驗(yàn)。“
Fraunhofer IIS中國(guó)區(qū)業(yè)務(wù)代表Toni Fiedler先生
upHear讓單個(gè)條形音箱營(yíng)造沉浸式影院音效
Fraunhofer upHear沉浸式音頻虛擬器是與編碼器無(wú)關(guān)的音頻后處理器技術(shù)，它能夠集成于條形音箱和電視機(jī)等大眾消費(fèi)電子設(shè)備中，為用戶帶來(lái)真實(shí)且具有包容感的3D聲音。Fraunhofer upHear具有以下特征：
·根據(jù)具體硬件設(shè)計(jì)而優(yōu)化的沉浸式音頻還放；
·與音頻編碼器無(wú)關(guān)的音頻后處理技術(shù)，原生支持MPEG-H內(nèi)容；
·支持傳統(tǒng)內(nèi)容立體聲和環(huán)繞聲內(nèi)容的上混；
·為嵌入式系統(tǒng)設(shè)計(jì)的優(yōu)化目標(biāo)代碼庫(kù)（例如：ADI和TI DSPs）。
憑借Fraunhofer upHear沉浸式音頻虛擬器，用戶可以在家中通過(guò)一個(gè)條形音箱享受影院般真實(shí)的沉浸式和互動(dòng)式音效。在未來(lái)，支持MPEG-H解碼的移動(dòng)設(shè)備和OTT應(yīng)用也能夠帶來(lái)同樣真實(shí)的聽(tīng)覺(jué)盛宴。
在MWC現(xiàn)場(chǎng)，觀眾們?cè)贔raunhofer切實(shí)地感受到了upHear沉浸式音頻虛擬器的魅力，不管是音樂(lè)、電影、電視劇和普通音頻，都可以感受到那種身臨其境的感覺(jué)。
除了體驗(yàn)，我們還在現(xiàn)場(chǎng)看到了基于Fraunhofer upHear打造的智能音箱demo——Yandex.IO。Yandex實(shí)驗(yàn)產(chǎn)品總監(jiān)Konstantin Kruglov此前曾表示：“我們?cè)赮andex.IO遠(yuǎn)場(chǎng)麥克風(fēng)陣列技術(shù)上測(cè)試了多種語(yǔ)音增強(qiáng)解決方案，最終發(fā)現(xiàn)FraunhoferupHear技術(shù)能夠最有效地幫助Alice實(shí)現(xiàn)從智能手機(jī)到智能家居應(yīng)用的轉(zhuǎn)型。不論你是站在設(shè)備前方、房間角落亦或是在糟糕的聲學(xué)條件下，Alice都能聽(tīng)清你的口令。”
xHE-AAC為流媒體和數(shù)字廣播提升音頻質(zhì)量
xHE-AAC是MPEG AAC音頻編解碼器的最新版本，它的加入使AAC系列編解碼器的立體聲傳輸碼率適用范圍得到進(jìn)一步拓展，從低至12 kbit/s直至300 kbit / s，從而讓視頻點(diǎn)播(SVOD)和流媒體音樂(lè)提供商在網(wǎng)絡(luò)狀況不佳或2G/3G網(wǎng)絡(luò)下也能為消費(fèi)者帶來(lái)優(yōu)質(zhì)可靠的體驗(yàn)。此外，MPEG-D DRC為xHE-AAC帶來(lái)的強(qiáng)制響度控制功能能夠確保用戶收聽(tīng)到音量一致的還放內(nèi)容，其提供的動(dòng)態(tài)范圍控制配置文件能夠確保用戶在嘈雜環(huán)境中享受優(yōu)質(zhì)的聆聽(tīng)體驗(yàn)。
目前，Android P原生支持Fraunhofer xHE-AAC音頻編解碼器，開(kāi)發(fā)人員能夠立即在Android P全新的FDK API中運(yùn)用這些新功能。