眾所周知，虛擬（VR）和增強現(xiàn)實（AR）設備本質上是希望將用戶直接“放置”在另一個環(huán)境、世界和體驗中。這些技術所承諾的身臨其境式體驗非常受消費者的歡迎，不過該領域還有一種特殊的技術——全息顯示器，它可以帶來更接近現(xiàn)實生活的沉浸式體驗。

　　根據外媒Science Daily報道，為了設計開發(fā)出這種沉浸式效果更好的顯示器，斯坦福計算成像實驗室結合了他們在光學和人工智能方面的專業(yè)知識。他們在該領域的最新進展，以論文的形式在11月12日的《科學進展》期刊上作了詳細介紹，另外該研究成果也會發(fā)表于12月的SIGGRAPH ASIA 2021上。

　　圖1. 全息顯示設備原型，圖片來源：斯坦福計算成像實驗室

　　這項研究的背景是這樣一個事實，即當前的增強現(xiàn)實和虛擬現(xiàn)實顯示器只能傳遞給每個觀眾以一幅2D圖像，而不是我們在現(xiàn)實世界中看到的3D或全息圖像。

　　“它們在感知上并不現(xiàn)實，”電氣工程副教授兼斯坦福計算成像實驗室負責人戈登·韋茨斯坦 （Gordon Wetzstein）解釋說。韋茨斯坦和他的同事們正在努力開發(fā)一種新的解決方案，這種方案一方面可以彌合上述模擬與現(xiàn)實畫面之間的差距，另一方面還可以讓畫面顯示更具視覺吸引力。

　　發(fā)表在《科學進展》期刊上的研究論文，詳細介紹了一種減少激光全息顯示器常見散斑問題的技術。而發(fā)表在SIGGRAPH Asia上的論文提出了一種新的技術，它可以更真實地表示3D場景畫面。

　　橋接模擬畫面與現(xiàn)實場景

　　幾十年來，現(xiàn)有全息顯示器的圖像質量一直不佳，受到很多固有問題的限制。正如韋茨斯坦教授所解釋的那樣，研究人員一直面臨著如何將全息顯示器的顯示質量提高到LCD顯示器水準的問題。

　　其中一個困難問題是，研究人員在設計上很難以全息圖的分辨率控制光波的形狀。另外一個阻礙高圖像質量全息顯示器設計的問題是，如何讓模擬環(huán)境中發(fā)生的場景和真實環(huán)境中的相同場景看起來完全一樣，沒有差別。

　　此前，無數(shù)科學家們都曾嘗試通過不同的算法構建來解決上述兩個重要問題。韋茨斯坦教授和他同事們的基本方案還是從算法開發(fā)出發(fā)，不過，不一樣的是他們使用了一種稱作神經網絡的算法，這是一種試圖模仿人類大腦學習信息方式的人工智能形式，他們稱之為“神經全息技術”。

　　“人工智能已經徹底改變了工程及其他領域的幾乎所有方面，”韋茨斯坦說，“但在全息顯示或計算機生成全息（Computer-generated Holography）這一特定領域，人們才剛剛開始探索使用這種人工智能技術來幫助優(yōu)化設計。”

　　斯坦福計算成像實驗室的博士后研究員Yifan Peng正在利用他在光學和計算機科學方面的跨學科背景來幫助設計全息顯示用光學引擎。

　　“直到最近，隨著機器智能創(chuàng)新的出現(xiàn)，我們現(xiàn)在能夠使用強大的工具和能力來利用計算機技術的進步助力我們的研究，”該論文的共同作者Yifan Peng說道。

　　這些研究人員開發(fā)的神經全息顯示器，通過對神經網絡的訓練在全息顯示器中模擬真實世界發(fā)生的物理現(xiàn)象，進而獲得實時的全息3D圖像。然后，他們將其與環(huán)形校準（Loop Calibration Strategy）相機相結合，這種環(huán)形校準策略可以提供實時反饋和相應的調整改善。通過創(chuàng)建與所見圖像實時運行的算法和校準技術，研究人員最終創(chuàng)建出具有更好色彩重現(xiàn)能力、對比度、清晰度的逼真視覺效果。

　　發(fā)表于SIGGRAPH Asia的這篇論文，重點介紹了斯坦福計算成像實驗室首次將其神經全息系統(tǒng)應用于3D場景顯示的過程。該系統(tǒng)以非常高的畫面質量和逼真程度顯示了包含豐富深度信息的場景畫面，這些場景畫面的顯示體現(xiàn)了預定的失焦效果。

　　《科學進展》期刊上的研究論文中，研究人員所呈現(xiàn)工作同樣使用了環(huán)形校準策略，結合了一種受人工智能啟發(fā)的算法，最終開發(fā)出一種使用部分相干光源（LED和SLED）的改善版全息顯示系統(tǒng)。這些光源的成本非常低、外形尺寸緊湊且能耗低，這些都是研究人員對此產生興趣的原因。另外，相對于傳統(tǒng)基于相干光源（如激光）的傳統(tǒng)全息顯示系統(tǒng)，這種新的系統(tǒng)還能夠讓顯示畫面免于散斑問題。

　　不過，這種方案同時也會伴隨帶來一些問題，比如光源的非相干特性會讓所顯示圖像變得模糊，對比度降低。針對這一問題，研究人員提出了一種針對非相干光源物理特性的算法，并利用這種算法，基于普通LED和SLED制作出第一張高質量且無散斑的全息2D和3D圖像。

　　變革行業(yè)的潛力

　　韋茨斯坦教授和Peng博士都認為，未來幾年，新興人工智能技術和虛擬現(xiàn)實、增強現(xiàn)實的結合將會在許多行業(yè)中變得越來越普遍。

　　韋茨斯坦教授說，“總的來說，我非常相信可穿戴計算系統(tǒng)以及虛擬現(xiàn)實和增強現(xiàn)實顯示的未來。我認為這些技術會對人們的生活產生變革性的影響”。他認為，這一點也許不會出現(xiàn)在未來的幾年，但肯定是未來的“大趨勢”。

　　雖然增強現(xiàn)實和虛擬現(xiàn)實技術現(xiàn)在主要用于游戲等應用，但潛在應用還包括醫(yī)學等領域。實際上，醫(yī)學生現(xiàn)在可以使用增強現(xiàn)實技術進行培訓，也可以將來自CT掃描和MRI的醫(yī)學數(shù)據直接疊加到患者身上。

　　“每年，這些類型的技術已經用于數(shù)千次手術，”韋茨斯坦教授說，“我們認為更小、更輕、視覺更舒適的頭戴式顯示器將是未來手術項目的重要組成部分。”

　　“看到研究人員使用這種新的計算成像方法，在相同的硬件條件下提高全息顯示質量是非常令人興奮的，”英偉達的訪問學者，同時也是上面兩篇論文的合作者Jonghyun Kim說道，“這種新的計算成像方法可以產生更好的顯示效果，在未來可以改變顯示行業(yè)的游戲規(guī)則。”