目前， AR/VR 技術(shù)已在安防、工業(yè)、教育等各個(gè)行業(yè)展開(kāi)應(yīng)用，整體產(chǎn)業(yè)規(guī)模已超百億美金，并將迎來(lái)爆發(fā)式的增長(zhǎng)。
上海海思近日正式發(fā)布 XR 芯片平臺(tái)，為了更好的適應(yīng) AR/VR 場(chǎng)景高分辨率，廣視角，低延時(shí)的特點(diǎn)，推出首款可以支持 8K 解碼能力和高性能 GPU、NPU 為一體的 XR 芯片。
海思官方也對(duì)這一平臺(tái)進(jìn)行了更多解讀：
一方面，該 XR 芯片平臺(tái)支持 8K 硬解碼能力，可以支持到單眼 42.7PDD。
以 VR 為例，人眼能達(dá)到的理想分辨率大約為 60PPD（每度像素?cái)?shù)），一般支持 4KP60 解碼能力的芯片能支持的單眼分辨率為 21.3PPD，對(duì)應(yīng)到電視的話只能等效于 480P 的電視顯示效果，還遠(yuǎn)遠(yuǎn)達(dá)不到讓人感到舒適和沉浸式的效果。
此次海思發(fā)布的 XR 芯片也是從解碼能力進(jìn)行了提升，以提供更清晰的內(nèi)容呈現(xiàn)效果。
另一方面，該平臺(tái)加入海思專有架構(gòu) NPU，可以提供最高 9TOPS 的 NPU 算力。
AR 產(chǎn)品一個(gè)重要應(yīng)用場(chǎng)景是人臉識(shí)別、車牌識(shí)別，這需要對(duì) AR 眼鏡攝像頭中采集到的視頻圖像進(jìn)行實(shí)時(shí)分析，正確識(shí)別出每幀圖像中的人臉及車牌，將識(shí)別到的結(jié)果上傳到服務(wù)器進(jìn)行比對(duì)，并將比對(duì)結(jié)果實(shí)時(shí)顯示到眼鏡中的屏幕上。
從圖像采集、分析、上傳到顯示，耗時(shí)越短，速度越快，用戶體驗(yàn)越好，而分析階段是整條鏈路中耗時(shí)最長(zhǎng)的一環(huán)，想要做到每分鐘上百個(gè)人臉、車牌在毫秒級(jí)時(shí)間內(nèi)完成分析識(shí)別，就需要芯片具備強(qiáng)大的 NPU 算力支持。
也是基于這樣的考慮，海思對(duì)平臺(tái)架構(gòu)進(jìn)行了優(yōu)化。
基于該芯片平臺(tái)，AR 企業(yè) Rokid 發(fā)布基于該平臺(tái)的雙目 AR 眼鏡——Rokid Vision。未來(lái)，Rokid 和上海海思將為行業(yè)提供從芯片、核心算法、軟件系統(tǒng)以及 Saas 服務(wù)的完整的 XR 產(chǎn)品解決方案。
以 VR 為例，人眼能達(dá)到的理想分辨率大約為 60PPD(每度像素?cái)?shù))，一般支持 4KP60 解碼能力的芯片能支持的單眼分辨率為 21.3PPD，對(duì)應(yīng)到電視的話只能等效于 480P 的電視顯示效果，還遠(yuǎn)遠(yuǎn)達(dá)不到讓人感到舒適和沉浸式的效果。海思 XR 芯片具有一流的解碼能力，可以提供更加清晰的內(nèi)容呈現(xiàn)效果，它使用了海思半導(dǎo)體專有架構(gòu) NPU，最高可以提供 9TOPS 的 NPU 算力。
Rokid Vision 正面外觀與普通墨鏡相似，鏡片內(nèi)側(cè)有兩塊獨(dú)立顯示屏，具備 40°+ 視場(chǎng)角（FOV），1080P 的高清 3D 顯示效果，采用光波導(dǎo)顯示方案，連同鏡腿兩側(cè)的立體聲音響，可為用戶帶來(lái)等同于一臺(tái) 4 米外 110 寸 3D 高清電視的沉浸體驗(yàn)。除了低功耗、長(zhǎng)續(xù)航的特點(diǎn)外，Rokid Vision 還支持 DP 輸出，可以連接包括手機(jī)、電腦、平板、游戲主機(jī)在內(nèi)的多種設(shè)備，同時(shí)不需要額外的供電。
作為海思 XR 芯片平臺(tái)的第一款產(chǎn)品，Rokid Vision 搭載由上海海思和 Rokid 共同研發(fā)的 XR 專用芯片，無(wú)論是顯示亮度、通透度、FoV 等都遠(yuǎn)遠(yuǎn)優(yōu)于市場(chǎng)上現(xiàn)有的產(chǎn)品。Rokid Vision 將應(yīng)用于安防、工業(yè)、教育、零售、會(huì)展等多個(gè)領(lǐng)域，提供更強(qiáng)大、便攜、沉浸的體驗(yàn)。
Rokid 作為中國(guó) AR 的領(lǐng)軍企業(yè)，和上海海思共同優(yōu)化了平臺(tái)專用的算法和方案。雙方對(duì)語(yǔ)音、視覺(jué)、環(huán)境感知等 AI 計(jì)算能力做了大量的優(yōu)化工作，完成了多路視頻編解碼的高分辨率低延時(shí)設(shè)計(jì)，從芯片規(guī)格、系統(tǒng)軟件和云端服務(wù)多個(gè)層面，為 XR 行業(yè)提供 AI 交互和多人協(xié)同等核心基礎(chǔ)能力。