OPPO突圍AI底層技術(shù)，首顆自研影像NPU攪動(dòng)AI產(chǎn)業(yè)。
如今每個(gè)人對(duì)于“AI”這個(gè)名詞或許都能聊上兩句。各類智能硬件設(shè)備不斷深度介入我們的生活中，大到智能汽車、小到一部手機(jī)。在智能硬件爆發(fā)的背后，AI算法也在快速迭代發(fā)展，算法模型越來(lái)越復(fù)雜，對(duì)于硬件的要求也更高，“AI芯片”這個(gè)概念也成為了近幾年來(lái)AI產(chǎn)業(yè)關(guān)注的焦點(diǎn)之一。
其實(shí)，能夠用于人工智能應(yīng)用、實(shí)現(xiàn)AI加速的模塊，都可以稱為廣泛意義上的AI芯片。比如我們大多數(shù)人手機(jī)處理器中的NPU（神經(jīng)網(wǎng)絡(luò)處理器）模塊，就是一種AI芯片。
就在兩天前，OPPO發(fā)布了自家第一個(gè)自研芯片，這是一個(gè)專門用于影像處理的NPU芯片，名為馬里亞納 X，與世界上最深的海溝“同名”，OPPO要趟自研芯片這最深的水。
面向AI應(yīng)用的全新DSA架構(gòu)、臺(tái)積電6nm先進(jìn)工藝以及40倍的AI能效比提升，馬里亞納 X將手機(jī)計(jì)算影像推向了“4K+20bit RAW+AI+Ultra HDR”的時(shí)代，同時(shí)，也首次將AI影像算法與傳感器、SoC進(jìn)行了垂直整合，完成了影像鏈路的閉環(huán)。
一句話來(lái)說(shuō)，馬里亞納 X作為開(kāi)發(fā)專用AI算法，到算力硬化全鏈路垂直整合能力標(biāo)準(zhǔn)對(duì)芯片，彌合了AI算法與硬件之間的鴻溝，成為加速AI算法落地的“橋梁”。
正如OPPO創(chuàng)始人兼首席執(zhí)行官陳明永所說(shuō)，OPPO已經(jīng)走入了技術(shù)研發(fā)的“深水區(qū)”， 對(duì)于OPPO來(lái)說(shuō)，馬里亞納 X的落地證明了OPPO自研芯片的技術(shù)與能力，而對(duì)于AI產(chǎn)業(yè)來(lái)說(shuō)，馬里亞納 X或許為AI在移動(dòng)領(lǐng)域的加速落地提供了新的思路。
01.AI能效比暴漲40倍，算法落地視頻成為可能，DSA架構(gòu)劍指計(jì)算影像
從芯片技術(shù)架構(gòu)來(lái)看，常見(jiàn)的AI芯片主要有通用芯片（CPU、GPU）、半定制化芯片（FPGA）、全定制化芯片（ASIC）、類腦芯片以及軟件定義硬件芯片五大類。
馬里亞納 X這枚NPU主要用于手機(jī)影像計(jì)算領(lǐng)域，相對(duì)來(lái)說(shuō)應(yīng)用更專一，并且芯片專門為提升OPPO手機(jī)的影像體驗(yàn)而定制對(duì)專用AI芯片，其中既有接近ASIC芯片的專用性而帶來(lái)的超高效率，同時(shí)又具備AISC所沒(méi)有的靈活性。
目前通用手機(jī)SoC中都包含了ISP（圖像信號(hào)處理）模塊，顧名思義，ISP的主要作用是對(duì)圖像傳感器采集到的信息進(jìn)行處理，它也是一種ASIC芯片，但大都集成于手機(jī)SoC中。而ISP與馬里亞納 X最核心的區(qū)別就在于ISP并不具備AI性能，在SoC中必須要依靠另外的AI計(jì)算單元來(lái)配合。例如蘋果A系列芯片的ISP，也需要依賴整個(gè)芯片的Neural Engine提供AI的算力支持。
馬里亞納 X的AI算力達(dá)到了18TOPS，已經(jīng)可以比肩蘋果A15，而在峰值算力強(qiáng)勁的同時(shí)，實(shí)現(xiàn)較好的能效是OPPO更加看重的，這一點(diǎn)在手機(jī)這類移動(dòng)設(shè)備上顯得尤為重要。
馬里亞納 X能夠做到11.6TOPS/W的能效比，這是移動(dòng)設(shè)備中罕見(jiàn)的兩位數(shù)對(duì)能效比性能，意味著手機(jī)能夠在消耗既定電量都條件下，能夠處理更加大量的數(shù)據(jù)。
值得一提的是，該結(jié)果是基于真實(shí)落地商用的復(fù)雜AI算法和隨機(jī)生成圖片得來(lái)，實(shí)際上，如果基于現(xiàn)實(shí)世界的人像、風(fēng)景等真實(shí)圖片進(jìn)行處理，馬里亞納 X的能效比還會(huì)更高。與搭載驍龍888的Find X3 Pro進(jìn)行對(duì)比，馬里亞納 X運(yùn)行OPPO自研AI降噪模型的性能可以達(dá)到40FPS，大約是OPPO Find X3的20倍。
在此基礎(chǔ)上，馬里亞納 X的功耗僅有800毫瓦，僅為OPPO Find X3上驍龍888的一半，因此能效比達(dá)到了40倍，這種提升無(wú)疑是一種“質(zhì)變式”的。
實(shí)際上，雖然手機(jī)計(jì)算攝影發(fā)展多年，但大多數(shù)AI算法仍然只能針對(duì)單張或者多張照片進(jìn)行處理，比如AI美顏、AI夜景拍照的后處理，本質(zhì)上依然是以時(shí)間換計(jì)算，如果要算的更多，那意味著消費(fèi)者往往需要在拍攝后等待更久的處理。
但這樣的算法，面對(duì)需要實(shí)時(shí)處理大量視頻拍攝卻很難應(yīng)用。因?yàn)樵谝曨l拍攝中，AI算法運(yùn)行最低性能門檻也要有30FPS，這意味著芯片需要提供30倍以上的性能，才能讓后處理的算法，能夠?qū)崟r(shí)去運(yùn)行。
可以說(shuō)，馬里亞納 X讓算法在視頻端的應(yīng)用從不可能變?yōu)榱丝赡埽@對(duì)于AI算法應(yīng)用效果的提升來(lái)說(shuō)是“從量變到質(zhì)變”。基于這樣的AI性能及高能效比，馬里亞納 X在手機(jī)影像領(lǐng)域?qū)崿F(xiàn)了諸多突破。
比如在成像的動(dòng)態(tài)范圍方面，馬里亞納 X最高能夠支持20bit Ultra HDR成像、覆蓋100萬(wàn)：1的最大亮度范圍，這樣的能力已經(jīng)媲美“人眼級(jí)”，也是目前行業(yè)中如驍龍8、天璣9000這類主流移動(dòng)SoC HDR能力的4倍。
根據(jù)OPPO給出的拍攝樣例對(duì)比可以看到，在人像拍攝和靜物拍攝兩類場(chǎng)景中，采用馬里亞納 X方案的機(jī)型拍出的視頻，可以明顯提升暗部的細(xì)節(jié)，同時(shí)高光部分也沒(méi)有過(guò)曝現(xiàn)象。
在強(qiáng)勁AI性能和對(duì)影像體驗(yàn)的直觀改善背后，馬里亞納 X芯片在架構(gòu)層面也進(jìn)行了大膽突破。馬里亞納 X采用了AI時(shí)代的DSA架構(gòu)理念，簡(jiǎn)單來(lái)說(shuō)，DSA就是“應(yīng)用在特定領(lǐng)域的架構(gòu)”，馬里亞納 X的“特定領(lǐng)域”，顯然就是手機(jī)計(jì)算影像。
目前在通用手機(jī)SoC中也有用于提升AI算力的模塊，不同的廠商或許叫法不同，但可以廣泛地看作一類通用NPU，這種通用NPU要兼顧很多不同場(chǎng)景中的算法模型。相比之下，馬里亞納 X的DSA架構(gòu)更加專用，針對(duì)OPPO自研的AI模型去硬化對(duì)應(yīng)的算子，這也是OPPO影像專用芯片與傳統(tǒng)NPU的核心區(qū)別之一。
可以看到，OPPO在通過(guò)一種“專芯專用”的芯片設(shè)計(jì)思路，彌合傳統(tǒng)硬件和AI算力鴻溝。而在核心的AI性能領(lǐng)域，馬里亞納 X已經(jīng)具備足夠能力突破目前手機(jī)計(jì)算攝影的“天花板”。
02.AI賦能千行百業(yè)之下，OPPO成AI賽道黑馬
馬里亞納 X的發(fā)力點(diǎn)是手機(jī)計(jì)算影像，而放眼整個(gè)AI行業(yè)，AI落地的大潮已經(jīng)在千行百業(yè)中快速滲透。“AI芯片將無(wú)處不在”的預(yù)言正在成為現(xiàn)實(shí)。
從智能手機(jī)到智能家居，從數(shù)據(jù)中心到邊緣設(shè)備，我們的生活正在被AI芯片全面入侵。僅僅在智能手機(jī)領(lǐng)域，AI技術(shù)已經(jīng)深入移動(dòng)游戲、視覺(jué)識(shí)別、音頻交互、通信優(yōu)化、智能充電等各個(gè)角落。
業(yè)內(nèi)通常將AI產(chǎn)業(yè)分為應(yīng)用層、技術(shù)層和基礎(chǔ)層，其實(shí)OPPO目前面向萬(wàn)物互融時(shí)代的“3+N+X”戰(zhàn)略，包含了軟件硬件基礎(chǔ)技術(shù)、AI技術(shù)以及以充電、影像為代表的差異化技術(shù)，在AI產(chǎn)業(yè)的應(yīng)用層和技術(shù)層，OPPO已有較多儲(chǔ)備。而此次的馬里亞納 X，顯然是OPPO面向AI芯片領(lǐng)域的一次大膽探索和前瞻性布局，AI芯片也是目前AI產(chǎn)業(yè)基礎(chǔ)層中愈發(fā)重要的一環(huán)。
在AI芯片中的通用CPU、GPU領(lǐng)域，由于GPU擅長(zhǎng)重復(fù)性高的大規(guī)模并行計(jì)算任務(wù)，因此可以作為AI加速器使用。在這一領(lǐng)域，英偉達(dá)因其成熟高效的GPU解決方案，在AI訓(xùn)練芯片市場(chǎng)中獨(dú)領(lǐng)風(fēng)騷，其各類AI加速器產(chǎn)品在業(yè)內(nèi)被廣泛應(yīng)用于云端和終端側(cè)。
▲NVIDIA A100 GPU
如英偉達(dá)、AMD、英特爾這樣的頭部玩家，通過(guò)定制化CPU和GPU提供AI加速器解決方案，成為了全球AI領(lǐng)域基礎(chǔ)設(shè)施建設(shè)的最大獲益者，不過(guò)他們的產(chǎn)品鮮有涉及移動(dòng)端，主要以面向桌面端平臺(tái)為主。在移動(dòng)端，手機(jī)AI芯片目前還主要以NPU模塊的形式存在于通用手機(jī)SoC中，這也與手機(jī)的算力需求以及功耗要求密切相關(guān)。
由于能效比要求更高，并且定制化需求更加“千人千面”，移動(dòng)端也需要有針對(duì)性的AI芯片產(chǎn)品出現(xiàn)。從過(guò)去兩年來(lái)看，手機(jī)AI芯片市場(chǎng)格局基本穩(wěn)定，由蘋果、華為、高通三大巨頭牢牢把控高端市場(chǎng)，聯(lián)發(fā)科、展銳等廠商在中端及入門級(jí)市場(chǎng)中表現(xiàn)亮眼。
但實(shí)際上，隨著手機(jī)功能越來(lái)越豐富，以計(jì)算影像為代表的應(yīng)用場(chǎng)景對(duì)于算力和功耗的要求越來(lái)越苛刻，這些通用手機(jī)AI芯片應(yīng)對(duì)某個(gè)特定領(lǐng)域的AI需求已經(jīng)有些捉襟見(jiàn)肘。
此時(shí)OPPO無(wú)疑成為了手機(jī)AI芯片領(lǐng)域的一位新晉玩家，用三年時(shí)間，經(jīng)過(guò)上千人研發(fā)團(tuán)隊(duì)的努力，終于將馬里亞納 X這枚影像專用NPU帶到了我們的視野中，并即將于明年落地在旗艦級(jí)Find X系列中。
除了對(duì)于AI產(chǎn)業(yè)基礎(chǔ)層AI芯片的突破，OPPO也把握住了一次AI產(chǎn)業(yè)中的重要趨勢(shì)變革，也就是軟硬件的深度結(jié)合，將算法寫入硬件中，做“硬件級(jí)的算法”，也一直是OPPO致力實(shí)現(xiàn)的目標(biāo)。在終端AI芯片在移動(dòng)領(lǐng)域的應(yīng)用側(cè)，OPPO在特定領(lǐng)域率先實(shí)現(xiàn)了突破。與其說(shuō)OPPO在做一個(gè)影像專用NPU芯片，不如說(shuō)OPPO在用一種新的思路，實(shí)現(xiàn)AI算法在終端側(cè)的加速實(shí)現(xiàn)。
03.結(jié)語(yǔ)：OPPO亮劍AI芯片產(chǎn)業(yè)
馬里亞納 X以其強(qiáng)勁的AI算力和AI能效比，顯著提升了手機(jī)計(jì)算影像的體驗(yàn)，同時(shí)也用軟硬件深度結(jié)合、專芯專用的思路和方式，準(zhǔn)確切入了AI芯片賽道，成為終端AI芯片產(chǎn)業(yè)的一位新晉玩家。在AI強(qiáng)勢(shì)侵入并顛覆各個(gè)傳統(tǒng)領(lǐng)域的同時(shí)，AI芯片正在云計(jì)算、手機(jī)、安防監(jiān)控、智能家居、自動(dòng)駕駛等場(chǎng)景上演新的群雄爭(zhēng)霸賽。終端AI芯片戰(zhàn)場(chǎng)格局復(fù)雜，新老玩家、跨界玩家交融，各展其華，而OPPO也走出了一條屬于自己芯片之路。
作者 | 云鵬
編輯 | 漠影
