近兩年的社交應(yīng)用中，短視頻、直播類應(yīng)用出現(xiàn)了爆發(fā)式增長，除了年輕人對各類視頻、直播app的追捧，線上教育類app也是層出不窮。視頻和圖像數(shù)據(jù)急劇增長，隨之而來地給數(shù)據(jù)中心帶來了巨大的挑戰(zhàn)。服務(wù)器、硬件以及基礎(chǔ)設(shè)施的體量越來越大，導(dǎo)致企業(yè)資本開支（CAPEX）不斷增加，而視頻流量的暴漲也加速了企業(yè)運(yùn)營開支（OPEX）的投入，這成為了如今視頻與圖像處理領(lǐng)域面臨的兩大痛點(diǎn)。為此，賽靈思推出了雙管齊下的音視頻處理戰(zhàn)略：一是傳統(tǒng)的基于 FPGA的高質(zhì)量軟 IP 解決方案，二是賽靈思最新的基于 Zynq UltraScale+ EV的高密度固化硬 IP 解決方案，為業(yè)內(nèi)帶來一場全新的“視頻處理加速”。
近日，賽靈思在北京辦公室舉辦了一場視頻加速媒體溝通會，賽靈思視頻與圖像處理高級市場營銷經(jīng)理Sean Gardner向媒體介紹了賽靈思的視頻處理加速方案以及最新的基于 Zynq UltraScale+ EV的解決方案，并接受了記者的采訪。
賽靈思視頻與圖像處理高級市場營銷經(jīng)理Sean Gardner先生
視頻和圖像處理面臨的挑戰(zhàn)
視頻直播是一個巨大的市場，也是最貴的一項(xiàng)業(yè)務(wù)。賽靈思預(yù)估，視頻直播的市場到2021年將會達(dá)到700億美金。與此同時，越來越多的操作轉(zhuǎn)移到手機(jī)上，移動視頻增長速度非常快，而在中國增長尤為突出。
賽靈思視頻與圖像處理高級市場營銷經(jīng)理Sean Gardner先生介紹，視頻分為兩類，一類是基于文件的，另一類是直播。基于文件的視頻由于準(zhǔn)備時間比較長，需要的資源會比較少；而直播由于準(zhǔn)備時間比較短，需要的資源也就相對比較多。
此外，視頻的總量在不斷增長，而且清晰度也在不斷提高，算法越來越復(fù)雜。現(xiàn)在多數(shù)視頻都采用H.264的方式來處理，未來4K、8K手機(jī)或電視清晰程度會高很多，需要更多的帶寬。隨著5G技術(shù)的部署，需要新的算法，如HEVC或者AV1，來控制帶寬。
帶寬開支(OPEX)
直播公司每年在帶寬上花費(fèi)了大量的投入。YY直播的運(yùn)營支出費(fèi)用非常高，原因是需要花很多的成本在帶寬和服務(wù)器上。Sean Gardner認(rèn)為，視頻壓縮可以幫助他們減少這方面的成本。
80/20法則
Sean Gardner介紹了一個非常有名的80/20法則，就是20%的播放造成了平臺上80%的流量，而剩下80%的頻道播放只占到這個平臺上20%的流量。可以看到，不同的播放的平臺，基本上流量都是由幾個最受歡迎的頻道所提供的。
“頻道非常受歡迎就會產(chǎn)生很多流量，而它產(chǎn)生的這些流量就會增加公司的OPEX。而平臺上有很多不同的頻道，這些頻道日常的維護(hù)增加了公司的CAPEX，所以我們現(xiàn)在要做的是能夠使得每一個頻道的成本最低，同時在流量當(dāng)中能夠使得每一個比特成本也是最低的。” Sean Gardner指出從OPEX和CAPEX兩方面著手解決市場痛點(diǎn)。
傳統(tǒng) FPGA 軟IP方案優(yōu)化OPEX
從OPEX方面考慮，重點(diǎn)是降低每比特成本，實(shí)現(xiàn)高質(zhì)量低比特率。
現(xiàn)在所有視頻基本都是在軟件中進(jìn)行處理的，比如英特爾的XEON加速器。問題是，當(dāng)壓縮比較好的時候，速度就會變慢；如果壓縮不夠，成本就會很高，在壓縮效率和處理速度中需要進(jìn)行權(quán)衡。在速度和質(zhì)量中也有一個權(quán)衡。
Xilinx比CPU方案相同質(zhì)量下快20倍
如果壓縮的效率是相等的，可以看到賽靈思的產(chǎn)品比傳統(tǒng)其他的產(chǎn)品速度快很多。分別與Libvpx、X265、X264比較，賽靈思的產(chǎn)品達(dá)到了20倍、12倍和12倍的速度。
速度快是非常重要的，同時壓縮的效率也非常重要。
Xilinx比其他方案相同質(zhì)量下省40%比特
在視頻壓縮中，通常峰值性噪比（PSNR）越高，說明壓縮越好。可以看到，賽靈思的產(chǎn)品可以達(dá)到同水平的PSNR，但比特率降低40%。
公開數(shù)據(jù)顯示，虎牙直播在2018年三季度花了2530萬美金來提高直播視頻質(zhì)量。通過使用賽靈思的產(chǎn)品，可以幫助虎牙這樣的直播平臺在每年省下2100萬美金的帶寬成本費(fèi)用。
由于FPGA是可編程的，賽靈思與合作伙伴一起創(chuàng)建了豐富的解決方案，可以支持不同芯片上密度的要求。并且賽靈思已經(jīng)與開源FFmpeg框架進(jìn)行了結(jié)合，用戶不需要成為FPGA的專家，就可以很方便地使用FPGA實(shí)現(xiàn)加速。
據(jù)介紹，賽靈思與Socionext合作，將新的視頻技術(shù)運(yùn)用到公有云和本地?cái)?shù)據(jù)中心；與V-Nova合作研發(fā)新的技術(shù)，推動低負(fù)責(zé)度編碼增強(qiáng)新標(biāo)準(zhǔn)落地，可以實(shí)現(xiàn)賽靈思在原來的技術(shù)和產(chǎn)品性能上進(jìn)一步提高，使得平臺資本開支和運(yùn)營開支減少25%。
高密度Zynq MPSoC 硬IP優(yōu)化CAPEX
從CAPEX方面考慮，重點(diǎn)是降低每頻道成本，也就是實(shí)現(xiàn)高密度。
賽靈思與Aupera合作，在三層高密度的機(jī)架上部署了48個賽靈思的ZynqSPSOC，三層高密度的機(jī)架可以代替30個服務(wù)器，機(jī)架當(dāng)中有384個頻道，總耗能僅750瓦。通過這樣一個解決方案，不僅僅實(shí)現(xiàn)了成本的最優(yōu)化，同時在密度和能耗上也實(shí)現(xiàn)了最優(yōu)。
Xilinx與Aupera合作產(chǎn)品競爭性能對比
與英特爾、英偉達(dá)比較，在尺寸、功耗，以及最終產(chǎn)品的成本及每個頻道的耗能上，都有非常明顯的優(yōu)勢。
一直以來賽靈思不斷優(yōu)化FPGA，追求壓縮效率的不斷提高。以5%的效率提高來算，也可以為公司省下幾百萬美金的支出。
在直播、監(jiān)控、游戲應(yīng)用中，低延時相當(dāng)重要。賽靈思的Zynq產(chǎn)品可以實(shí)現(xiàn)不同程度的延時，如超低延時、中等延時以及高質(zhì)量、低比特率。對于企業(yè)客戶在乎的運(yùn)營開支和資本開支，只要一套軟件就可以實(shí)現(xiàn)這兩個目標(biāo)。
目前來看，傳統(tǒng)以CPU為主要算力的方案已經(jīng)無法滿足實(shí)時的視頻處理需求，GPU和FPGA的方案將會在直播等新興視頻應(yīng)用中大獲發(fā)展。至于短視頻、直播等目前大熱的應(yīng)用會不會隨著時代的發(fā)展被迅速取代，Sean Gardner認(rèn)為，長久來看，圖像和視頻溝通的效率更高，在娛樂、智能零售、增強(qiáng)現(xiàn)實(shí)、導(dǎo)航等更多的應(yīng)用中，視頻和圖像都會有越來越多的應(yīng)用，這也是賽靈思決定在視頻與圖像處理業(yè)務(wù)擴(kuò)大投入的重要原因。