近日，半導(dǎo)體行業(yè)觀察記者從《人民日報》客戶端看到了一篇文章，提出：“人工智能計算機視覺芯片性能利用率衡量標準就是：在運算圖片的時候，既要保證圖片的精度（準），又要保證運算的速度（快），是否又‘快’又‘準’。” 這引發(fā)記者深刻的思考一個問題：我們經(jīng)常高舉著“名義算力”的旗幟，卻忽略了芯片的實際計算效率、功耗、成本、以及元器件是否穩(wěn)定可靠。在單位算力下，是否能將圖片運算又“快”又“準”，實際上是每一個應(yīng)用和系統(tǒng)廠商切實關(guān)心的實際問題，也是衡量智能視覺處理器的標準。
為了弄清楚“名義算力” 和 “芯片實際利用率” 之間的差異，記者非常好奇的將一顆在計算機視覺領(lǐng)域長期處于翹楚的Intel Movidius Myriad X 芯片，與《人民日報》提到的肇觀電子N161進行了比較。
之所以把這兩顆芯片進行比較，是因為我們熟悉Intel。無論在任何品牌的PC機，還是筆記本，或者是平板電腦上，都能夠看到無處不在的 “Intel 某款芯片 inside” 標簽。而我們知道，英特爾的威力根本不僅限于此，在數(shù)據(jù)中心、工業(yè)制造等各個方面所占據(jù)的霸主地位，也如同它為PC、筆記本、平板電腦提供芯片的地位一樣，無可撼動。
2016年，Intel芯片設(shè)計將觸角伸到了計算機視覺領(lǐng)域，收購了計算機視覺公司Movidius。Movidius Myriad VPU 是Intel第一個用于深度神經(jīng)網(wǎng)絡(luò)推理的視覺處理單元芯片。Intel的這項收購也可想而知的，在計算機視覺領(lǐng)域，移植了它在其他領(lǐng)域的霸主慣性思維。
▲ Movidius Myriad X 芯片
▲肇觀電子N1系列芯片
在計算機視覺領(lǐng)域，讓機器像人一樣去分析圖片，不管是把圖片上的內(nèi)容進行分類（分辨出人、車、房、樹）， 還是將圖片內(nèi)容進行檢測（檢測出男人、女人、老人、孩子，以及他們所處于圖片中的位置），或者是將一張圖片的不同內(nèi)容進行分割（人臉上哪里是眼睛、哪里是口罩），等等，都需要用高性能的芯片將不同的算法部署到實際的應(yīng)用上。
▲檢測到圖中的狗、貓、兔子
針對于實現(xiàn)圖片分類、檢測、分割等功能的算法，每個算法公司會根據(jù)自己的需求研發(fā)出不同的算法，衡量一顆計算機視覺芯片的AI性能是否優(yōu)秀，需要看它在跑不同算法的時候，是否能夠在單位算力下運行更多幀圖片，并且還要保證算法精度不損失。
▲在保證FP16精度的情況下，針對6種算法，
N161和Myriad X芯片每秒可計算的圖片數(shù)量
記者邀請了算法工程師隨意挑選了幾種常用的圖片分類算法和圖片檢測算法，讓兩顆芯片同時跑這些算法，驚訝的發(fā)現(xiàn)了兩顆芯片在單位算力下，每秒能跑的幀率所呈現(xiàn)出的不同的結(jié)果。ResNet-50、Inception V3、MobileNetV1、MobileNetV2 是常見的用于圖片分類的神經(jīng)網(wǎng)絡(luò)算法，MobileNetV1_SSD、YOLOV3 是常見的用于圖片檢測的神經(jīng)網(wǎng)絡(luò)算法。以MobileNetV1算法為例，為了達到圖片分類的目的，算法工程師用肇觀電子N161芯片跑算法，每單位算力/每秒可以跑181.49幀，用英特爾Myriad X芯片來跑同樣的算法，每單位算力/每秒只能跑106.15幀。
單位算力下跑得快有什么現(xiàn)實的意義？
▲根據(jù)貨物的大小、形態(tài)、顏色，自動分揀
在一個用于貨品分類的智能工業(yè)相機場景，傳送帶上面的貨物需要被連續(xù)拍攝、檢測和分類，傳送帶的傳送速度要和智能相機的計算能力相匹配，如果傳送帶傳得快但是相機計算不過來，就會導(dǎo)致整個自動控制系統(tǒng)的失效；智能相機計算得越快，傳送帶就可以傳送的越快，產(chǎn)線吞吐率就能得到相應(yīng)的提升，生產(chǎn)效率就能提升。
▲靠人眼看回放進行監(jiān)控
在智能安防領(lǐng)域，建設(shè)城市視頻監(jiān)控系統(tǒng)是實現(xiàn)城市安全和穩(wěn)定的重要基礎(chǔ)，是“平安城市”建設(shè)的重要組成部分，更成為“智慧城市”的重要載體。傳統(tǒng)的安防監(jiān)控只能達到“看得見”的功能，公安機關(guān)需要靠人眼追溯錄下的視頻來破案，而肇觀的芯片應(yīng)用到智能安防領(lǐng)域，能夠讓攝像頭“看得清”，“看得懂”，極大提高破案效率，甚至將案件防范于未然，把大量重復(fù)簡單的工作留給機器去解決。
每個應(yīng)用和系統(tǒng)廠商都在尋找在性能、功耗、成本等方面綜合因素下合用的AI芯片。AI芯片是否適合使用，往往從每元錢能獲得的性能、每度電能獲得的性能、部署實施的成本、元器件是否穩(wěn)定可靠等幾個方面來衡量。據(jù)悉，肇觀電子的N161芯片得到的某些客戶反饋稱：用1T的算力部署的系統(tǒng)的性能達到了其他廠商宣稱的4~5T的水平。這充分說明了芯片實際利用率是檢驗芯片AI性能的金標準。