現在，我們每天使用的很多設備都利用了神經網絡技術：在智能手機中它們為照片搜索功能提供支持，還用于人臉識別幫助大家使用人臉解鎖手機；它們可以通過識別車牌了解你駕車駛入或離開擁堵區。它們足夠的“聰明”，能夠檢測一個人的肢體語言——這對監控系統非常的有用，它們也被應用到帶攝像頭的AV系統中，可以識別每個人并讓系統提供個性化的內容服務，在汽車上涉及的應用包括車道偏離預警、司機狀態監控等，此外，通過大量實驗和應用證明神經網絡比人類更擅長檢測皮膚癌——可見神經網絡的應用既廣泛又多樣。
區別于“傳統”一切都基于云的人工智能（AI），這些基于現場應用設備的神經網絡計算，可以被稱為嵌入式AI；這是一個快速發展但也渴求技術創新的市場，也是眾多SoC設計公司正在以創新產品去開拓的市場。隨著Imagination在去年9月推出Series2NX神經網絡加速器（NNA），嵌入式AI加速領域內的游戲規則正在被改變。現在，我們以Imagination新發布的兩款內核產品為例，來分析不同應用市場對嵌入式AI的綜合性能指標。這兩款產品是面向高端市場的PowerVR AX2185，以及面向中檔市場的AX2145。下面我們將詳細地向大家介紹。
神經網絡作為解決問題以及驅動多領域新型應用的工具正變得越來越流行，下圖分別說明了在移動設備和智能監控攝像機等領域內快速發展的嵌入式AI應用。
雖然神經網絡可以進行離線訓練，但是在進行推斷處理時——運行神經網絡實時識別和處理對象——有必要將這些技術轉移到終端設備中，而不是將這些任務放在云端進行處理。舉一個例子：無人機，它們的飛行速度可以超過150mph（英里每小時），神經網絡可以驅動碰撞檢測系統，然而如果沒有專門的硬件來進行圖像處理，無人機將需要看到前方10-15米的物體才能避開障礙物。由于發送和接收信息所需的延遲和帶寬，云服務器并不是合適的解決方案。搭建專用PowerVR NNA的無人機能夠以每小時150英里的速度飛行，并且避開1米以內的障礙物，這大大提高了響應能力和安全性，并增強這類應用的創造性。
專用神經網絡硬件往往被視為SoC集成中的下一步，在20世紀80年代除了早期的桌面CPU之外還集成了數字協同處理器，而且很快就成為了這類設計的標準。雖然很多計算任務已經從CPU轉移到GPU上來，但這對于工作來說仍然不是最有效的設計工具，將它們轉移到專用的本地硬件才是符合邏輯的解決方案，性能優勢是顯而易見的，采用高端GPU檢索1000張圖片需要60秒，但是使用我們的NNA只需要2秒，之前的方案對這些圖片進行分類要消耗1%的電量，但是NNA消耗1%的電量可以處理42萬8千張圖片，這是非常具有說服力的。
去年9月，Imagination推出的Series2NX加速器是基于神經網絡推理而構建的，是目前業界性能最好的解決方案，同時這些加速器還對所有的主要卷積神經網絡層提供支持，比如Inception、ResNet，框架包括Tensorflow、Caffe2和PyTorch等。
該解決方案一個關鍵的差異化因素在于它提供了靈活的精度，使用由16位數據組成的經過訓練的網絡可以達到非常高的準確度，然而使用較低的精度訓練網絡意味著仍然可以保持較高的精度，而且其優勢是可以顯著降低功耗和帶寬。在實際情況中這使得將NNA集成到智能相機、智能手機等嵌入式設備中可以花費較低的成本同時保持較高的實用性。針對這些已經被驗證過的創新，查看Imagination網站上相關博客，可以了解更多關于采用高效推理訓練神經網絡的處理過程和好處。
下表展示了精度靈活性的好處，簡而言之采用4位精度你可以大幅度降低功耗和帶寬（內存）需求，精確度僅下降1%，這在大多數實際情況下對于設備的效率沒有明顯的影響。下面，我們以Imagination的兩款神經網絡加速器為例，來說明不同市場對性能指標和其他因素的考量：
PowerVR AX2185
Imagination的Series2NX已經在市場上取得了成功并且已經授權給多家廠商，今天它們正在不斷擴大市場的選擇范圍。首先，通過增強原始內核推出了PowerVR AX2185，其次發布另一個版本即PowerVR AX2145。一個關鍵的新特性是這兩款核心都增加了對Android NN API的硬件支持，使得開發人員能夠開發更多基于深度學習的應用，大大豐富了安卓市場應用。
從性能角度來看，PowerVR AX2185面向的是高端嵌入式市場，它集成了8個全位寬計算引擎，能夠提供每秒最多可達4.1兆赫的運算，在目前市場上其每平方毫米性能參數是最高的。實際上這個水平是最新的桌面GPU性能的3.5倍。對于那些正在使用功耗較高的GPU進行神經網絡訓練的公司來說，這是非常具有吸引力的，尤其是汽車領域。與友商提供的硬件解決方案相比，基于4位數據的網絡AX2185僅需要50%的帶寬，而與基于DSP的競爭廠商的方案相比則降低了75%。
雖然高端設備已經具備了人臉解鎖等諸多功能，但是這些功能正在迅速地更新迭代，設備制造商希望以更低的價格提供這些功能，當然消費者也想為他們的手機支付更少的錢但同時還能擁有相同甚至更好的功能，比如智能相機確保家庭安全、智能手機的人臉解鎖等。是的，消費者也想分享這個蛋糕。
PowerVR AX2145
如何在內存有限的設備上保持這種用戶體驗呢？答案是PowerVR AX2145。它為性能效率而調整了整體性能，此外它高度調優了矢量計算，卷積引擎結合了優化的內核存儲結構，能夠提供明顯的最大性能參數，而且與AX2185相比每平方毫米面積的推理性能提升了50%，同時降低了系統峰值內存帶寬（以GB/s計算）。我們為其實現的性能和效率之間的平衡而感到驕傲，我們認為這對于成本敏感的設備是非常理想的選擇。
開發工具包也是值得去考量的另一個因素，這是因為硬件本身并不能算是解決方案。Imagination這樣的領先廠商提供了PowerVR AI工具包，這大大簡化了用戶的部署流程，調試和網絡分析都非常的簡單，此外，它還支持對訓練后的網絡進行優化，其中的API支持包括IMG DNN和Android DNN，提供GPU和NNA之間無縫的互操作性。
總結
面對快速發展的嵌入式AI市場，隨著諸如Imagination這兩款全新內核產品的新引擎不斷推出，業界將能夠在終端設備上實現低成本的AI功能，為消費者提供更多新型的AI應用程序。通過這些核心將能夠滿足開發人員創建應用程序所需的性能要求，真正實現人工智能帶來的變革，而且這些這些提升將很快會變成現實，它將涉及多個應用市場比如智能手機、智能相機和汽車等。未來的可能性是無限的，唯一需要的就是一點兒想象力（Imagination）。
原文鏈接：
https://www.imgtec.com/blog/powervr-series2nx-raising-the-bar-for-embedded-ai/