TinyML 或優化機器學習 （ML） 模型以在資源受限的設備上運行，是 ML 發展最快的子領域之一。為了實現 TinyML（或有時稱為 TinyAI）所需的這種超低功耗、高性能計算，工程師們探索了許多令人興奮的新技術。

　　TinyML 在邊緣計算中的地位概述

　　利用這一趨勢，以色列公司 Polyn 上周宣布其 最新的神經形態模擬信號處理器 TinyML/TinyAI 處理器 已成功封裝和評估。

　　在本文中，我們將了解 Polyn 提供的技術，以了解它可能對整個 TinyML 產生的影響。

　　人工智能的神經形態計算

　　在追求更低功耗、更高性能的人工智能計算硬件的過程中，令人興奮的新興技術之一是 神經形態計算 。

　　神經形態計算的概念是，人腦是人類已知的最節能的計算設備。在嘗試運行 AI 應用程序時，創建盡可能模擬大腦生物過程的計算硬件將是有利的。雖然這聽起來是一項艱巨的任務，但工程師可以通過硬件和軟件的結合來嘗試這種娛樂方式。

　　神經形態解決方案的實現

　　從硬件的角度來看，神經形態芯片試圖通過充當神經元、軸突的電路元件以及它們之間的加權連接來模仿大腦。

　　為了進一步模擬大腦，該硬件通常通過模擬電路實現，這也有助于提高性能和電源效率。然后，神經形態計算依賴于專門的 神經網絡 ，例如尖峰神經網絡和電信號調制來模擬大腦信號的變化。

　　有了這個基本的了解，我們來看看 Polyn 的新技術。

　　Polyn 的 NeuroSense 和 NASP 技術

　　本周，Polyn 宣布其專有的名為 NeuroSense 的神經形態計算芯片已首次被封裝和評估，這受到高度關注。NASP 技術被稱為其 神經形態模擬信號處理器 （NASP） 技術，旨在成為實時邊緣傳感器信號處理器。

　　NASP 演示芯片

　　根據 Polyn 的說法，他們的技術利用了一個獨特的平臺，該平臺將經過訓練的神經網絡作為輸入，并使用數學建模將網絡合成為真正的神經形態芯片。它的 NASP 芯片使用模擬電路，其中神經元使用運算放大器實現，而軸突則由薄膜電阻器實現。

　　他們聲稱其平臺生產的合成芯片已經完全布局并準備好制造。

　　NASP 設計過程

　　這種新封裝和評估的 NeurorSense 芯片采用 55 nm CMOS 技術實現。此外，據說它充當邊緣信號傳感器，能夠使用神經形態計算處理原始傳感器數據，而無需對模擬信號進行任何數字化。

　　出于這個原因，該公司將其稱為第一款無需模數轉換器 （ADC） 即可直接在傳感器旁邊使用的神經形態模擬 TinyML 芯片。

　　雖然許多技術規格尚不清楚，但據稱，對于始終在線的應用，Polyn 的 NASP 提供 100 uW 的功耗，具有傳統算法的“兩倍精度”。

　　將 TinyML 芯片帶入未來

　　目前，Polyn 對其發展感到鼓舞，稱其芯片的成功封裝和評估驗證了其技術和整個 NASP 系統。未來，Polyn 表示，它希望在 2023 年第一季度向客戶提供該芯片，作為一種集成了光電體積描記術 （PPG） 和慣性測量單元 （IMU） 傳感器的可穿戴設備。

　　用于近傳感器 Tiny-AI 的 NASP 技術

　　按照Polyn所說，許多應用程序可以從 AI 中受益，尤其是從神經網絡范式中受益，但這種強大的數學方法的實際實現在以傳統方式在標準 CPU 或 GPU 上執行時會出現過多的功耗。如果應用程序使用大量數據，并且經常訪問內存，則會導致馮諾依曼架構出現瓶頸。對于具有連續信號流的情況，專用處理器效率更高。

　　一個很好的例子是具有心率 （HR） 跟蹤和人體活動識別 （HAR） 的可穿戴設備，其中 PPG/IMU 傳感器不斷生成數據，其處理會消耗大量電池電量。

　　對于執行真正始終在線測量的設備，神經形態模擬信號處理 （NASP） 是一個理想的解決方案，與傳統算法相比，它具有 100uW 的超低功耗和兩倍的精度。提高的精度還可以簡化整個系統，并降低相關成本。

　　另一個耗電的應用是預測性維護 （PDM） 傳感器節點。工業物聯網 （IIoT） 利用物聯網設備和傳感器來監控機器和環境，以確保設備和流程的最佳性能。PDM 監控機器的健康狀況以識別（也稱為預測）組件的可能故障是最近受到很多關注的物聯網技術。為了實現有效的 PDM，需要通過機器學習 （ML） 算法收集、處理和分析大量數據。如果所有這些數據都必須發送到一個中心進行分析，那么數據通信和處理將比它的價值更麻煩。傳感器數據預處理可以顯著減少發送到云端的數據量，節省資金并改善延遲。

　　NASP 解決了所有這些情況，以及直接在傳感器上對原始數據進行智能優化（預處理）的許多其他用途。它不僅可以解決現有應用程序的問題，還可以為整個行業開辟新的機遇。

　　傳感器數據優化

　　NASP 是一個真正的 Tiny AI 解決方案，旨在優化原始數據并減少 CPU 負載和轉發到云的數據量。NASP 芯片位于傳感器旁邊，形成 Tiny AI 邏輯層。它是一種推理解決方案，使用已經訓練好的機器學習模型進行預測。

　　在 NASP 概念中，數據處理芯片是由 NASP 自動化工具從已經訓練好的神經網絡中合成的。

　　基于 POLYN 多年的專業知識，“僅推理”方法對于語音提取、聲音/振動處理、可穿戴設備測量等應用非常有效。它在功率、準確性和延遲方面提供了巨大的優勢。

　　NASP 背后的神經科學

　　神經網絡計算的主要優點是并行操作。最大的優勢是神經形態計算，特別是通過硬件和軟件設計實現最大并行性，努力模仿人腦并實現其計算到功耗的功效。除了低功耗和提高計算工作負載的性能外，神經網絡還提供容錯能力，這意味著如果傳感器數據不一致，系統仍然可以產生結果。

　　同時進入 NASP 芯片輸入層的所有傳感器信號被并行傳輸到后續層。沒有執行周期，也沒有指向/來自內存的指令。

　　人腦不僅是一個超低功耗的并行操作系統，還是一個模擬系統，處理各種信號而不需要將它們轉換成二進制格式。對于信號感知等任務，模擬系統更可取。據半導體研究公司稱，預計未來十年將出現大量模擬信號，這需要硬件方面的根本性突破，以產生更智能的世界機器接口。

　　NASP 正是這些突破之一，旨在感知模擬信號和數字信號，最重要的是，為各種傳感器增加“智能”。

　　NASP 芯片包含人工神經元（執行計算的節點）和使用電路元件實現的軸突（節點之間的權重連接）：神經元使用運算放大器實現，軸突使用薄膜電阻器實現。

　　NASP芯片設計體現了稀疏神經網絡的方法，只有推理所需的神經元之間的必要連接，這意味著該解決方案顯著有效地減少了神經連接。與每個神經元連接到每個相鄰神經元的內存設計相比，NASP 方法簡化了芯片布局。這種設計特別適用于連接非常稀疏的卷積神經網絡 （ CNN），以及  RNN、Transformers和Autoencoders 。

　　對芯片設計進行神經網絡調整是每個片上神經網絡解決方案的重要組成部分。當今市場上可用的可編程解決方案具有架構限制，會對神經網絡施加額外的轉換。有時，原始神經網絡在移植過程中會經歷幾乎 100% 的轉換，這是一種代價高昂的方法。

　　為了解決這個問題，NASP 模型包括芯片設計自動化工具，即 POLYN 的 T 編譯器和綜合工具，可將任何經過訓練的神經網絡轉換為最佳數學模型，以進一步生成芯片布局，同時完全符合 POLYN 的客戶神經網絡，并節省相關的努力和成本。

　　出于多種原因，如果沒有模擬計算的復興，該行業將接受的數字化轉型將是不可能的。

　　一是節能理念。過多的功耗與感官系統中的數據計算不兼容。

　　下一個趨勢是人工智能越來越向邊緣移動，并在今天應用于傳感器節點。需要優化數十億物聯網設備之間的通信，并從云端卸載數據處理，從而提高 TCO 和效率。

　　與擅長處理復雜信息并隨時間動態變化的人腦一樣，神經形態模擬信號處理器擅長實時計算，從而有助于數字和模擬技術世界的有益嚙合。