編者按：AI 的技術(shù)浪潮正讓社會(huì)方方面面發(fā)生著深刻的變革。來(lái)自海量傳感器、攝像頭的視覺(jué)、聲音等數(shù)據(jù)，對(duì)延時(shí)、隱私以及可靠性有嚴(yán)格要求的場(chǎng)景，邊緣 AI 的發(fā)展勢(shì)在必行。面對(duì)邊緣側(cè)形態(tài)各異的設(shè)備與豐富應(yīng)用，大模型、智能體在邊緣側(cè)的落地需要具備更高性能和能效的邊緣計(jì)算平臺(tái)。
當(dāng)前，AI 不斷賦予邊緣設(shè)備更加先進(jìn)的智能屬性，在工業(yè)自動(dòng)化、智慧城市和智能家居等領(lǐng)域，OEM 廠商、軟件開發(fā)者們正在積極尋求營(yíng)建邊緣 AI 推理生態(tài)系統(tǒng)，釋放 AI 的巨大價(jià)值。
面對(duì)邊緣側(cè)形態(tài)各異的設(shè)備與豐富應(yīng)用，大模型、智能體在邊緣側(cè)的落地需要具備更高性能和能效的邊緣計(jì)算平臺(tái)。
日前，Arm 發(fā)布了以全新基于 Armv9 架構(gòu)的 Arm Cortex-A320 以及對(duì) Transformer 網(wǎng)絡(luò)具有原生支持的 Ethos-U85 AI 加速器為核心的邊緣 AI 計(jì)算平臺(tái)，支持運(yùn)行超 10 億參數(shù)的端側(cè) AI 模型，并將推動(dòng)邊緣 AI 領(lǐng)域在未來(lái)多年內(nèi)的持續(xù)發(fā)展。
Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健指出，全新的邊緣AI計(jì)算平臺(tái)實(shí)現(xiàn)了 CPU 和 AI 加速器的深度配合。Cortex-A320 可以為 Ethos-U85 提供更高的內(nèi)存容量與帶寬，讓大模型在 Ethos-U85 上的執(zhí)行如虎添翼。任何開發(fā)者們不希望在 Ethos-U85 上運(yùn)行的 AI 操作，可以回退到 Cortex-A320，利用其 Neon/SVE2 引擎更靈活有效地在 CPU 上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費(fèi)類電子生態(tài)系統(tǒng)能夠在正確的時(shí)間，并在合適的地方運(yùn)行最適合的工作負(fù)載。
全新Cortex-A320：首個(gè)基于 Armv9 架構(gòu)的超高能效 CPU
Arm Cortex-A320 CPU 的推出具有重要的里程碑意義。
作為首個(gè)基于 Armv9 架構(gòu)的超高能效 CPU，在 ML 性能方面，Cortex-A320 相較于前代Cortex-A35 提升了高達(dá) 10 倍的 ML 計(jì)算能力。此外，它的能效比較 Cortex-A520提升了 50%。在標(biāo)量計(jì)算性能方面，Cortex-A320 的性能比前代 Cortex-A35 提高了 30%，帶來(lái)了更強(qiáng)的通用計(jì)算能力。
馬健表示，Cortex-A320 充分利用了 Armv9 增強(qiáng)的安全性和 AI 計(jì)算特性，這些特性已經(jīng)在其他市場(chǎng)得到廣泛應(yīng)用，而 Arm 如今將其引入物聯(lián)網(wǎng)領(lǐng)域。
安全性方面，Secure EL2增強(qiáng)了TrustZone內(nèi)部的隔離性，支持更安全地運(yùn)行軟件容器；指針驗(yàn)證/分支目標(biāo)識(shí)別（PACBTI）可有效緩解跳轉(zhuǎn)和返回編程中的指針安全隱患；內(nèi)存標(biāo)記擴(kuò)展（MTE）則通過(guò)內(nèi)存標(biāo)記機(jī)制，使黑客更難利用漏洞進(jìn)行攻擊，提高整體系統(tǒng)安全性。
計(jì)算性能方面，增強(qiáng)的Neon和可伸縮向量擴(kuò)展(SVE2)技術(shù)，可提供更高效的ML計(jì)算能力；支持如BFloat16等新數(shù)據(jù)類型，提高AI計(jì)算的精度和能效；新增的矩陣乘法指令優(yōu)化了AI和ML計(jì)算性能，加速神經(jīng)網(wǎng)絡(luò)推理和訓(xùn)練任務(wù)。
跨越邊緣 AI 軟件開發(fā)和部署復(fù)雜性障礙
邊緣 AI 普及面臨的最主要障礙之一是軟件開發(fā)和部署的復(fù)雜性，這正是 Armv9 邊緣 AI 計(jì)算平臺(tái)軟件生態(tài)系統(tǒng)發(fā)揮優(yōu)勢(shì)的關(guān)鍵所在。
2024年，Arm 推出了 Kleidi 軟件庫(kù)，并將其引入了智能手機(jī)和服務(wù)器市場(chǎng)，它包含優(yōu)化 AI 負(fù)載在 Arm CPU 上執(zhí)行的 KleidiAI 和加速機(jī)器視覺(jué)的 KleidiCV。如今，Arm 將 Kleidi 也擴(kuò)展到了物聯(lián)網(wǎng)領(lǐng)域。
KleidiAI 是一套專為 AI 框架開發(fā)者設(shè)計(jì)的計(jì)算內(nèi)核，讓開發(fā)者可以無(wú)縫地在 Arm CPU 上獲取最佳性能，適用于各類設(shè)備。它支持如 Neon 和 SVE2 等 Armv9 架構(gòu)的關(guān)鍵特性，大幅提升了 AI 的計(jì)算效率。此外，KleidiAI 已集成到常見(jiàn)的物聯(lián)網(wǎng) AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（通過(guò) XNNPACK），加速了 Meta Llama 3 和 Phi-3 等關(guān)鍵模型的性能。例如，在 Llama.cpp 上運(yùn)行微軟的 Tiny Stories 數(shù)據(jù)集時(shí)，KleidiAI 為新的 Cortex-A320 帶來(lái)了高達(dá) 70% 的性能提升。
寫在最后
Arm全新的邊緣 AI 計(jì)算平臺(tái)代表了 Arm 為未來(lái)邊緣計(jì)算和 AI 處理提出的新范式，該平臺(tái)對(duì)物聯(lián)網(wǎng)生態(tài)系統(tǒng)所能夠帶來(lái)的影響值得期待。相信全新 Arm 邊緣 AI 計(jì)算平臺(tái)將成為新一輪物聯(lián)網(wǎng)創(chuàng)新的催化劑。Armv9 架構(gòu)的特性、先進(jìn)的 AI 功能和全面軟件支持的結(jié)合，將為 OEM 廠商和開發(fā)者創(chuàng)造新的可能性。
