隨著 AI 炒作的消退和面臨新的工程挑戰，內存需求成為焦點：并非每項機器學習和推理任務都需要先進的內存技術。相反，經過驗證的傳統存儲器可以在邊緣處理人工智能，而分布式人工智能可能正是 5G 真正需要的東西。

盡管如此，基本的推理操作已經變得越來越復雜。總體而言，內存將有望為推理做更多的事情。

TECHnalysis Research 總裁兼首席分析師 Bob O'Donnell 認為，人工智能是實現 5G 承諾不可或缺的一部分。只有將兩者結合起來，才能實現新的應用。“具有諷刺意味的是，每個人都將這些都視為獨立的動物：5G 是一回事，邊緣是另一回事。人工智能是另一回事。你真的需要將這些東西結合起來，讓它們中的任何一個真正發揮他們的能力，”O'Donnell 說。

隨著邊緣處理器的發展以及諸如 LPDDR之類的存儲器被用于在邊緣處理平凡的 AI 任務，集中式 AI 已經在一定程度上證明了自己。“房間里的攝像頭可以進行非常簡單的 AI 處理，以檢測房間內的人數，從而調整 HVAC，”O'Donnell 說。雖然并不吸引人，但這些任務可以在一組具有適度計算和內存能力的建筑物中本地處理——消除了將數據來回發送到云的需要。

O'Donnell 補充說，還有一個中間地帶，邊緣設備在本地處理數據，同時具有足夠的智能，可以知道何時將文件發送到數據中心進行“深度處理”。一個結果是改進的算法被發送回邊緣。

“有這種持續的改進循環，”分析師說。“這就是事情開始變得非常有趣的地方。”

O'Donnell 預測，專用于分布式 AI 應用程序的內存將是相對低端的，這些內存類型可用于各種應用程序，例如分布式邊緣設備。“我的猜測是 LPDDR 類型的存儲器最合乎邏輯。”

但即使是低功耗 DDR 也可以得到超越智能手機、車輛和各種邊緣端點中使用的典型設備類型的提升。在最近討論將內存處理 (PIM) 技術推向主流的進展時，三星指出該技術最終可以應用于其他類型的內存，以支持 AI 工作負載。這可能包括 LPDDR5 用于將 AI 帶到各種端點設備內的邊緣，而無需數據中心連接。

三星展示了一款性能提升一倍以上的 LPDDR5-PIM，用于語音識別、翻譯和聊天機器人等應用時，能耗降低了 60% 以上。

人工智能、5G

Nvidia 首席平臺架構師 Robert Ober 指出，一些需要內存的分布式 AI 正在幫助運行 5G 基站。

邊緣的 5G 基礎設施有時比它所連接的舊基礎設施具有更多的帶寬，因此需要一些推斷來管理網絡事務。“使用顯式編程太復雜了，”Ober 說。

AI 的許多邊緣用例非常普通，使用的嵌入式設備需要具有較小物理和電源占用的內存。Ober 說，挑戰在于，即使是邊緣的圖像識別和分類等基本 AI 功能也正在成為更大的工作。高達 4K 的更高分辨率圖像以及對更多信息和上下文的需求意味著這些神經網絡更加復雜。

“如果它是一個視頻，那么隨著時間的推移，你會使用多個幀來提取意義，”Ober 說。“記憶在那里真的很重要。”

英偉達專注于數據中心培訓工作負載，其中內存容量和帶寬至關重要，同時降低功耗，Ober 說。因此，不同的內存技術可以在未來的 AI 部署中發揮作用，包括電壓控制的 MRAM，它可以降低功耗、維持帶寬并釋放計算能力。“從長遠來看，你會有一些非常有趣的解決方案。”

Ober 補充說，即使內存能力不斷提高以滿足 AI 的需求，預期也會提高，因為 AI 復雜性的指數級增長是一致的。“你可以編碼的知識越多，它可以做的事情就越多。” 訓練網絡本質上是對信息進行編碼，對于邊緣設備來說檢測狗已經不夠了。

“他們想知道什么類型的狗。它在做什么?快樂嗎?難過嗎?預期繼續呈指數增長，”英偉達高管表示。

隨著機器人圖像檢測和分類等功能的改進，預計數據中心中的人工智能和機器學習工作負載將做得更多。因此，對高性能計算的需求持續存在，他說，并且總會有新的人工智能任務更復雜、需要更多時間并需要更多機器智能。

將與人工智能任務相關的數據轉移到正確的內存中是數據中心人工智能面臨的最大挑戰之一。因此，也減少了將每個工作負載發送回中央云的需要，從而對內存資源造成更大壓力。Ober 預見到新的高帶寬低功耗大容量存儲器的需求，因為它本質上是非易失性的。已經有一些舉措在嵌入式設備(例如工業端點)中處理 AI 工作負載，然后將一些任務轉移到本地連接 5G 的基站。

更復雜的任務將被運送到云數據中心。“以這種方式分層的工作已經在進行，因為坦率地說，沒有足夠的帶寬回到核心。”

更多信息可以來這里獲取==>>電子技術應用-AET<<