近日，3D NAND 閃存和 3D DRAM 創(chuàng)新技術(shù)的領(lǐng)先開發(fā)商 NEO Semiconductor 宣布推出其 3D X-AI芯片技術(shù)，旨在取代高帶寬內(nèi)存 （HBM） 內(nèi)部的現(xiàn)有 DRAM 芯片，通過在 3D DRAM 中實現(xiàn) AI 處理來解決數(shù)據(jù)總線帶寬瓶頸。

NEO Semiconductor 稱，3D X-AI 可以減少 AI 工作負載期間 HBM 和 GPU 之間傳輸?shù)拇罅繑?shù)據(jù)，這將徹底改變 AI 芯片的性能、功耗和成本，助力各類生成式 AI應(yīng)用。具體來說，采用NEO Semiconductor的3D X-AI技術(shù)的AI芯片可以實現(xiàn)：

1、100 倍性能加速：包含 8,000 個神經(jīng)元電路，可在 3D 內(nèi)存中執(zhí)行 AI 處理；

2、功耗降低 99%：最大限度地減少將數(shù)據(jù)傳輸?shù)?GPU 進行計算的需求，從而降低數(shù)據(jù)總線的功耗和發(fā)熱。

3、8 倍內(nèi)存密度：包含 300 個DRAM層，并允許通過類似 HBM 的堆疊，可以運行更大的 AI 模型。

其實早在2023年5月，NEO Semiconductor就宣布將推出全球首款3D DRAM技術(shù)，該技術(shù)的思路跟3D NAND Flash類似，都是通過堆棧層數(shù)來提高內(nèi)存容量，類似于3D NAND Flash芯片中的FBC浮柵極技術(shù)，但增加一層Mask光罩就可以形成垂直結(jié)構(gòu)，因此良率高，成本低，密度大幅提升。

NEO Semiconductor當時就表示，其將推出的第一代3D X-DRAM就可以做到230層堆棧，核心容量128Gb，而當前2D DRAM內(nèi)存的核心容量還在16Gb。

而此次NEO Semiconductor推出的 3D X-AI 芯片，就是在進一步提升3D X-DRAM層數(shù)的基礎(chǔ)上加入了面向AI的神經(jīng)元電路。

具體來說，單個 3D X-AI 芯片包括 300 層容量為 128 Gb 的 3D DRAM 單元和一層具有 8,000 個神經(jīng)元的神經(jīng)回路。根據(jù)NEO Semiconductor公布的數(shù)據(jù)，這可以支持每個芯片高達 10 TB/s 的 AI 處理吞吐量。如果使用 12 個 3D X-AI 芯片通過類似HBM的堆疊封裝， 則可以可實現(xiàn) 120 TB/s 的處理吞吐量，從而實現(xiàn) 100 倍的性能提升。

“由于架構(gòu)和技術(shù)效率低下，當前的AI芯片浪費了大量的性能和功率，”NEO Semiconductor的創(chuàng)始人兼首席執(zhí)行官Andy Hsu說。“當前的 AI 芯片架構(gòu)將數(shù)據(jù)存儲在 HBM 中，并依賴 GPU 執(zhí)行所有計算。這種分離的數(shù)據(jù)存儲和數(shù)據(jù)處理架構(gòu)使得數(shù)據(jù)總線成為不可避免的性能瓶頸。通過數(shù)據(jù)總線傳輸大量數(shù)據(jù)將會導(dǎo)致性能受限和非常高的功耗。3D X-AI 可以在每個 HBM 芯片中執(zhí)行 AI 處理。這可以大大減少 HBM 和 GPU 之間傳輸?shù)臄?shù)據(jù)，從而提高性能并顯著降低功耗。”

Network Storage Advisors總裁Jay Kramer表示：“3D X-AI技術(shù)的應(yīng)用可以加速新興AI用例的開發(fā)，并促進新用例的創(chuàng)造。利用3D X-AI技術(shù)創(chuàng)建下一代優(yōu)化的AI芯片，將開啟AI應(yīng)用創(chuàng)新的新時代。”