隨著人工智能應用的普及，云端相關的計算需求也在相應上升。對于基于神經網絡的人工智能來說，算力是實現高性能模型的關鍵資源。
在云端的人工智能計算中，“內存墻”是一個重要的性能瓶頸。在目前的主流計算機架構中，處理和存儲是兩個截然不同的部分，而隨著摩爾定律幾十年來的發(fā)展，事實上存儲器（尤其是主存DRAM）的性能發(fā)展是要遠遠落后于處理器的計算邏輯性能發(fā)展的，因此DRAM速度（包括存取和接口）就成為了限制云端算力發(fā)展的一個瓶頸。另一方面，云端人工智能模型的發(fā)展潮流是模型參數越來越多，例如在推薦系統(tǒng)這樣的云端人工智能傳統(tǒng)項目中，典型模型的尺寸達到GB數量級；而在語音識別、自然語言處理、計算機視覺這樣的領域中，最近隨著transformer類模型逐漸占據主流，模型的參數量也在上升。這兩者相結合，就是一方面人工智能計算對于內存的需求越來越高，而另一方面?zhèn)鹘y(tǒng)的DRAM方案并不能滿足云端人工智能的需求。
在這樣的情況下，存算一體的方案正在獲得越來越多的關注，并且正在慢慢由研究領域進入商用化。存算一體是指將內存和計算以相比傳統(tǒng)計算機架構更緊密地結合在一起，從而減少內存訪問帶來地開銷，并且解決“內存墻”問題。在云端計算的應用場景，存算一體方案主要是圍繞DRAM去做創(chuàng)新，希望能將計算和DRAM能集成到一起，并以此降低內存訪問的能量和延遲。對于具體的做法，實際上有兩條主流技術路線：即近內存計算（near-memory computing）和存內計算（in-memory computing）。
業(yè)內巨頭在相關領域有所動作，往往是一項技術走向成熟和商用的標志。對于云端存算一體來說，我們最近看到三星和阿里巴巴在這個領域都有相關技術發(fā)表。三星在今年下半年的頂級商用芯片會議HotChips上發(fā)表了HBM2-PIM相關的技術，而阿里巴巴在基于3D封裝實現存算一體的論文則收錄在明年二月即將召開的國際固態(tài)半導體電路會議（ISSCC）上。從技術路線上來說，三星主要是走存內計算的路線，同時也兼顧近內存計算；而阿里巴巴目前則主要是針對近內存計算做開發(fā)。
三星的存內計算路線
三星的存內計算技術稱為“Aquabolt-XL”，主要是基于其HBM2 DRAM技術做了存內計算（HBM2-PIM）。具體來說，Aquabolt-XL在HBM2 DRAM內部集成了計算邏輯，因此擁有HBM2-PIM技術的DRAM既可以當作一塊普通的HBM2 DRAM來用（即直接寫入讀出，而繞開計算邏輯）；也可以在寫入和讀出的時候同時讓計算邏輯去做計算。當需要使用存內計算的時候，CPU只需要給HBM2-PIM寫入數據以及相應的計算指令，而下次讀出數據的時候可以直接讀出已經計算好的結果。
存內計算的技術路線中，計算邏輯和存儲單元都是使用相同的DRAM工藝，因此通常存內計算邏輯的性能比較有限，時鐘頻率無法到達很高，做到高性能計算邏輯則需要依靠對于DRAM工藝的深厚積累和優(yōu)化。另一方面，由于計算邏輯和存儲單元是深度集成，因此計算邏輯可以以較小的開銷最大化地調用存儲單元，并且可以做協同設計和優(yōu)化。最后，存內計算在HBM2 DRAM中實現之后，可以較快地應用到其他規(guī)格地存儲器中，包括用于桌面地DDR/GDDR以及使用于移動端的LPDDR等。除了HBM2-PIM之外，三星還公布了近內存計算方案AxDIMM，實現了在每個DRAM芯片旁邊都集成了一塊單獨的加速器邏輯并可以同時訪問，從而等效地大大增加了訪存帶寬。
對于三星來說，主要走存內計算技術路線非常符合其技術背景以及商業(yè)模式。HBM2-PIM技術實際上是一塊帶有計算功能且在人工智能應用中能提升系統(tǒng)性能地內存芯片，所以三星最終還是希望能通過這個技術來確保其存儲器業(yè)務在人工智能時代能繼續(xù)保持領先。此外，三星在DRAM工藝領域地積累也確保它能做到使用DRAM實現存內邏輯計算的最優(yōu)化，以及集成的成本可以控制到較好。
阿里的近內存計算路線
與三星相對，目前阿里巴巴在存算一體領域走的是近內存計算的方案。根據目前公布的資料，阿里巴巴的存算一體方案是把計算邏輯芯片和DRAM使用3D封裝技術封裝到一起，從而利用封裝帶來的高IO密度來實現高內存帶寬以及較低的訪問開銷。從發(fā)表在明年ISSCC論文中，我們也可以看到這項技術是由阿里巴巴達摩院和紫光共同開發(fā)而成。
使用近內存計算可以讓計算邏輯使用和存儲器DRAM單元不同的工藝來實現，這樣計算邏輯可以實現較高地性能和能效比。另一方面，這可能也是阿里巴巴這樣并不掌握DRAM工藝的廠商入場存算一體最合理的方式了。同時，該技術使用的3D封裝技術加上定制化的額外計算邏輯將會使整體成本較高，必須要找到合適的應用場景才能體現其價值。目前，該技術主要還是處于研發(fā)階段，未來還有一些重要的工程化里程碑尚待解決，包括量產、良率等。
在商業(yè)模式方面，阿里巴巴顯然是以自用為首要目標，因此其存算一體研發(fā)主要的目標是能針對目標應用提供不受內存墻限制的計算解決方案，而不像三星一樣是開發(fā)下一代存儲芯片。從這個角度來說，只要阿里能確保這樣的近內存計算存算一體解決方案在推薦系統(tǒng)等高價值應用中能提供足夠的性價比（例如，比起采購GPU來說更便宜），就有進一步推動下去的動力。
中國云端存算一體的未來
目前，我們看到存算一體已經成為巨頭爭相研發(fā)的目標，未來有機會成為云端高性能計算領域的關鍵技術。我們同時很高興看到中國的阿里巴巴在這個領域的成果。展望未來，我們認為存算一體的兩個技術方向將會繼續(xù)共存，其中近內存計算憑借其使用先進工藝節(jié)點的計算邏輯可以針對高價值應用場景做極致的加速優(yōu)化，而存內計算則可能會成為下一代應用在高性能計算的存儲器技術廣泛應用在通用的計算場景中。
中國在存算一體領域和三星這樣的國際巨頭的差距主要體現在存內計算領域。中國在DRAM領域的技術仍然相對落后，而如果要讓存算一體真正進入大量部署，則必須要在DRAM中集成計算邏輯的方向也有突破。目前，我國在DRAM領域有大量投入，希望能在補足差距的同時，也能兼顧存內計算這樣的前瞻性技術，從而能賦能中國的高性能計算和人工智能計算需求。