英偉達(dá)在其 Arm CPU 的推動(dòng)下又獲得了另一個(gè)高調(diào)的聘用——這一次是在英特爾的眼皮子底下。

　　據(jù)報(bào)道， 英特爾以色列工廠的設(shè)計(jì)經(jīng)理，也是成功的 Tiger Lake 架構(gòu)背后的經(jīng)理之一Rafi Marom，最近跳槽到位于該國的 Nvidia 公司。他作為高級 CPU 總監(jiān)的新角色使他成為公司未來 Arm 產(chǎn)品的主要架構(gòu)師之一。

　　在其斥資數(shù)十億美元收購這家總部位于英國的公司失敗后，英偉達(dá)似乎正在將其Arm 核心設(shè)計(jì)能力加倍，因?yàn)樗荚谶M(jìn)一步推動(dòng)極限。英偉達(dá)需要其芯片設(shè)計(jì)來服務(wù)于它的目的；另一方面，Arm 押注于可應(yīng)用于多個(gè)產(chǎn)品類別和合作伙伴的通用設(shè)計(jì)。

　　挖角——或與現(xiàn)有承包商仍有聯(lián)系的合同人員——是一種相對常見的半導(dǎo)體行業(yè)做法。雖然該行業(yè)一直在顯示出巨大的增長——而且這種增長預(yù)計(jì)只會(huì)加速——但缺乏經(jīng)過適當(dāng)培訓(xùn)的高水平技術(shù)工人是一個(gè)真正的問題。英特爾、AMD、英偉達(dá)甚至蘋果公司都經(jīng)常在他們之間雇傭貢獻(xiàn)者，這加強(qiáng)了他們的員工隊(duì)伍和設(shè)計(jì)能力，并剝奪了競爭對手的寶貴資產(chǎn)。

　　預(yù)計(jì)英偉達(dá)將利用 Marom 的知識來設(shè)計(jì)英偉達(dá)未來基于 Arm 的 CPU 產(chǎn)品。這些設(shè)計(jì)將在公司的GraceHopper Superchip之后推出，該芯片利用 72 個(gè)基于 Neoverse 的 Arm v9 內(nèi)核，并聲稱與典型的 x86 CPU 設(shè)計(jì)相比性能提高了 10 倍。

　　這一聲明自然引起了英特爾的注意，促使該公司認(rèn)識到英偉達(dá)的目標(biāo)是在 CPU 領(lǐng)域與這家藍(lán)色巨頭展開競爭。英特爾甚至設(shè)立了數(shù)十億美元的基金，旨在留住和吸引新人才，以防止此類情況發(fā)生。然而具有諷刺意味的是，英特爾自己的另一家公司現(xiàn)在將盡最大努力推進(jìn)英偉達(dá)的目標(biāo)。

　　英偉達(dá)發(fā)力CPU，背后打什么算盤？

　　在一年左右的時(shí)間里，隨著“Grace”Arm 服務(wù)器 CPU 的推出，Nvidia 的任何人相信或大聲說并非數(shù)據(jù)中心中的每個(gè)工作負(fù)載都需要 GPU 加速并不是異端邪說。

　　在某種程度上，隨著 BlueField 系列基于 Arm 的 DPU 處理器的采用，這種轉(zhuǎn)變已經(jīng)在 Nvidia 的系統(tǒng)架構(gòu)中發(fā)生。但隨著 Grace CPU 的發(fā)布，在一年前的 GTC 2021 大會(huì)上進(jìn)行了預(yù)覽，在2023 年上半年的某個(gè)時(shí)候，如果一切順利，Nvidia 將立即成為 Arm 服務(wù)器芯片的可靠供應(yīng)商，可以在條款上與之競爭每瓦的性能，我們假設(shè)，每瓦的每美元成本，同時(shí)具有最好的 X86、Arm 或 Power 架構(gòu)。 對于英偉達(dá)來說，從 GPU 加速器供應(yīng)商轉(zhuǎn)變?yōu)橹鳈C(jī) CPU 供應(yīng)商——以及擁有大量自己的向量數(shù)學(xué)能力的主機(jī) CPU ——這將是一個(gè)重要事件。 非常重要的事情——將能夠運(yùn)行整個(gè) Nvidia HPC 和 AI 堆棧，包括編譯器、庫和其他系統(tǒng)軟件。Grace CPU 將與 Hopper GPU 完全匹敵，COBOL 發(fā)明前美國海軍少將可能會(huì)在隱喻意義上表示贊同。

　　十多年來，我們一直在倡導(dǎo) Nvidia 將 Arm 服務(wù)器芯片推向市場，當(dāng) Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Jensen Huang在 1 月份宣布“Project Denver”Arm 服務(wù)器計(jì)劃時(shí)，我們對這種可能性感到興奮。2011 年，第一波 Arm 服務(wù)器芯片試圖沖破數(shù)據(jù)中心的大門。2014 年，當(dāng)兩個(gè) Denver Arm 內(nèi)核出現(xiàn)在 Tegra K1 “superchip” 混合 CPU-GPU 芯片上時(shí)，街上的消息是 Nvidia 提出了自己的 CPU 指令集架構(gòu) （ISA），并在此基礎(chǔ)上模擬 Arm ISA，而且，重要的是，它也能夠模擬 X86 ISA。（Transmeta 早在 20 年前就嘗試過這樣做，還記得嗎？）想象一下，如果 Nvidia 推出了可以模擬 Xeon 或 Opteron（現(xiàn)在是 Epyc）并且還可以運(yùn)行 Arm 工作負(fù)載的全功能 Denver 服務(wù)器芯片，那么可能會(huì)引發(fā)訴訟，也許，它自己的原生模式。。 . .

　　但遺憾的是，我們不得不再等十幾年，英偉達(dá)以 400 億美元從軟銀收購 Arm Holdings 的交易落空，英偉達(dá)的更清潔的 Arm 服務(wù)器芯片計(jì)劃才出現(xiàn)。我們認(rèn)為這是 Nvidia 在提出 SoftBank 提議之前最初的計(jì)劃——我們和 Huang 開玩笑說我們想要 Nvidia 的 Arm 服務(wù)器芯片，但 Nvidia 不需要Victor Kiam并購買整個(gè)公司。

　　也就是說，我們了解整個(gè) Arm 的千載難逢的機(jī)會(huì)——從財(cái)務(wù)上來講，這是一個(gè)很好的機(jī)會(huì)，但主要是 Nvidia 股票，它像現(xiàn)金一樣支出，但實(shí)際上不是現(xiàn)金。而且我們還完全理解了未來 Aarmv9 架構(gòu)的影響，以及許多機(jī)器學(xué)習(xí)工作——當(dāng)然大部分推理和可能的一些訓(xùn)練——將保留在 CPU 上并且不會(huì)遷移到 GPU 或其他加速器這一事實(shí)。正如我們在 2021 年 3 月仔細(xì)研究 Armv9 公告時(shí)所說的那樣就在 Grace 的努力獲得成功后的幾周和 Arm Holdings 交易宣布的 8 個(gè)月后，英偉達(dá)想要收購 Arm：它可以獲得矢量、矩陣和數(shù)字信號處理知識產(chǎn)權(quán)的許可資金，這將是添加到各種 CPU 正是因?yàn)橄到y(tǒng)架構(gòu)師不想進(jìn)行 GPU 卸載。

　　進(jìn)行任何類型的卸載都存在編碼和安全隱患——加密加速器、在線 FPGA 加速器或 GPU 加速器——許多企業(yè)和組織不想處理它們。那些需要 10 倍或 100 倍更好的 AI 性能和 10 倍更好的 HPC 性能的人別無選擇，只能使用 GPU——除非他們想制造具有大量內(nèi)核和大量矢量引擎的定制 CPU。富士通在日本 RIKEN 實(shí)驗(yàn)室的“Fugaku”超級計(jì)算機(jī)上使用 A64FX Arm CPU 做到了這一點(diǎn)，國家并行計(jì)算機(jī)工程與技術(shù)研究中心為無錫國家超級計(jì)算中心的“太湖之光”和“海洋之光”超級計(jì)算機(jī)分別配備了神威SW26010和SW26010- pro處理器。這兩款機(jī)器都有令人印象深刻的結(jié)果。但高性價(jià)比和低功耗并不是這兩款機(jī)器的特點(diǎn)。（Fugaku三年前在 Green500 超級計(jì)算機(jī)排名中名列前茅，但已被英偉達(dá)“Ampere”A100 GPU 加速器加速的一長串機(jī)器推下榜單。“Hopper”H100 GPU 加速器只會(huì)讓這些比較變得更糟，而且隨著據(jù)我們所知，目前還沒有 A64FX-2 芯片與 A64FX 相比工藝縮小、時(shí)鐘速度提高、功率降低或價(jià)格/性能改進(jìn)。

　　盡管如此，許多企業(yè)和組織仍將做出選擇，要么支付數(shù)百萬美元將其 C、C++ 和 Fortran 代碼拆開以進(jìn)行 GPU 卸載，要么支付更多電費(fèi)并花費(fèi)更長的時(shí)間來得出答案并在 zippy CPU 上運(yùn)行 AI 工作負(fù)載，該 CPU 可以很好地使用內(nèi)存子系統(tǒng)進(jìn)行矩陣和矢量數(shù)學(xué)運(yùn)算，但與 GPU 加速器的skinny sprinter HBM 內(nèi)存相比，內(nèi)存子系統(tǒng)具有大量內(nèi)存。

　　這就是 Grace CPU 對 Nvidia 如此重要的原因之一，Grace 將運(yùn)行 Nvidia 為在 GPU 上運(yùn)行而創(chuàng)建的所有軟件的聲明也是如此。

　　讓我們直接從 Huang 的 GTC 2022 主題演講的頂部寫下這一點(diǎn)：“Grace 將在人工智能、數(shù)據(jù)分析、科學(xué)計(jì)算和超大規(guī)模計(jì)算方面表現(xiàn)出色，Grace 將受到 Nvidia 的所有軟件平臺的歡迎——Nvidia RTX、HPC、英偉達(dá) AI 和 Omniverse。”

　　Nvidia 加速計(jì)算高級總監(jiān) Paresh Kharya 對此更明確一點(diǎn)，因?yàn)樵?Grace 上受到歡迎的軟件與在 Grace上運(yùn)行的軟件不同：“我們正在按計(jì)劃執(zhí)行我們的 CPU 路線圖，并且Grace CPU 還將運(yùn)行 Nvidia 的所有計(jì)算堆棧，包括 Nvidia RTX、HPC、Nvidia AI 和 Omniverse，這是我們在產(chǎn)品中使用 Arm CPU 的十多年旅程的延續(xù)，包括三年前的一個(gè)關(guān)鍵里程碑，當(dāng)時(shí)我們宣布將 CUDA 以及我們的全套 HPC 和 AI 軟件引入 Arm。”

　　這是我們了解到的關(guān)于 Grace CPU 的第一個(gè)重要的新事物。如果客戶想要它，它可以獨(dú)立運(yùn)行，并且它可以進(jìn)行任何類型的計(jì)算，就 Nvidia 而言，GPU 可以做到。

　　第二個(gè)重要的事情是，運(yùn)行 HPC 或 AI 工作負(fù)載的混合 CPU-GPU 系統(tǒng)需要主機(jī)處理器，它們需要 CPU 和 GPU 之間更緊密的耦合，并且它們需要基于這兩種設(shè)備中盡可能相似技術(shù)的一致內(nèi)存。這是迄今為止，尚未完成的事情。藍(lán)色巨人用 Power9 芯片展示了它上面有一對 NVLink 端口，它可以在具有 HBM2 內(nèi)存的 Nvidia V100 GPU 網(wǎng)絡(luò)和 Power9 芯片上的 DRAM 之間相對無縫地共享內(nèi)存。但是帶寬并不是那么平衡。CPU 對自己內(nèi)存的訪問速度相對較慢，它成為機(jī)器中 GPU 集群的一種 DRAM 控制器，它們之間的對話速度要快得多。不同的是，進(jìn)入 GPU 的 CPU 內(nèi)存帶寬為 64 GB/秒，而 GPU 相互通信時(shí)的帶寬為 8,000 GB/秒。（這是一個(gè)假設(shè)的比較，使用了每張卡運(yùn)行速度為 2 TB/秒的 HBM2e 內(nèi)存，而不是運(yùn)行速度為 3 TB/秒的高端 Hopper H100 封裝中的 HBM3 內(nèi)存。）

　　正如我們在一年前展示的那樣，通過結(jié)合 Grace-Hopper 混合芯片，Grace CPU 可以鏈接到它們的低功耗 DDR5 內(nèi)存（它們像 GPU 加速器上的 HBM 內(nèi)存一樣在封裝上安裝），NVLink 端口加起來多達(dá)500 GB/秒的總帶寬，在 Grace CPU 集合之間有 500 GB/秒的 NVLink 端口，因此它們可以共享數(shù)據(jù)，并且在 Grace CPU 和 Hopper GPU 之間也有 500 GB/秒的鏈接。這就是 Nvidia 現(xiàn)在將其稱為 NVLink Chip to Chip，或簡稱為 NVLink C2C，它首次提供許可，以便其他芯片可以配備它。再一次，正如我們一年前所說：這種架構(gòu) Nvidia 可能正在創(chuàng)建 NVLink 內(nèi)存，NVLink SerDes 直接鏈接到某種緩沖 LPDRR5 內(nèi)存，就像 IBM 在 Power10 芯片中使用自己的信令 SerDes 作為 NUMA、I/O 和帶有緩沖 DDR5 內(nèi)存的內(nèi)存鏈接。

　　目前尚不清楚英偉達(dá)是否會(huì)將 Grace CPU 作為獨(dú)立產(chǎn)品出售給超大規(guī)模制造商、云構(gòu)建商、OEM 或 ODM 以創(chuàng)建自己的系統(tǒng)。在這一點(diǎn)上，我們知道有兩種不同的 Grace 變體即將上市，它們看起來像是高端 Hopper GPU 加速器中使用的 SXM5 外形尺寸的變體：

　　上圖左側(cè)是 Grace-Hopper 模塊，將 CPU 和 GPU 通過 NVLink 緊密耦合在一個(gè)包中，右側(cè)是一對 Grace CPU，每個(gè)都有 72 個(gè)內(nèi)核，512 GB 主存和 500 GB/秒的主內(nèi)存帶寬。

　　如果您在下面非常仔細(xì)地查看 Grace 裸片的細(xì)節(jié)。

　　然后你會(huì)看到每個(gè) Grace die 都有四個(gè)象限的內(nèi)核。其中兩個(gè)象限各有 18 個(gè)內(nèi)核，兩個(gè)象限各有 24 個(gè)內(nèi)核，這是一個(gè)奇怪的比例，但確實(shí)如此。每個(gè)裸片有 84 個(gè)內(nèi)核，看起來很容易擴(kuò)展到 96 個(gè)內(nèi)核，并在兩個(gè)象限中增加了另一行 12 個(gè)內(nèi)核。在上面的模型中，芯片彼此旋轉(zhuǎn) 180 度，這對于整個(gè)封裝的平衡原因可能很重要。

　　每個(gè) Grace die 都有 8 組 LPDDR5X 內(nèi)存，我們假設(shè)它們來自三星，如果是這樣的話，它的運(yùn)行頻率為 4.23 GHz，并且似乎在八個(gè)內(nèi)存通道上提供了 62.5 GB/秒的帶寬。Nvidia 安裝在 Grace 封裝上的 LPDDR5X 內(nèi)存具有 ECC 錯(cuò)誤檢測和糾正清理功能，這是服務(wù)器工作負(fù)載所必需的。因此，在 Grace-Grace 對中，CPU 芯片與其主內(nèi)存之間有 1 TB 的內(nèi)存和總計(jì) 1 TB/秒的內(nèi)存帶寬。（據(jù)我們所知，兩個(gè) Grace 芯片之間有一個(gè) 900 GB/秒的 NVLink 端口。）兩個(gè) Grace 芯片上還有 396 MB 的 L3 高速緩存，每個(gè) Grace 芯片 198 MB，每個(gè)內(nèi)核 2.75 MB . 如果緩存的產(chǎn)量是 100%，那就是。如果緩存的產(chǎn)量不是 100%，因?yàn)?CPU 的產(chǎn)量不是只有 84 個(gè)核心中的 72 個(gè)處于活動(dòng)狀態(tài)，

　　目前尚不清楚 Grace CPU 中的內(nèi)核是什么，但我們確信它們實(shí)現(xiàn)了 Armv9 指令集，并且我們認(rèn)為它將成為市場上首批這樣做的 CPU 之一。（我們預(yù)計(jì) Armv9 Graviton4 將在今年 11 月推出，如果 Amazon Web Services 保持其每年發(fā)布本土 CPU 的節(jié)奏，并從 2023 年初開始向其云中發(fā)貨。）但“波塞冬”平臺似乎不太可能以及它們的 N3 和 V2 內(nèi)核（這些是我們對Gravitron3 中使用的“Zeus”V1 Armv8.9 內(nèi)核和“Perseus”N2 Armv9 內(nèi)核的繼任者的命名，目前還沒有人發(fā)貨） 將準(zhǔn)備好被扔進(jìn)格蕾絲模具中。但是，Nvidia 總是有可能創(chuàng)建一個(gè)定制的 Armv9 內(nèi)核，該內(nèi)核具有兩個(gè) 256 位寬的 SVE2 向量，并且還使用其他 Armv9 功能。畢竟，Nvidia 不必等待 Arm 將 Poseidon 內(nèi)核投入該領(lǐng)域，它也可以做各種定制的 ISA 工作，就像多年前在 Project Denver 所做的那樣。

　　不要假設(shè)它們只是 Perseus N2 核心就是我們所說的。展望未來，即使 Grace 1 芯片確實(shí)使用 N2 內(nèi)核，也不要假設(shè) Grace 2 不會(huì)是定制內(nèi)核。Nvidia 在定制方面非常重視。我們有理由確定 Grace 將由臺積電以 5 納米工藝實(shí)現(xiàn)——比 Nvidia 在 Hopper GPU 上使用的定制 4N 工藝略胖——但如果 Grace 也在定制中實(shí)現(xiàn)也不要感到驚訝4N 工藝縮小模具并降低性能。

　　憑借Grace-Grace double-whammy模塊，Nvidia 預(yù)計(jì)該芯片將在 SPECrate2017_int_base 整數(shù)基準(zhǔn)測試中提供超過 740 的評級。很難猜測 Grace 單元的時(shí)鐘速度可能在哪里，但是兩個(gè) CPU（包括內(nèi)存）的功耗只有 500 瓦，我們預(yù)計(jì)它在 2 GHz 左右，可能高達(dá) 2.3 GHz。如果是這種情況，那么這兩個(gè) 128 位 SVE2 FMA 向量單元每個(gè)內(nèi)核每個(gè)時(shí)鐘可以執(zhí)行 8 次浮點(diǎn)運(yùn)算，即在 2 GHz 和 2.3 GHz 上運(yùn)行的浮點(diǎn)數(shù)學(xué)運(yùn)算中，在 FP64 雙精度下為 2.3 teraflops 和 2.65 teraflops。這不是很大，請注意。但它與許多其他 CPU 具有競爭力，尤其是那些針對超大規(guī)模處理器的 CPU。也就是說，我們認(rèn)為 Nvidia 很有可能希望在其 Grace 內(nèi)核中擁有一對 256 位 SVE2 向量，以將浮點(diǎn)性能提高一倍。這將使其與來自 AWS 的 Graviton3 相提并論，后者使用針對 HPC 和 AI 工作負(fù)載的“Zeus”V1 內(nèi)核。

　　我們會(huì)看到的。

　　這將我們帶到了 Grace-Hopper 混合 CPU-GPU 模塊：

　　這基本上是卡上完整的加速計(jì)算單元。除了用于軟件和暫存器的閃存以及與外部世界的鏈接之外，它不需要任何其他東西。默認(rèn)情況下，運(yùn)行速度為 900 GB/秒的 NVLink 端口存在。目前尚不清楚 Grace-Hopper 模塊中將使用哪種 Hopper 芯片，但我們強(qiáng)烈懷疑它將是 GPU 的減速版本，就像在 Hopper H100 GPU 加速器的 PCI-Express 5.0 版本中使用的那樣，它具有其 80 GB 的 HBM3 內(nèi)存提供 2 TB/秒的帶寬。這與 Nvidia 一年前為 Grace 制定的概述相吻合，GPU 及其 HBM3 內(nèi)存堆棧僅消耗 350 瓦。這意味著 Grace-Hopper 封裝的功耗約為 600 瓦，總內(nèi)存為 592 GB——略低于上表所示的 600 GB，但 Nvidia 正在四舍五入。

　　需要記住的一點(diǎn)是，Huang 在他的主題演講中表明，Grace GPU 和 Hopper GPU 的比率不是靜態(tài)的。當(dāng)涉及到系統(tǒng)架構(gòu)時(shí)，這將是極其有限的，因?yàn)椴⒎撬泄ぷ髫?fù)載都具有相同的 CPU 與 GPU 比率。以下是黃展示的一些可能性：

　　左側(cè)是帶有 400 Gb/sec ConnectX-7 適配器的 Grace 模塊，可以安全地假設(shè)每個(gè)計(jì)算模塊如果在整個(gè)系統(tǒng)中共享數(shù)據(jù)都需要自己的網(wǎng)絡(luò)接口。NVLink 將用于在一個(gè)節(jié)點(diǎn)內(nèi)將這些組件捆綁在一起，如果看到 Nvidia 提出在盒子內(nèi)的 NVSwitch 上運(yùn)行的可組合性軟件以及跨盒子的 NVLink Switch 以使 CPU 和 GPU 模塊的機(jī)架可組合，這將是一件有趣的事情。（我們將對此進(jìn)行思考。）

　　上圖中有趣的一個(gè)顯示了一個(gè)獨(dú)立的 Grace CPU，它具有 512 GB 內(nèi)存，連接到 SXM5 外形尺寸的兩個(gè)獨(dú)立 Hopper GPU。這看起來像一個(gè) MiniITX 風(fēng)格的板。之后，它只是一個(gè) Grace-Grace 模塊與兩個(gè)、四個(gè)或八個(gè) SXM5 版本的 Hopper GPU 的組合。我們假設(shè)每對 GPU 都需要一個(gè) NVSwitch 3 ASIC 將 CPU 鏈接到 GPU，而 Grace-Grace 模塊和 GPU 之間的鏈接可能還需要另一個(gè) NVSwitch ASIC。（我們在這個(gè)故事中討論了新的 NVSwitch 和 NVLink Switch 設(shè)備和拓?fù)洹＃┠壳吧胁磺宄覀儗⒄页霾⒏M(jìn)。