世界頂級服務(wù)器制造商和云服務(wù)提供商即將推出 HGX H200 系統(tǒng)與云實(shí)例

NVIDIA 于11月13日宣布推出 NVIDIA HGX? H200，為 Hopper 這一全球領(lǐng)先的 AI 計(jì)算平臺再添新動力。NVIDIA HGX H200 平臺基于 NVIDIA Hopper? 架構(gòu)，搭載 NVIDIA H200 Tensor Core GPU 和領(lǐng)先的顯存配置，可處理生成式 AI 與高性能計(jì)算工作負(fù)載的海量數(shù)據(jù)。 

NVIDIA H200 是首款采用 HBM3e 的 GPU，其運(yùn)行更快、更大的顯存容量將進(jìn)一步加速生成式 AI 與大語言模型，同時推進(jìn)用于 HPC 工作負(fù)載的科學(xué)計(jì)算。憑借 HBM3e，NVIDIA H200 能夠提供傳輸速度達(dá) 4.8 TB/秒的 141GB 顯存。與上一代架構(gòu)的 NVIDIA A100 相比，其容量幾乎翻了一倍，帶寬也增加了 2.4 倍。

全球領(lǐng)先的服務(wù)器制造商和云服務(wù)提供商預(yù)計(jì)于 2024 年第二季度開始提供搭載 H200 的系統(tǒng)。

NVIDIA 超大規(guī)模和高性能計(jì)算副總裁 Ian Buck 表示：“想要通過生成式 AI 和 HPC 應(yīng)用創(chuàng)造智能，就必須使用大型、快速的 GPU 顯存來高速、高效地處理海量數(shù)據(jù)。借助 NVIDIA H200，業(yè)界領(lǐng)先的端到端 AI 超級計(jì)算平臺的速度將會變得更快，一些世界上最重要的挑戰(zhàn)，都可以被解決。” 

持續(xù)的創(chuàng)新帶來持續(xù)的性能飛躍

與前代架構(gòu)相比，NVIDIA Hopper 架構(gòu)實(shí)現(xiàn)了前所未有的性能躍升，而 H100 持續(xù)的軟件升級，包括最近發(fā)布的 NVIDIA TensorRT?-LLM 等強(qiáng)大的開源庫，都在不斷提升其性能標(biāo)準(zhǔn)。

H200 的推出將帶來進(jìn)一步的性能飛躍，比如在一個 700 億參數(shù)的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍。隨著未來軟件的持續(xù)升級，H200 有望實(shí)現(xiàn)更大的性能優(yōu)勢與提升。 

NVIDIA H200 的規(guī)格

NVIDIA H200 將提供四路和八路 NVIDIA HGX H200 服務(wù)器主板可選，其與HGX H100 系統(tǒng)的硬件和軟件都兼容。同時還可用于今年 8 月發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper? 超級芯片。這些配置使 H200 可以部署在各類數(shù)據(jù)中心，包括本地、云、混合云和邊緣。 

在 NVIDIA NVLink? 和 NVSwitch? 高速互連技術(shù)的加持下，HGX H200 可為各種應(yīng)用工作負(fù)載提供最高的性能，包括針對 1750 億參數(shù)以上超大模型的 LLM 訓(xùn)練和推理。

八路 HGX H200 可提供超過 32 PetaFLOPS的 FP8 深度學(xué)習(xí)計(jì)算能力和 1.1TB 的聚合高帶寬內(nèi)存容量，能夠?yàn)樯墒?AI 和 HPC 應(yīng)用帶來強(qiáng)勁性能。

當(dāng)H200 與采用超高速 NVLink-C2C 互連技術(shù)的 NVIDIA Grace? CPU 搭配使用時，就組成了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——專為大型 HPC 和 AI 應(yīng)用而設(shè)計(jì)的計(jì)算模塊。 

使用 NVIDIA 全棧式軟件加速 AI 

NVIDIA 加速計(jì)算平臺具備強(qiáng)大軟件工具支持，能夠助力開發(fā)者和企業(yè)構(gòu)建并加速從 AI 到 HPC 的生產(chǎn)就緒型應(yīng)用，包括適用于語音、推薦系統(tǒng)和超大規(guī)模推理等工作負(fù)載的 NVIDIA AI Enterprise 軟件套件。

供應(yīng)情況

NVIDIA H200 將于 2024 年第二季度開始通過全球系統(tǒng)制造商和云服務(wù)提供商提供。