英偉達(dá)正式推出AI代工業(yè)務(wù)和推理微服務(wù)
2024-07-24
來(lái)源：IT之家
7 月 24 日消息，英偉達(dá)公司昨日（7 月 23 日）發(fā)布新聞稿，正式推出“NVIDIA AI Foundry”代工服務(wù)和“NVIDIA NIM”推理微服務(wù)。
“NVIDIA AI Foundry”代工服務(wù)
英偉達(dá)表示客戶(hù)可以使用 Meta 的 Llama 3.1 AI 模型，以及英偉達(dá)的軟件、計(jì)算和專(zhuān)業(yè)知識(shí)，為特定領(lǐng)域定制構(gòu)建“超級(jí)模型”。
客戶(hù)可以利用專(zhuān)有數(shù)據(jù)、由 Llama 3.1 405B 和英偉達(dá) Nemotron Reward 模型生成的合成數(shù)據(jù)來(lái)訓(xùn)練這些“超級(jí)模型”。
NVIDIA AI Foundry 由 NVIDIA DGX? Cloud AI 平臺(tái)提供支持，該平臺(tái)與世界領(lǐng)先的公共云共同設(shè)計(jì)，為企業(yè)提供大量計(jì)算資源，并可根據(jù) AI 需求的變化輕松擴(kuò)展。
NVIDIA AI Foundry 包括 Nemotron 和 Edify 等英偉達(dá)創(chuàng)建的 AI 模型、流行的開(kāi)放式基礎(chǔ)模型、用于定制模型的 NVIDIA NeMo? 軟件，以及 NVIDIA DGX? Cloud 上的專(zhuān)用容量（由 NVIDIA AI 專(zhuān)家構(gòu)建并提供支持）。
輸出結(jié)果由 NVIDIA NIM（一個(gè)推理微服務(wù)，其中包括定制模型、優(yōu)化引擎和標(biāo)準(zhǔn) API）負(fù)責(zé)，可以部署到任何地方。
NVIDIA NIM 推理微服務(wù)
注：NVIDIA NIM 是一套加速推理微服務(wù)，允許企業(yè)在云計(jì)算、數(shù)據(jù)中心、工作站和 PC 等任何地方的 NVIDIA GPU 上運(yùn)行 AI 模型。
