AI 智能體有望成為能夠完成各種任務的“知識機器人”，提升全球數(shù)十億知識工作者的生產(chǎn)力。為了開發(fā) AI 智能體，企業(yè)需要解決信任、物理安全、網(wǎng)絡安全以及合規(guī)性等關鍵問題。

全新 NVIDIA NIM AI Guardrail 微服務是 NVIDIA NeMo Guardrails 軟件工具系列的一部分。這些可移植且經(jīng)過優(yōu)化的推理微服務可幫助企業(yè)提高生成式 AI 應用的安全性、精準性和可擴展性。

這些微服務圍繞 NeMo Guardrails 為核心編排。NeMo Guardrails 是 NVIDIA NeMo 平臺的一部分，該平臺用于 AI 的管理、定制和防護。NeMo Guardrails 可幫助開發(fā)者在大語言模型 (LLM) 應用中集成和管理 AI 護欄。行業(yè)領導企業(yè) Amdocs、Cerence AI 以及勞氏公司 (Lowe’s) 等都在使用 NeMo Guardrails 保護 AI 應用的安全。

開發(fā)者可以使用 NIM 微服務構建更加安全、可信的 AI 智能體。這些智能體會參考特定語境準則做出安全、適當?shù)幕卮穑⑶壹訌娏藢υ姜z企圖的抵御力度。它們可被部署在汽車、金融、醫(yī)療、制造、零售等行業(yè)的客戶服務中，提高客戶的滿意度和信任度。

在這些全新微服務中，有一項專為審核內容安全而構建，并使用 Aegis 內容安全數(shù)據(jù)集 (Aegis Content Safety Dataset) 進行訓練，后者是同類中質量較高的人工注釋數(shù)據(jù)源之一。該數(shù)據(jù)集由 NVIDIA 整理并擁有，已在 Hugging Face 網(wǎng)站上公開發(fā)布。該數(shù)據(jù)集包含超過 35000 個經(jīng)過人工標記的數(shù)據(jù)樣本，這些樣本針對 AI 安全和繞過系統(tǒng)限制的越獄企圖進行標記。

NVIDIA NeMo Guardrails 使 AI 智能體處于正軌

AI 正在迅速提高各種業(yè)務流程的生產(chǎn)力。在改變客戶服務方面，它可使解決客戶問題的速度加快至高 40%。然而，為了擴展用于客戶服務的 AI 和其他 AI 智能體，需要有安全的模型防止有害或不當?shù)妮敵鼋Y果，并確保 AI 應用在規(guī)定的參數(shù)范圍內運行。

NVIDIA 為 NeMo Guardrails 引入了三項全新的 NIM 微服務，可幫助 AI 智能體在大規(guī)模運行的同時保持受控行為：

●    內容安全 NIM 微服務：防止 AI 生成有偏見或有害的輸出結果，確保回答符合道德標準。

●    話題控制 NIM 微服務：將對話聚焦在經(jīng)過審核的話題上，避免離題或不當內容。

●    越獄檢測 NIM 微服務：增加對越獄企圖的防護，幫助在對抗性場景中保持 AI 的完整性。

由于“一刀切”的方法無法有效保護和控制復雜的代理式 AI 工作流，通過應用多個輕量級專業(yè)模型作為護欄，開發(fā)者可以彌補在只采取較為通用的全局策略和保護措施時可能出現(xiàn)的漏洞。

小語言模型（例如 NeMo Guardrails 系列中的模型）的延遲較低，即使在資源有限或分布式環(huán)境中也能高效運行，因此是擴展 AI 應用的理想選擇，用于醫(yī)療、汽車、制造等行業(yè)，以及醫(yī)院或倉庫等場所。

行業(yè)領導者與合作伙伴使用 NeMo Guardrails 保障 AI 安全

NeMo Guardrails 現(xiàn)已向開源社區(qū)開放，幫助開發(fā)者通過編排多項 AI 軟件策略（稱為 rail）提高 LLM 應用的安全性和可控性。它與 NVIDIA NIM 微服務一同組成了一個強大的 AI 系統(tǒng)構建框架，可在不影響安全和性能的情況下進行大規(guī)模部署。

全球領先的傳媒企業(yè)軟件與服務提供商 Amdocs 正在使用 NeMo Guardrails 實現(xiàn)更加安全、準確、符合語境的回答，增強 AI 驅動的客戶交互。

Amdocs 技術集團總裁兼戰(zhàn)略主管 Anthony Goonetilleke 表示：“像 NeMo Guardrails 這樣的技術對于保障生成式 AI 應用的安全至關重要，能夠幫助 AI 安全、道德地運行。我們正在通過將 NVIDIA NeMo Guardrails 集成到我們的 amAIz 平臺，增強該平臺的‘可信 AI’功能，保障代理式體驗的安全性、可靠性和可擴展性。這使服務提供商能夠安全、放心地部署 AI 解決方案，為 AI 的創(chuàng)新和卓越運營樹立了新標準。”

Cerence AI 是一家專為汽車行業(yè)提供 AI 解決方案的公司。該公司正在使用 NVIDIA NeMo Guardrails 來幫助其車載助手在其 CaLLM 系列大語言和小語言模型的支持下提供符合語境的安全交互。

Cerence AI 產(chǎn)品和技術執(zhí)行副總裁 Nils Schanz 表示：“Cerence AI 依靠 NVIDIA 安全、高性能的解決方案為我們的車載助手技術提供助力。使用 NeMo Guardrails 可以幫助我們?yōu)槠囍圃焐炭蛻籼峁┛尚诺那榫掣兄鉀Q方案，并作出明智、嚴謹且無幻覺的回答。此外，NeMo Guardrails 還可以針對我們汽車制造商客戶的需求定制，幫助我們過濾有害或不友善的請求，防止我們的 CaLLM 系列語言模型向終端用戶提供意外或不當?shù)膬热荨！?/p>

領先的家居裝飾零售商勞氏公司 (Lowe’s) 正在利用生成式 AI 來鞏固其店員的專業(yè)知識。通過提供更全面的產(chǎn)品知識，這些工具使店員能夠回答客戶的問題，幫助他們找到合適的產(chǎn)品來完成項目，并為零售創(chuàng)新和客戶滿意度樹立新的標準。

勞氏公司數(shù)據(jù)、AI 和創(chuàng)新高級副總裁 Chandhu Nair 表示：“我們一直在尋找方法幫助員工為客戶提供超出預期的服務。通過最近部署的 NVIDIA NeMo Guardrails，我們能夠保證 AI 生成回答的安全性與可靠性，將對話強行限制在相關和適當?shù)膬热莘秶鷥取！?br/>

為進一步加速零售業(yè) AI 應用開發(fā)和部署中 AI 安全保障措施的采用，NVIDIA 最近在 NRF (National Retail Federation) 展會上宣布，適用于零售購物助手的 NVIDIA AI Blueprint 整合了 NeMo Guardrails 微服務，為數(shù)字購物創(chuàng)造更加可靠、可控的客戶交互。

咨詢行業(yè)的領導者 Taskus、Tech Mahindra 和 Wipro 也正在將 NeMo Guardrails 集成到其解決方案中，以便為企業(yè)客戶提供更加安全、可靠、可控的生成式 AI 應用。

憑借自身的開放性和可擴展性，NeMo Guardrails 可集成由領先的 AI 安全模型和防護提供商組成的強大生態(tài)系統(tǒng)，以及 AI 可觀察性和開發(fā)工具。它支持與 ActiveFence 的 ActiveScore 集成，以防止對話式 AI 應用中出現(xiàn)有害或不當?shù)膬热荩⑻峁┛梢暬⒎治龊捅O(jiān)控功能。

Hive 以 NIM 微服務的形式提供適用于圖像、視頻和音頻內容的 AI 生成內容檢測模型。通過使用 NeMo Guardrails，該公司可輕松地將其模型集成到 AI 應用中并進行編排。

AI 可觀測性平臺 Fiddler 可輕松與 NeMo Guardrails 集成，增強 AI Guardrails的監(jiān)控功能。端到端 AI 開發(fā)者平臺 Weights & Biases 正在現(xiàn)有 NIM 集成組合的基礎上，通過增加與 NeMo Guardrails 微服務的集成來擴展 W&B Weave 的功能，以此提升生產(chǎn)中的 AI 推理能力。

NeMo Guardrails 提供用于 AI 安全測試的開源工具

NVIDIA Garak 是一款由 NVIDIA Research 團隊開發(fā)的用于 LLM 和應用漏洞掃描的開源套件。開發(fā)者可以使用它測試安全保障模型和其他 rail 的使用效果。

借助 Garak，開發(fā)者通過評估數(shù)據(jù)泄露、提示注入、代碼幻覺、越獄場景等問題，發(fā)現(xiàn)使用 LLM 的系統(tǒng)中所存在的漏洞。通過生成包含不當或不正確輸出結果的測試用例，Garak 可幫助開發(fā)者發(fā)現(xiàn)并解決 AI 模型中的潛在弱點，提高模型的穩(wěn)健性與安全性。

可用性

NVIDIA NeMo Guardrails 微服務以及用于編排 rail 的 NeMo Guardrails 和 NVIDIA Garak 套件現(xiàn)已向開發(fā)者和企業(yè)開放。開發(fā)者可以按照此教程，開始使用 NeMo Guardrails 為 AI 客服智能體構建 AI 護欄。