英伟达三个新的NIM（Nvidia Inference Microservices，英伟达推理微服务，是英伟达/NVIDIA推出的一套推理微服务，旨在帮助企业加速生成式AI的部署和应用。）微服务利用small language models/SLMs（小型语言模型，是参数较少、成本低、响应快的AI技术，适用于资源有限或需实时交互的场景。在移动应用、智能家居、嵌入式系统等领域有广泛应用。但面临数据质量、模型容量等技术难点。开源SLM项目降低了技术门槛，推动AI发展。），帮助企业提高AI代理的安全性、安全性和合规性。

图源：Mark Hachman / Foundry

Nvidia（英伟达，是一家人工智能计算公司。公司创立于1993年，总部位于美国加利福尼亚州圣克拉拉市。是全球可编程图形处理技术领袖。）今天在其Nvidia NeMo Guardrails（护栏技术，是一个开源工具包，旨在帮助开发者在构建和训练自然语言处理/NLP模型时，确保对话系统的质量和合规性。它提供了一套灵活的框架，通过自定义护栏策略来确保基于大语言模型/LLM的对话系统的安全和道德。）软件工具中为人工智能防护栏添加了新的Nvidia inference microservices。新的微服务旨在帮助企业提高智能人工智能应用的准确性、安全性和控制能力，解决了IT领导者在采用该技术时的一个关键顾虑。

“十分之一的组织已经在使用AI代理，超过80%的组织计划在未来三年内采用AI代理，”英伟达企业AI模型、软件和服务副总裁Kari Briski（卡里・布里斯基）在周三的新闻发布会上表示，“这意味着你不仅要为任务的准确性构建代理，还必须评估AI代理以满足安全、数据隐私和治理要求，而这可能是部署的重大障碍。”

Briski（布里斯基）解释说，除了信任、安全、安保和合规性之外，在生产中成功部署AI代理还需要它们具有高性能。它们必须在与最终用户和其他AI代理的互动中保持正轨，同时保持快速和响应。英伟达今天为NeMo Guardrails推出了三个新的NIM，旨在实现内容安全、主题控制和越狱检测。

内容安全NIM旨在防止AI生成有偏见或有害的输出，确保生成式AI回答符合道德标准。它是在英伟达开源的Aegis（是英伟达推出的一种数据集，主要用于检测人工智能安全问题和试图绕过系统限制的越狱行为‌。Aegis数据集包含超过35,000个由人工标注的样本，是同类数据集中质量最高的数据源之一。）内容安全数据集上训练的，该数据集包含35,000个人工标注的数据样本，这些样本因人工智能安全而被标记。Aegis用于教导人工智能如何调节其他人工智能模型生成的潜在有害内容。

主题控制NIM使AI代理专注于批准的主题，防止它们偏离或转向不适当的内容。例如，它可以防止AI代理讨论竞争对手的产品。

越狱检测NIM通过防止旨在故意绕过智能AI安全措施的“越狱”尝试，在“对抗场景”中帮助维持人工智能的完整性。它基于英伟达Garak（‌是由英伟达推出的一款专为大型语言模型/LLM打造的安全评估工具。它的主要功能包括提示注入、越狱攻击、防护绕过等独特风险的检测，帮助快速识别幻觉、数据泄露等核心漏洞。）构建，这是一个用于漏洞扫描的开源工具包，在包含17,000个已知越狱的数据集上进行训练。

一、借助护栏实现更好的治理

NeMo Guardrails是NeMo platform（是一个端到端的平台，用于开发自定义生成式AI，包括大语言模型/LLM、多模态、视觉和语音AI。NeMo是NVIDIAAIFoundry的一部分，这是一个利用企业数据和特定领域知识构建定制生成式AI模型的平台和服务。）的一部分，NeMo platform是一个可扩展的平台，用于定义、编排和执行人工智能代理和其他生成式人工智能应用模型的策略。

“护栏通过强制执行AI模型、代理和系统执行规范来帮助维持AI操作的可信度和可靠性，”Briski（布里斯基）说，“它有助于使AI代理保持正轨。”

例如，新的微服务可以帮助汽车制造商为车辆操作创建一个AI代理，该代理可以帮助用户进行气候控制、座椅调整、信息娱乐、导航等。制造商可以使用微服务指定不允许的主题，例如其他汽车品牌或提供背书或意见。

NeMo Guardrails利用比LLMs（大型语言模型。是使用深度学习算法处理和理解自然语言的基础机器学习模型。这些模型在大量文本数据上进行训练，以学习语言中的模式和实体关系。LLM可以执行多种类型的语言任务，例如翻译语言、分析情绪、聊天机器人对话等。）延迟更低的SLMs，这意味着它们可以在资源受限或分布式环境中高效运行。Briski（布里斯基）指出，它们非常适合在医疗保健、汽车和制造业等行业扩展AI应用。一些首席信息官已经开始转向SLMs以获得定制解决方案，并作为更通用的LLMs的替代方案。

虽然可以使用NeMo Guardrails的默认配置，但Briski（布里斯基）表示它们真正的力量在于定制和扩展护栏。

“使用多个可定制的护栏很重要，因为一刀切真的不适合所有人，”她说，“不同用例、品牌、公司指南甚至不同行业和地区的监管要求都有不同的政策和要求。开发人员希望能够为他们的特定需求以及代理型AI系统的不同要求选择合适的护栏。”

IT部门现在将成为“代理的人力资源部门”，Briski（布里斯基）说，这表明这是新微服务的亮点所在，允许开发人员应用多个轻量级、专门的模型作为防护栏，以弥补仅存在更通用的全球政策和保护措施时可能出现的差距。

新的微服务以及用于护栏协调的NeMo Guardrails和英伟达Garak工具包，现在都已供开发人员和企业使用。

作者：Thor Olavsrud（托尔·奥拉夫斯鲁德）

Thor Olavsrud（托尔·奥拉夫斯鲁德）为CIO.com报道数据分析、商业智能和数据科学。他居住在纽约。

译者：宝蓝

【睿观：英伟达推出的三项新的NIM（Nvidia Inference Microservices，英伟达推理微服务），旨在通过小型语言模型（SLM）提高企业AI代理的安全性、安全性和合规性。这些微服务集成在Nvidia NeMo Guardrails护栏技术中，解决了企业在部署AI代理时对信任、安全、合规和高性能的关键顾虑。

英伟达企业AI模型、软件和服务副总裁Kari Briski指出，随着越来越多的组织采用AI代理，除了准确性之外，安全、数据隐私和治理也变得至关重要。新的NIM包括：

• 内容安全NIM： 防止AI生成有偏见或有害的输出，基于包含35,000个人工标注样本的Aegis数据集进行训练，确保AI回答符合道德标准。

• 主题控制NIM： 使AI代理专注于批准的主题，防止其偏离或讨论不适当的内容，例如竞争对手的产品。

• 越狱检测NIM： 通过防止旨在绕过AI安全措施的“越狱”尝试，维护AI的完整性，基于包含17,000个已知越狱的数据集进行训练，并利用英伟达Garak漏洞扫描工具包。

NeMo Guardrails是NeMo平台的一部分，该平台用于定义、编排和执行AI代理和其他生成式AI应用模型的策略。护栏通过强制执行规范来提高AI操作的可信度和可靠性，使AI代理保持正轨。这些微服务利用延迟更低的SLM，使其在资源受限或分布式环境中高效运行，尤其适用于医疗保健、汽车和制造业等行业。

Briski强调了定制和扩展护栏的重要性，因为不同的用例、品牌、公司指南以及行业和地区的监管要求各不相同。新的微服务允许开发人员应用多个轻量级、专门的模型作为防护栏，以弥补通用政策和保护措施的不足。这些新的微服务、NeMo Guardrails和英伟达Garak工具包现已面向开发人员和企业提供。】