代理式 AI 有望将注入式决策引入自动化工作流程。但随着 AI 代理（AI智能体）的激增，成本、安全和性能管理问题只会加剧。
图片来源：Gorodenkoff/Shutterstock
随着 AI 代理准备接管企业工作流程的重要部分，IT 领导者将面临日益复杂的挑战：管理它们。 IDC 研究副总裁 Dave McCarthy 表示：“人们对如何在云端管理 AI 代理存在潜在担忧。”他指出，初创公司和老牌供应商提供的 AI 代理不断增多，将给首席信息官们带来资产管理、安全和版本控制方面的挑战。 分析师表示，三大超大规模云厂商和云管理供应商已经意识到这一差距，并正在努力解决。例如，McCarthy 指出了 12 月份谷歌发布的 Agentspace，旨在满足多方面的管理需求。包括 AgentOps 和 OneReach.ai 在内的大量创新者，以及 Fiddler、Arize、Pezzo、Helicone 和 AimStack，都已加入进来，为当今的企业客户提供 AI 代理管理需求。
Gartner 人工智能高级总监分析师 Tom Coshow 表示：“这是一个新兴领域。如果我是一家大型企业，我可能不会在一个地方构建所有代理，并被供应商锁定，但我可能也不想拥有 30 个平台。我们需要的是一个单一的视图，可以看到我正在构建的所有 AI 代理，并在性能不佳或存在安全问题时向我发出警报。”
虽然代理式 AI 市场仍处于早期阶段，但对 AI 代理前景持乐观态度的首席信息官们已经意识到需要实时管理和监控 AI 代理工作流程。 TIAA 首席运营、信息和数字官 Sastry Durvasula 表示：“管理代理式 AI 确实是一项重大挑战，因为传统的 AI 云管理工具不足以应对这项任务。”
由于代理式 AI 系统的自主性和复杂的决策过程，它们需要更复杂的监控、安全和治理机制。当前状态的云工具和自动化能力不足以处理动态的代理式 AI 决策。 Durvasula 还指出，代理式 AI 的实时工作负载也可能因云网络延迟而受到延迟。 “为了支持业务需求，组织必须投资于能够处理动态工作负载、确保透明度并维护跨多云环境的问责制的先进的 AI 特定管理工具。”他说。“这种方法将帮助企业在降低风险和确保负责任部署的同时，最大限度地发挥代理式 AI 的优势。”
然而，当多个代理参与一个工作流程时，挑战将会加剧，鉴于这些 AI 代理会随着遇到不同的数据输入而“学习”和调整，因此工作流程很可能会发生变化和演变。
Gartner 的 Coshow 表示：“如果代理使用 AI 并且具有适应性，那么您需要某种方法来查看它们的性能是否仍处于您想要的置信水平。” 代理式 AI 意味着未来的持续变化 PagerDuty 首席信息官 Eric Johnson 认为，自主决策的动态性意味着必须建立严格的防护措施和治理，以防止意外后果。
“虽然 AI 代理可以显著提高效率，但它们也会引入围绕 AI 监督和问责制的复杂性。组织必须建立清晰的框架，以帮助防止其 AI 代理将云运营置于风险之中，包括监控代理活动以确保符合数据法规。”他说。“通过人工参与验证和清晰的治理结构建立信任，对于建立指导更安全的代理驱动决策的严格协议至关重要。” Johnson 补充说，这一领域在云管理平台以及法律、安全、合规团队内部仍在不断成熟。 Cloudera 首席战略官 Abhas Ricky 最近在 LinkedIn 上指出了管理 AI 代理所涉及的成本挑战。
“开发人员希望构建多步骤的代理工作流程，而无需担心失控的成本。有些组织每年在 LLM 调用上花费超过 100 万美元。”Ricky 写道。“代理运营是一项关键能力——想想用于代理监控、LLM 成本跟踪、基准测试的 Python SDK，以便了解 API 调用、实时成本管理和生产中代理的可靠性得分。” 随着 AI 代理的数量和种类以快于企业消耗的速度增长，对所有管理方面的要求也在增长。 例如，身份平台 Stytch 的首席执行官 Reed McGinley-Sempel 指出，“代理体验”正成为企业的关键优先事项，而过去决定人类和开发人员如何与软件交互的是 UX（用户体验）和 DX（开发人员体验）。从副驾驶到编码工具再到自主助理，各种各样的 AI 代理加剧了企业首席信息官如何确保代理式 AI 工作流程得到适当监控和管理的问题，他说。
“与将身份与个人联系起来的传统用户身份验证不同，AI 代理代表用户行事——引发了关于信任、权限和安全边界的新问题。”McGinley-Sempel 说。“如果应用程序不发展以适应代理工作流程，企业将面临阻止有价值的自动化或开放未经授权访问的风险。为 AI 代理建立清晰、标准化身份验证流程的公司将引领这个自动化新时代。” 正在进行的工作分析师指出，虽然云超大规模厂商正在努力解决这一问题，但尚不清楚谷歌的 Agentspace、微软 Azure AI 服务、xAI 或 OpenAI 的管理平台将在多大程度上提供支持，更不用说对所有代理的支持了。这为包括 AgentOps 和 OneReach.ai 在内的新一批初创公司打开了大门。 混合云存储公司 Nasuni 的人工智能和数据战略首席创新官 Jim Liddle 质疑大型超大规模厂商为所有代理提供管理服务的可能性。
“代理框架的最大挑战是，每个供应商都采用根本不同的代理架构、状态管理和通信协议方法。随着供应商推广自己的框架和代理，企业将面临采用挑战，包括技术债务和维护开销的显著增加。”Liddle 说。“我不认为会出现一个统一所有代理的单一框架，这使得这种复杂性成为一个持续存在的现实。” 与此同时，将代理式 AI 服务作为其旗舰产品的一部分推出的企业供应商，则大力宣传基于平台的代理管理方法。 ServiceNow 首席客户官兼企业 AI 顾问 Chris Bedi 表示：“大规模管理代理式 AI 是一项多维挑战。要分解它，它同时是一项治理、运营、道德和集成挑战。要管理代理式 AI，需要一个能够将 AI 代理、数据和工作流程与单一数据模型统一起来的平台，该平台将 AI 带到企业的每个角落并解决所有这些挑战。”
无论如何，Nutanix 工程副总裁 Debojyoti Dutta 表示，这需要整个高管团队共同努力，才能使其协同工作并确保安全。 “我们正处于企业多代理式转型的早期阶段。如今，每个 AI 代理都以定制方式构建和运营。这将给高管团队带来运营上的麻烦。”Dutta 说。“首席信息官需要工具和基础设施来运营这些代理，首席数据官需要确保适当的数据治理，首席法律官需要确保 AI 的合规性和治理，首席信息安全官需要确保保护企业的措施。首席人工智能官需要与其他 CXO 合作，以确保这种代理浪潮带来实际的 AI 投资业务回报，同时保护企业并控制成本。” 虽然代理式 AI 仍是一项新兴技术，但 Gartner 的 Coshow 表示，一些首席信息官已经开始关注这个复杂的问题。
“首席信息官们对部署非常谨慎和深思熟虑，因为安全、政府、治理、准确性和性能问题仍有待解决。”他说。、
【睿观：AI 代理管理是一项复杂而艰巨的任务，需要 IT 领导者、开发人员、安全专家和法律顾问的共同努力。通过构建强大的管理平台、开发先进的工具和制定全面的治理政策，企业可以最大限度地发挥 AI 代理的潜力，同时降低风险。AI 代理管理所面临的挑战和潜在的解决方案：
核心挑战：
复杂性与不可预测性：
AI 代理的自主学习和决策能力，虽然带来了效率提升，但也使得其行为难以完全预测。这在涉及关键业务流程时，可能带来不可接受的风险。
多代理协同工作时，复杂性呈指数级增长。不同代理之间的交互，可能产生意想不到的结果，需要强大的监控和调试工具。
安全与合规：
AI 代理对敏感数据的访问，增加了数据泄露和滥用的风险。需要严格的权限管理和审计机制，确保代理的行为符合法规要求。
AI 代理的决策过程，可能受到偏见和恶意攻击的影响。需要强大的安全防护措施，防止代理被操纵。
成本控制：
大规模部署 AI 代理，会产生巨大的计算和存储成本。尤其是当代理需要频繁调用大型语言模型（LLM）时，成本会迅速上升。
需要精细的成本控制机制，实时监控代理的资源消耗，并优化代理的运行效率。
治理与问责：
当 AI 代理做出错误决策时，如何确定责任归属？需要建立清晰的问责机制，确保代理的行为可追溯和可解释。
需要制定全面的 AI 治理政策，规范代理的开发、部署和使用，确保其符合伦理标准和法律法规。
潜在的解决方案与发展方向：
统一的管理平台：
构建统一的 AI 代理管理平台，提供集中的监控、控制和审计功能。
平台应支持多云环境，能够管理来自不同供应商的 AI 代理。
强大的监控与调试工具：
开发先进的监控工具，实时跟踪代理的性能、资源消耗和行为。
提供强大的调试工具，帮助开发人员诊断和解决代理的问题。
精细的权限管理：
实施基于角色的权限管理，限制代理对敏感数据的访问。
使用加密和脱敏技术，保护数据的安全。
成本优化：
采用高效的算法和模型，降低代理的计算和存储成本。
实施自动化的成本控制机制，实时调整代理的资源分配。
可解释性和可追溯性：
开发可解释的 AI 模型，使代理的决策过程更加透明。
记录代理的活动日志，实现行为的可追溯性。
行业标准的建立：
推动 AI 代理管理相关行业标准的建立，促进不同平台和工具之间的互操作性。
鼓励企业之间交流和分享最佳实践。】
