一份周密的计划和完善的基础实践，对于避免失控AI智能体、AI债务和业务影响至关重要。专家们就如何正确推进自主智能体部署提供了建议。

图源：charles taylor / Shutterstock

CIO（首席信息官）们正面临部署更多AI（人工智能）智能体并展示其商业价值的压力。但“快速试错、允许试错”的思路可能导致失控AI智能体、AI债务、业务影响和合规问题。

避免错误始于完善的计划和基础实践。CIO必须在投资开发AI智能体之前，建立一套评估其业务价值的流程。自研还是外购是一个需要权衡的问题；组织可以借助部署在SaaS（软件即服务）平台上的AI智能体，也可以考虑通过vibe coding（即兴原型开发）或规格驱动开发实践自行开发。

在构建AI智能体时，IT领导者应在实施POC（概念验证）之前先制定安全模型，并确保具备完善的可观测性。顶尖的CIO和CISO（首席信息安全官）会明确传达AI智能体发布标准的底线要求，为团队提供衡量合规、安全和运营要求是否达标的统一标准。

正在将AI智能体从几个扩展到数百个生产级部署的组织，还必须建立AgentOps（智能体运维）实践，覆盖事件管理、modelops（模型运维）和终端用户反馈。

Latitude.sh联合创始人兼CEO（首席执行官）Guilherme Soubihe（吉列尔梅·索比赫）表示：“你部署智能体时首要关注点不应该是在部署时避免错误，而应该是在部署前就规避这些问题。”

即便计划再周密，部署过程中也可能出错。以下七个错误分别发生在构建之前、工程实施过程中以及部署完成后。

一、在明确自动化足以胜任的应用场景中使用AI智能体

Celigo首席产品官Matt Graney（马特·格拉尼）表示，许多企业将AI智能体默认作为流程的解决方案，而这些流程原本在已知输入、一致输出和大规模可靠执行的条件下已经可以正常运行。“智能体增加了成本、延迟和不确定性，恰恰侵蚀了那些流程原本的可靠性。在部署智能体之前，先问一问：这项任务需要判断力，还是只需要正常运行即可？”Graney（格拉尼）说。

即使现有工作流需要现代化改造，确定性自动化、预测模型和集成方案也可能是更有效的解决方案。AI自主智能体方案的另一个隐忧是成本——随着前沿模型定价不断变化，成本很难预测。

NeuBird AI联合创始人兼CTO（首席技术官）Vinod Jayaraman（维诺德·贾亚拉曼）表示：“一个优秀的AI智能体必须同时满足四个条件：高性价比、快速、准确、安全。企业普遍低估成本，我见过很多团队交付了一个快速准确的智能体，却在几周后因为大规模运行成本过高而不得不将其下线。”

如何避免：在确定选择自研还是外购AI智能体作为解决方案之前，建立明确的流程，基于业务价值评估方案，并经过架构师审核。

二、构建AI智能体时没有明确所有权和决策问责机制

数据治理中的最大缺口之一就是确定数据所有者，许多首席数据官不得不回过头来逐一分配责任，并向所有者说明其角色。

AI智能体同样需要所有者，尤其是那些在关键业务领域自动化全部或部分决策流程的智能体。

如果AI智能体做出错误或非最优决策会发生什么？必须有人对结果负责，而最佳实践是在任何AI实验启动之前就明确定义治理模型。CIO还应与风险管理部门合作，制定标准，明确何时必须由AI辅助人类决策、何时需要人工复核介入、以及何时AI智能体可以自主决策。

MediaMint的CTO Anirudh Shah（阿尼鲁德·沙阿）表示：“太多企业推出的智能体没有指定负责人、没有异常队列、也没有应对模型质量衰减的预案。它们把自主权当成开关，演示结束后就直接切换成全自动，而不是通过一次次决策逐步建立信任。正确做法是：从严格限定范围的微任务入手，辅以人类监督、可衡量的信任阈值，以及配套知识有效期管控机制，到期必须重新核验开始。”

随着组织部署MCP（模型上下文协议）服务器并实现智能体间协作，CIO在定义决策权限方面面临更多复杂性。

Xactly的CTO Kandarp Desai（坎达尔普·德赛）表示：“这种问责缺口在多智能体系统中尤为危险，因为没有任何单个智能体对最终结果承担最终责任。在部署之前，你必须回答：当智能体出错时，谁来负责？能否追溯其决策过程？”

如何避免：明确指定AI智能体负责人，评估决策风险和成本。并结合决策自动化时机、工作流中哪些部分授权给人工的指导原则开展评估。

三、没有可信数据就规划AI智能体

参加行业会议很容易为AI智能体如何塑造未来工作而兴奋不已。但CIO必须与业务领导者一起开展现实核查，因为在低质量数据和功能失调的业务流程基础上启动AI智能体项目，会导致项目成本高昂，部署失败。

Columbus Global的AI战略高管CJ Combs（CJ·库姆斯）说：“让智能体处理重复记录、定义冲突和两年没人更新的文档，它不会清理这些问题，反而会自信地基于所有这些问题采取行动，然后在它接触的每个工作流中大规模重复同样的错误。不是智能体失败了，而是它暴露了你原本就存在的数据和治理债务，现在它以机器速度在每个接触的工作流中不断叠加。”

CIO们正在投资数据编织架构，并着手解决数据管理债务，以此作为部署AI智能体的前提条件。

SAP（思爱普）业务技术平台总裁兼SAP扩展董事会成员Michael Ameling（迈克尔·阿梅林）表示：“企业在AI自主智能体方面面临的最大挑战之一，是在建立统一的业务数据基础之前就过早规模化。智能体依赖可信的业务数据、业务上下文和治理，才能在企业范围内可靠运行。”

如何避免：衡量数据质量，为用于训练AI模型或在运行时为AI智能体提供上下文的数据集设定最低信任评分。

四、授予AI智能体过多信息访问权限

企业的领域专家通常可以访问广泛的平台和数据源。专家建议不要为AI智能体提供同等或更高水平的信息访问权限。

Bishop Fox高级管理顾问Shad Malloy（沙德·马洛伊）说：“AI智能体实际上更像半可信的外部承包商或未经审查的员工。你不会把电子邮件、文件共享和财务平台的访问权限完全开放给一个新来的实习生，那么也没有理由把广泛的权限授予智能体。”

组织需要政策和平台来保护机密数据、确保遵守数据隐私法规并保护知识产权。

Native联合创始人兼CPO（首席产品官）Gal Ordo（加尔·奥多）表示：“如果智能体默认就能访问敏感数据、生产系统或高业务影响工作流，治理模式将沦为事后补救，而非前置架构管控。划定智能体可以操作的区域、可以跨越的边界以及必须始终维持的基线，这样团队才能快速推进工作，而不会产生超出控制范围的风险。”

如何避免：受监管行业的企业以及其他使用敏感数据部署AI智能体的组织，将需要AI治理平台来映射数据源与AI智能体的关系，并集中管理数据访问规则。

五、像测试传统软件一样测试AI智能体

在持续测试中部署完善的回归测试，以及自动化持续部署，是应用程序和API（应用程序编程接口）的目标。在构建、测试和部署AI智能体时，应当将这些目标进一步延伸，以应对数据、模型和实时推理上下文的可变性。

Virtue AI联合创始人兼AI负责人Sanmi Koyejo（桑米·科耶霍）说：“最常见的错误是把智能体当成传统应用来对待：部署前测试、签字放行，然后假设它在生产环境中就是安全的。但智能体是非确定性且有状态的，同一业务请求，每次执行都可能生成完全不同的工具调用链路。部署前测试无法穷举这些路径，更糟的是，一系列单独看来都被允许的操作，组合起来仍可能导致数据泄露或未经授权的交易。”

Koyejo（科耶霍）建议，测试还需要运行时强制管控，在每次工具调用执行前进行校验，当风险操作发生时即时阻断或告警。

Vasion的CIO Patrick Phillips（帕特里克·菲利普斯）建议CIO在部署AI智能体之前建立四项控制措施：

1.一个能在数秒内暂停任何智能体的紧急停止开关；

2.一条正常行为基准，用于识别正常活动的特征；

3.每次风险事件完成事后复盘，追问哪项控制措施本应阻止该问题发生；

4.以及用于实施改进控制机制的反馈流程。

如何避免：模糊测试和监控AI智能体之间的界限，因为它们的建议和行动需要在两种环境中持续进行评估。

六、部署AI智能体时未配套人员技能培养战略

CHRO（首席人力资源官）可能负责用于招聘的AI智能体，并定义其决策权限，但招聘人员和招聘经理呢？AI转型管理计划必须考虑与决策权限相关的业务目标，评估AI智能体的准确性，并获取所有受流程变更直接影响员工的认同与支持。

Seismic首席产品与技术官Krish Mantripragada（克里什·曼特里普拉加达）说：“我看到企业犯的最大错误，是在上线之前没有明确定义清晰的人工介入管控模型。团队花大量时间琢磨智能体可以自主完成什么，却跳过了更难的问题：在什么样的置信阈值、业务风险水平或操作类型下，智能体应该停下来请求人工介入？”

如何避免：部署AI智能体只是其业务持续演进的生命周期的起点。领导者必须考虑如何帮助员工适应工作流变化，然后培养管理AI智能体的技能。

七、把AI智能体的部署当成终点线

上述诸多错误归结为一个关于AI智能体的关键现实：部署不是终点，商业价值才是目标；智能体在生产环境中面对的情况，可能与测试阶段接触到的截然不同。

KNIME数据与分析副总裁Iris Adae（艾丽丝·阿代）表示：“我部署AI智能体时最常见到的错误，就是把试点当成终点线。智能体经过人工规整数据的试点环境中运行表现，与生产环境中的表现截然不同——在生产环境中，边缘案例和混乱的集成问题才会最终暴露出来。”

CIO一直深受技术债务的困扰，其中一个来源是企业停止为某项技术的维护和支持提供资金。同样的做法不仅会导致AI运维成本负债，还会侵蚀效率、增加运营风险。

如何避免：虽然业界对生产应用和SaaS的业务部门成本分摊结算机制存在大量争论，但对于部署到生产环境的AI智能体，必须考虑采用这一模式。

希望将更多AI智能体部署到生产环境的CIO，需要一个定义清晰的运营模式，涵盖交付、上线部署、效果量化、用户反馈、迭代优化的完整持续生命周期。