——CIO警惕：为何63%的企业无法给AI自主权，错失数十亿美元机会？
各位CIO和技术领袖：
AI智能体（AI Agents）被誉为下一代生产力引擎。市场正陷入一种狂热：G2报告显示，57%的B2B公司已将智能体投入生产，市场预计在未来五年将以接近46%的复合年增长率增长。
然而，在这股热潮之下，隐藏着一个核心矛盾：智能体需要决策自主权才能发挥最大价值，但许多专家仍将它们视为“黑匣子”，部署它们的组织无法理解其行动背后的推理过程。
这种“自主性”与“透明度”的悖论，正在扼杀智能体的核心卖点。我们正在浪费金钱，因为人类的过度干预，正将AI智能体变成了“昂贵的瓶颈”。
企业部署智能体时，最大的错误在于误解了它的本质。
Writer产品管理总监Matan-Paul Shetrit指出，许多组织将智能体视为类似于简单的API调用，认为其输出是可预测的。
但实际上，用户应该将它们更多地视为“初级实习生”。
难以管控：和初级实习生一样，它们需要一定的管控措施。控制一个实习生比控制一个API难得多，因为他们可能有意或无意地造成损害，还可能接触到不应引用的专有信息。
规模爆炸：Shetrit推测，一个拥有1000名员工的组织部署了10000个智能体，这使得组织瞬间变成了拥有11000个“人”的实体。管理这种规模的组织，需要重新思考整个组织结构和业务运作方式。
广告技术提供商Zefr的Jon Morra警告：“现在人们对智能体过于信任，而这正给他们带来麻烦。” 很多部署LLM（大语言模型）的组织，甚至不知道模型会出现“算错数学题”或“编造数据”的风险。
这种对“自主权”的不信任，正在工作流程中造成巨大的阻碍和成本。
过度监督：G2报告显示，63%的受访者表示，他们的智能体比预期需要更多的人工监督。
信任危机：不到一半的受访者信任智能体能够自主做出决策，只有8%的人放心让智能体拥有完全自主权。
G2的Tim Sanders认为，这种信任差距对那些对智能体过于谨慎的组织来说可能代价高昂。
“由于流程中涉及过多人工干预，他们将错失数十亿美元的成本节约机会，这在智能体工作流程中造成了瓶颈。”
为了提高效率而采用智能体，却因为人类监督而造成瓶颈，这完全违背了采用的初衷。
既然完全信任不可行，那么解决方案就是构建一个确保“可解释性”和“有限自治”的架构。
原则一：架构为王，解决“信任问题”
Kamiwaza AI的CTO James Urquhart指出：人工智能存在信任问题，但这是一个架构问题。
不要使用“万能”智能体：要把智能体视为一个“维修团队”，而不是一个“瑞士军刀”。
部署协调层：部署一个协调层来管理智能体的生命周期、上下文共享、身份验证和可观测性。这能让你在没有“安全性和治理控制平面”的情况下，避免制造更多混乱。
原则二：限制应用范围，聚焦低风险决策
开曼群岛数字转型负责人Tamsin Deasey-Weinstein建议：
限制范围：最值得信赖的智能体功能往往非常单一。智能体的权限越广泛、越自由，其输出结果就越容易出错。
风险评估：最适合智能体的应用是低风险决策。对于涉及自由、健康、教育、收入等高风险决策，AI只能起到辅助作用。
原则三：设置“硬性护栏”与“最小权限”安永的Schuller和Unisys的Bennett均强调，必须在架构层面设置不可逾越的规则：
零/最小权限：访问权限必须是“有目的的”，而不是“普遍的”。例如，一个助手（copilot）只能访问会话中“单封电子邮件”，而不是整个收件箱。
硬性检查：如果AI提出定价或折扣建议，必须执行一次“硬性检查”，确保价格在公司设定的限制范围内。
【终极答案】Genpact的全球代理AI主管Jinsook Han总结道：“谁控制AI的问题，需要深思熟虑的架构选择。”
“我是业主，是房子的主人。我知道边界在哪里，谁竖起栅栏。我才是那个决定我愿意承担多少风险的人。”
尽管各组织纷纷急于部署AI agents（AI智能体），但对智能体透明度和决策过程的担忧，最终可能会阻碍这项技术核心卖点的实现。
图源：Rob Schultz / Shutterstock
许多专家表示，企业正在迅速部署AI agents（AI智能体），但对AI智能体准确性的严重质疑，预示着未来可能会出现问题 。
AI智能体面临的矛盾在于，它们需要决策自主权才能充分发挥价值 ，但许多人工智能专家仍将它们视为黑匣子，部署这些智能体的组织无法了解其行动背后的推理过程 。他们认为，这种决策缺乏透明度，可能会阻碍智能体作为能够大幅提高效率的自主工具得到全面应用 。
然而，许多人工智能从业者表达的信任担忧似乎并未引起潜在用户的重视，因为许多组织都已搭上了智能体的热潮 。
软件市场调研机构G2在10月份发布的一项调查显示，约57%的B2B（企业对企业）公司已经将智能体投入生产。几家信息技术分析公司预计，未来几年AI智能体市场将实现大幅增长。例如，Grand View Research预测，2025年至2030年间，该市场的复合年增长率将接近46%。
人工智能专家表示，许多使用AI智能体的客户组织尚未意识到，如果没有适当的保障措施，智能体可能会多么不透明 。而且，即使出台了相关管控措施，目前大多数工具仍不足以防止智能体出现不当行为 。
一、 误解与滥用
智能体构建平台Writer的产品管理总监Matan-Paul Shetrit（马坦-保罗·谢特里特）表示，对智能体的角色和功能存在的广泛误解，可能会阻碍这项技术的发展 。他说，许多组织将智能体视为类似于简单的API（应用程序编程接口）调用，认为其输出是可预测的，但实际上用户应该将它们更多地视为初级实习生。
Shetrit补充道：“和初级实习生一样，它们需要一定的管控措施，而API相对来说是比较容易控制的东西 。控制一个实习生实际上要难得多，因为他们可能有意或无意地造成损害，还可能访问或引用不应接触的信息。”
他表示，AI智能体开发人员和用户企业面临的挑战将是管理所有可能部署的智能体 。
Shetrit推测：“你很容易想象，一个拥有1000人的组织部署了10000个智能体。这个组织不再是拥有1000人的组织了，而是一个拥有11000个‘人’的组织，管理这样的组织将截然不同 。”
广告技术提供商Zefr的首席人工智能官Jon Morra（乔恩·莫拉）补充说，许多部署智能体的组织尚未意识到有问题需要解决 。
Morra说：“在当下的时代思潮中，人们还没有充分认识到智能体存在多少信任问题 。对人们来说，人工智能智能体的概念仍然相对较新，很多时候它们是一种在寻找问题的解决方案 。”
Morra认为，在很多情况下，可以部署更简单、更具确定性的技术，而不是使用智能体（比如传统AI模型）。他说，许多部署支撑智能体的LLMs（大语言模型）的组织，似乎仍然缺乏对相关风险的基本认识 。
“现在人们对智能体过于信任，而这正给他们带来麻烦。”他说，“我参加过很多次会议，使用大语言模型的人会问我：‘Jon（乔恩），你有没有注意到它们算数学题会出错，或者有时会编造数据？’我回答：‘是的，这种情况会发生 。’”
虽然许多人工智能专家认为，随着人工智能模型的改进，从长远来看，人们对智能体的信任会有所提升 ，但Morra认为，永远无法完全信任智能体，因为人工智能始终存在出错的可能性。
二、 对自主权不信任导致的工作流程阻碍
虽然Morra和Shetrit认为人工智能用户不理解智能体的透明度问题，但G2在10月份发布的研究报告指出，人们对智能体执行某些任务的信任度在不断提高 ，比如自动阻止可疑IP地址或回滚失败的软件部署 。尽管如此，63%的受访者表示，他们的智能体比预期需要更多的人工监督。不到一半的受访者表示，即使有管控措施，他们总体上也信任智能体能够自主做出决策 ，只有8%的人放心让智能体拥有完全自主权。
G2的首席创新官Tim Sanders（蒂姆·桑德斯）并不完全认同一些警告观点 。他认为，对智能体缺乏信任比技术缺乏透明度更是个问题 。他说，虽然对新技术持不信任态度很正常，但智能体的优势就在于能够在无需人工干预的情况下行动 。
他指出，调查显示，近一半的B2B公司购买了智能体，但并没有赋予它们真正的自主权 。“这意味着人类必须对智能体的每一个行动进行评估并批准，”Sanders说 ，“这似乎违背了为提高效率、生产力和速度而采用智能体的初衷 。”
他认为，这种信任差距对那些对智能体过于谨慎的组织来说可能代价高昂。“由于流程中涉及过多人工干预，他们将错失数十亿美元的成本节约机会，这在智能体工作流程中造成了瓶颈 ，”“信任来之不易，却很容易失去 。然而，智能体在经济和运营方面的前景，实际上正促使有发展眼光的企业领导者给予智能体更多信任，而非退缩 。”
三、 谨慎行事
其他人工智能专家提醒企业的IT负责人，鉴于人工智能供应商仍需解决透明度问题，在部署智能体时要格外小心 。
开曼群岛人工智能数字转型特别工作组负责人Tamsin Deasey-Weinstein（塔姆辛·迪西-温斯坦）表示，人工智能在有人参与并实施严格治理的情况下效果最佳 ，但很多人工智能智能体存在过度营销和治理不足的问题 。
Deasey-Weinstein说：“虽然智能体能够让人类无需参与流程，这很了不起，但这也让它们极具危险性 。我们大肆宣扬自主智能体（autonomous agents）的前景，但实际上，如果没有严格的管控措施，它们随时可能引发灾难 。”
为解决这种透明度不足的问题，她建议限制智能体的应用范围 。
Deasey-Weinstein说：“最值得信赖的智能体功能往往非常单一。智能体的权限越广泛、越自由，其输出结果就越容易出错 。最可靠的智能体承担的工作范围小且明确，同时有非常严格的管控措施 。”
然而，她也意识到，部署针对性很强的智能体可能对一些用户缺乏吸引力 。“对于那些总是希望用更少时间和技能完成更多工作的用户来说，这既没有卖点，也没有吸引力 ，”“要记住，如果你的AI智能体可以在无人干预的情况下撰写每一封邮件、处理每一份文件并调用每一个API，那你将无法对其进行控制 。选择权在你手中 。”
许多人工智能专家还认为，自主智能体最适合用于做出低风险决策 。“如果某个决策会影响某人的自由、健康、教育、收入或未来，人工智能只能起到辅助作用 ，”Deasey-Weinstein说，“每一个行动都必须能够解释清楚，但人工智能做不到这一点 。”
她推荐采用OECD（经济合作与发展组织）的人工智能原则以及NIST（美国国家标准与技术研究院）的人工智能风险管理框架等框架，作为帮助组织理解人工智能风险的指南 。
四、 观察和协调
其他人工智能从业者指出，新兴的人工智能可观测性实践是解决智能体不当行为的一种方法 ，不过也有人表示，仅靠可观测性工具可能无法诊断出智能体的根本问题 。
人工智能协调供应商Kamiwaza AI的现场首席技术官James Urquhart（詹姆斯·厄克特）表示，使用智能体的组织可以部署一个协调层（coordination layer），用于管理智能体的生命周期、上下文共享、身份验证和可观测性 。
与Deasey-Weinstein一样，Urquhart也主张智能体应承担有限的角色 ，他将协调层比作裁判，能够监督一组专业智能体 。“不要使用一个‘万能’智能体，”他说，“要把智能体当作维修团队，而不是瑞士军刀 。”
他说，人工智能存在信任问题，但这是一个架构问题 。
“如今，大多数企业都能搭建一个智能体，但很少有企业能够解释、约束并协调一群智能体 ，”“如果企业没有能够实现规模化、安全性和治理的控制平面，就会制造更多混乱 。”
作者：格兰特·格罗斯
译者：宝蓝 编审：@lex
