你好,欢迎您来到福建信息主管(CIO)网! 设为首页|加入收藏|会员中心
您现在的位置:>> 新闻资讯 >>
AI 智能体的完全自主权:一项仍在探索中的演进工程
作者:福建CIO网 来源:CIOCDO 发布时间:2026年11月10日 点击数:

导读:IT 领导者已开始在低风险职能中部署自主智能体,但在关键业务场景下,大多数人仍未准备好让这项技术在脱离人工监督的情况下独立运行。

代理式人工智能(Agentic AI)的真正潜力,在于让智能体(Agents)能够在整个企业内部自主调度、制定决策并采取行动。然而,目前似乎鲜有 IT 领导者准备好将广泛的控制权交予机器。

图源:Rob Schultz / Shutterstock

根据毕马威(KPMG)在今年 7 月和 8 月进行的一项调查,62% 的 IT 领导者表示他们正在构建、部署或开发 AI 智能体,这一比例高于上一季度的 53%。但许多 IT 领导者坦言,除了像一线 IT 基础支持(Tier 1 IT support)这类低风险的常规职能外,他们对于将内部核心流程完全移交给智能体仍心存顾虑。

AI 生命周期管理与治理供应商 ModelOp 的首席技术官(CTO)Jim Olsen 观察到,智能体的自主性正开始在一些受限场景中逐步落地——例如,在无需人工干预的情况下处理小额客户退款或积分返还。但早期在探索“完全自主”过程中暴露出的风险教训,依然让 IT 领导者们保持着高度警惕。

“我们曾看到许多个人用户广泛采用“龙虾” Clawdbot和 OpenClaw,向这些工具开放了电子邮箱的完全访问权限,并赋予其完全的自主权,”他指出,“对部分人来说这运转得不错,但同时也带来了巨大的风险敞口。”

对于正在部署自主机器人的 IT 领导者,Olsen 建议将它们严格限制在边界清晰的沙箱(Sandbox)环境中,并配置明确的策略来约束其自主权限。

“我认为,在短期内,企业不会允许智能体拥有随心所欲的完全自主权,”他表示,“但事实上,‘受限的自主权(Restricted autonomy)’今天已经在企业中得到了实际应用。”

Olsen 预测,那些非关键任务(Non-mission critical)且无需接触敏感信息的业务活动,将成为 IT 领导者率先向智能体开放完全自主权的领域。“随着信任度的逐步提升,应用场景的广度也会随之拓展,”他补充道。

部分 IT 领导者对“自主性膨胀(Autonomy creep)”表示担忧,即智能体在运行过程中悄然获取了超出最初授权范围的权力。同时,许多 AI 与安全专家警告称,所谓的“人机闭环(Human-in-the-loop)”安全护栏,在实际操作中并不总能给予员工足够的权限或反应时间去纠正智能体犯下的错误。

尽管如此,Olsen 表示,IT 领导者依然拥有多种技术手段来强制执行运行时策略(Runtime policies),将智能体的行为控制在可接受的目标范围内,具体包括 API 网关(API gateways)、操作系统级强制管控(OS-level enforcement)以及凭证管理(Credential management)。

“这意味着企业必须制定清晰的策略,并能够将这些策略精准绑定到特定的智能体和具体的业务用例上,”他补充道,“目前市面上已经有部分解决方案,但企业仍需要一套更具全局协同性的战略,来建立这种底线级别的信任。”

一、界定自主权的“最佳平衡点”


网络安全供应商梭子鱼网络(Barracuda Networks)的首席信息官(CIO)Siroui Mushegian 已在企业内部部署了约 2,000 个智能体,但她依然安排人类员工对机器人的操作进行核查。

“我们有许多智能体已经非常接近完全自主——我们大量的工单自动化流程都处于‘信任但核查(Trust-but-verify)’的范畴,由专门的监管机制对其进行监督,”她介绍道,“我们看到的成功案例越多,心里的把握就越大;但在涉及需要审计的合规流程时,我依然不敢百分之百地彻底取消人类的问责机制(Accountability)。”

Mushegian 预计,随着智能体证明自身能够可靠地处理特定任务,其自主权范围将会逐步扩大。“一旦出错所带来的后果严重程度,决定了你在赋予智能体更大权限之前,需要收集多少确凿的可靠性证据,”她指出。

她补充说,自主权更有可能率先赋予那些在特定职能内部执行单一明确任务的智能体。例如,当标准答案已有完善的文档记录、操作范围受限,且一旦出错极易纠正时,常规的内部支持请求就是实现自主化的合理切入点。

相反,那些能够修改访问权限或对生产系统(Production system)进行变更的智能体,则不太可能被赋予完全自主权,Mushegian 补充道。

“即便在同一个工作流内部,一个智能体也可能独立完成某些步骤,而在其他步骤上则需要人工审批,”她解释道,“我只会赋予它完成特定任务所需的最小权限,而对于那些一旦出错就会引发严重后果的决策,则必须保留人工审批环节。”

二、核心在于管控“具体动作”,而非“智能体本身”


家庭账单应用提供商 Taupia 的联合创始人兼 CTO Joshua Rowe 也认同,IT 领导者不应在所有场景下都赋予智能体完全的自由度。

“我会把管控的红线画在‘具体动作(Action)’上,而不是画在‘智能体(Agent)’身上,”他表示,“同一个智能体在执行某一步骤时可以独断专行,但在下一步骤上则必须等待人工签字批准。”

不过,Rowe 认为目前已经有大量领域可以让智能体实现近乎自主的运行,特别是那些“重读取(Read-heavy)”型工作,例如数据收集、工单分诊(Triage)、初稿撰写以及多方案比对。

目前,Taupia 正在测试一项智能体功能:自动比对不同供应商的能源套餐报价,并直接执行相关步骤帮助客户更换供应商,期间无需公司内部员工对每一步进行审批。不过,在这项变更正式生效之前,客户本人仍需对变更内容进行最终复核与确认。

Rowe 指出,至于智能体何时才能在“不可逆操作(Irreversible actions)”上获得自主权,其时间表并不取决于 AI 模型本身变得有多聪明。

“这取决于一个组织能以多快的速度,将每一个操作改造为‘可逆的(Reversible)’或‘有边界的(Bounded)’——即配备支出限额、冷静期(Cooling-off periods)、状态回滚(Rollback)机制,以及足够完善、能够撤销错误操作的审计轨迹(Audit trail),”他深刻地指出,“一旦某项操作具备了这些兜底机制,它就可以走向自主化。而在那些无法撤销的场景中——比如签署法律合同或将资金转出账户——在可预见的未来,我依然会坚持由人工来进行最终审批。”

三、这是一个“刻意设计”的工程问题


AI 客户服务平台提供商 Text 的 CTO Maciej Walaszczyk 指出,客户服务正是 IT 领导者已经开始向智能体让渡控制权的典型领域。

“在我的专业领域——客户服务中,智能体确实已经能够在无需人工持续监督的情况下回答客户垂询,因为它们是在人类提供的知识库基础上进行学习的,”他表示,“自主权的大小取决于权限设置以及操作后果的严重程度。此外,这些回复的边界完全可以根据企业的具体需求进行量身定制。”

但 Walaszczyk 明确表示,他绝不会将整个部门的运作全盘移交给智能体。相反,他建议 IT 领导者应当将授权限定在特定的子流程中——在这些流程里,管理者能够清晰地定义目标、划定边界并验证最终成果。

“一个代表我行事的智能体,绝不能拥有比我本人更大的权限,”他补充道,“我认为这并非一个关于心理舒适度或是否有勇气放权的问题,而是一个关于如何对运行环境、权限边界、指令集和监管机制进行‘刻意设计(Deliberate design)’的工程问题。”

Walaszczyk 总结道,信任源于真实的业务实战与经过验证的交付结果;在许多情况下,人类必须保留在环路中(In the loop)以核查智能体的产出。

“监督必须是真实有效的,”他强调,“这需要投入实质性的时间与精力,绝不仅仅是机械地点击‘批准’按钮那么简单。一句‘这是 AI 干的’并不能免除相关人员的责任。任何不可逆的操作或可能引发重大后果的动作,都必须经过严格的人工审查。”

💡 技术与管理名词速览 (Tips)

  • Agentic AI (代理式人工智能):具备自主目标分解、工具调用和环境交互能力的 AI 系统。与仅能被动生成文本的传统大模型不同,它能够主动规划步骤并在企业系统中执行实际操作。

  • Autonomy Creep (自主性膨胀):衍生自项目管理中的“范围蔓延(Scope Creep)”。指 AI 智能体在长期运行中,因业务需求的零散叠加或人工审核的逐渐松懈,在不知不觉中积累了超出系统设计初衷的过高权限与决策力。

  • Human-in-the-loop(HITL/ 人机回圈):一种系统控制与治理模式。在 AI 自动化工作流的关键节点(通常是高风险或低置信度环节)强制引入人类专家的审核、干预或授权,以确保系统的安全性与合规性。

  • Runtime Policies (运行时策略):在程序或 AI 智能体实际运行过程中(而非仅在开发阶段),通过网关或操作系统层面动态拦截、校验其API调用与数据访问行为的实时安全管控规则。

  • Rollback & Audit Trail (状态回滚与审计轨迹):保障系统容错性的核心工程机制。Audit Trail负责完整记录智能体每一步操作的时间、输入输出及调用凭证;Rollback则支持在智能体执行错误操作后,依据日志将系统数据与状态精准恢复至操作前的正常节点。


睿评:跨越“放权焦虑”,将 AI 自主性转化为可逆的工程设计


面对 AI 智能体(Agent),许多企业正陷入两难境地:既渴望其全天候的自动化红利,又恐惧其在核心业务中“暴走”带来不可挽回的损失。清晰的工程化思路——是否赋予 AI 自主权,不应取决于对模型智商的盲目信任,而应取决于业务动作本身的“可逆性”与“容错架构”。

对于正在推进智能体落地的 CIO 与 CDO 而言,以下三条实操路径值得立刻采纳:

1、构建“动作级(Action-level)”而非“角色级”的动态权限:摒弃传统的粗放式授权。在同一个工作流中,对“数据读取、方案比对、初稿生成”等无害操作开放完全自主权;而在涉及“资金划转、生产环境变更、合同签署”等高危节点,通过 API 网关在系统底层硬性锁死,强制触发人工审批。

2、用“可逆性工程(Reversibility)”置换自主权空间:正如文中所言,将不可逆的业务改造为“可回滚、有上限、带冷静期”的受控动作,是扩大 AI 自主边界的前提。在部署智能体前,技术团队应优先搭建完善的事务回滚机制与资金熔断阈值,让系统具备“即便 AI 犯错也能一键撤销”的底气。

3、压实“人机同责”的真实监管:警惕形式主义的“橡皮图章(机械点击批准)”。必须明确管理红线:AI 永远无法成为事故的背锅侠,每一次自动化执行的背后都必须绑定具体的人类业务负责人(Owner),通过真实的抽检与审计闭环,实现效率与安全的稳健平衡。



#人工智能 #IT运维   #业务运营   #风险管理   #安全

作者:Grant Gross(格兰特·格罗斯)

Grant Gross(格兰特·格罗斯)是CIO的资深撰稿人,是一名长期的科技记者。他曾担任华盛顿记者,后来担任IDG新闻服务的高级编辑。在他职业生涯的早期,他曾担任Linux.com的总编辑和科技职业网站Techies.com的新闻编辑。在遥远的过去,他曾在明尼苏达州和达科他州的报纸担任记者和编辑。