你好,欢迎您来到福建信息主管(CIO)网! 设为首页|加入收藏|会员中心
您现在的位置:>> 新闻资讯 >>
首席信息官 | 自主性膨胀:AI 是如何悄然窃取 CIO 权力的?
作者:福建CIO网 来源:CIOCDO 发布时间:2026年10月23日 点击数:

核心摘要:代理式 AI(Agentic AI)带来的最大危机,或许并非它蓄谋已久的自主觉醒,而是它在日常运转中,像温水煮青蛙一般,逐步、隐秘地积攒权限、工具和核心决策权。

作者:Pat Brans

图片 1:Shutterstock 

在现实商业世界里,极少有首席信息官(CIO)会脑门一热,突然将企业核心系统的大权全盘托付给一个 AI 智能体(AI Agent)。AI 走向全面自主(Autonomy)的路径,往往比科幻电影里演的要平淡得多。它的开局往往是一个极其微小的任务。由于它表现出色,业务部门便顺手给它接入了另一个系统。接着,因为它需要挖掘更深的数据,IT 部门又为它开启了一项新权限。当人类员工的审批速度变成业务瓶颈时,组织便顺理成章地移除了人工审核节点。那些曾经必须由人类拍板的边缘异常情况(Exceptions),也开始被悄无声息地自动化处理。

孤立地看,这里的每一次放权似乎都合情合理。然而,当这些微小的妥协叠加在一起时,这个智能体最终掌握的权力,将远远超出任何人在项目立项时的想象。

这就是所谓的“自主性膨胀(Autonomy Creep)”的致命威胁。随着企业 AI 的应用深度从“仅仅提供建议的系统”跨越到“直接执行动作的智能体”,CIO 的监管重心必须发生彻底的转移:不仅要死盯这些智能体“被设计用来做什么”,更要时刻警惕它们“逐渐具备了做哪些事的能力”。

一、灾难始于微不足道的放权


身份安全公司 RSA 的总裁兼首席产品与战略官 Jim Taylor 指出,这是一种极其危险且普遍的模式。企业通常是为了解决某个极其具体的痛点而引入智能体,并赋予它勉强够用的权限。然而,随着时间推移,业务需求不可避免地开始膨胀。

图片 2:RSA 公司总裁兼首席产品与战略官 Jim Taylor。图片来源:RSA

“人们只是不停地往它身上堆任务、加权限;它就那么静静地待在后台,像个黑洞一样不断吞噬并积累着这一切,”Taylor 警告说。“久而久之,它可能孕育出极具破坏性的‘权限毒瘤(Toxic combinations)’。它的触手伸得太长,看到了太多绝密数据,拥有了太多不该有的执行能力。”

当然,人类员工在职场中也会积累权限。但区别在于,企业拥有一套极其成熟的入职、调岗和离职交接流程(Joiner, Mover, Leaver processes)来管理人类。而 AI 智能体却不受这种自然生命周期的约束。“它们可是从来不会主动交还权限的,”Taylor 一针见血地指出。

1Password 的 CTO Nancy Wang 强烈呼吁,CIO 必须将每一次针对智能体职责范围的扩大,视为一次极其严重的战略决策,而非仅仅是“上线了一个新功能”。她强调:“每当你扩大智能体的实际业务管辖权时,你本质上是在企业的护城河上又开了一个新的授权缺口。”

区分“能力(Capability)”与“权限(Authority)”极其关键。一个智能体在技术上或许完全有能力黑进某个系统、篡改底层数据或发起一笔天价交易,但这绝不意味着企业就该理所当然地为它大开绿灯。

二、成功,往往是瓦解监管的毒药


极具讽刺意味的是,“自主性膨胀”最容易发生在 AI 表现得极其完美的时候。NatWest 集团的负责任 AI(Responsible AI)与 AI 战略主管 Paul Dongha 在银行业务中敏锐地捕捉到了这种隐患。

Dongha 透露,NatWest 在客诉处理流程中部署了智能体。那些需要跨系统检索海量信息的繁琐工作被轻松自动化,而最终“判定投诉是否成立”的生杀大权,依然牢牢攥在人类审核员手中。

然而,如果这个 AI 系统在长达几个月的时间里,每次生成的建议结果都与人类的判断完美契合,人类审核员就会不可避免地产生惰性,将原本严谨的审批降级为走过场式的“盖橡皮图章(Rubber-stamping)”。最终,组织可能会为了追求极致效率,直接砍掉人工复核环节。“完全向 AI 缴械投降的诱惑力太大了,因为它看起来实在是太靠谱了,”Dongha 坦言。

他补充道,NatWest 有时确实会在 AI 展现出极高置信度时减少人工抽检比例,但这绝对是一项经过极其审慎评估的战略决策,而非温水煮青蛙式的渐进妥协。这需要业务负责人(Stakeholders)和风控官的深度介入,且系统在放权后依然处于严密的监控网之下。

对于 CIO 而言,这是一个判定生死的分水岭。果断移除一个冗余的审批节点,并不等于治理失败。但如果这个节点是因为所有人都渐渐麻木、不再关心而被遗忘并最终消亡的,那就是一场彻头彻尾的治理灾难。

最危险的红色警报在于:当人类从“做出深刻的业务判断”退化为“机械的盖章机器”——并最终被彻底踢出工作流,而在此期间,却没有任何人去重新审计那个智能体究竟篡取了多大的权力。

三、将致命的“控制阀”设置在模型之外


随着智能体的权力不断膨胀,CIO 绝对不能天真地指望 AI 智能体会像乖乖女一样,严格遵守你在提示词(Prompt)里写下的那些“可以做”和“绝对不准做”的指令。在 1Password,Wang 极力推崇一种被称为“验证闭环(Verified loops)”的硬核机制。在智能体接管任何工作之前,必须由人类来铁血定义:它的任务是什么、允许调用哪些工具链、必须提供何种硬核证据来证明任务已合规完成,以及——最关键的——它绝对不准越过的红线有哪些。

随后,必须引入一个完全独立于该智能体的“验证者(Verifier)”,将智能体的操作轨迹日志与人类设定的铁律进行极其冷血的比对。“你必须不惜一切代价避免出现一种荒谬的递归逻辑——让狐狸去守鸡圈,或者让智能体去给自己的违规行为打掩护,” Wang 犀利地指出。

[图片 3:(1Password 首席技术官 Nancy Wang。图片来源:1Password)]

这一铁律的影响力远超软件开发的范畴。你或许在模型指令里明确规定了:单笔转账绝对不能超过某个金额、绝对不能触碰核心生产环境,或者严禁访问某些绝密数据库。但是,如果一旦违反这些规则将给企业带来灭顶之灾,那么这些硬核限制就必须以物理或系统级代码的形式,死死焊在模型之外。

RSA 的 Taylor 从身份和访问控制(IAM)的视角得出了完全一致的结论。“模型层面的护栏(Guardrails)固然需要,但远远不够,”他断言。“真正能保命的红线,必须架设在企业级的控制网(Enterprise control)中,游离于 AI 之外。”他主张对智能体实施极其森严的“多层防御体系(Layered controls)”,涵盖身份策略、资源调配规则、生命周期策略、强管控治理、实时监控以及防篡改证明机制(Attestations)。

说白了,CIO 绝不应该指望 AI 智能体凭借所谓的“道德自律”来克制自己;你要做的是:在底层基础设施上直接切断它执行越权操作的物理可能性。

四、以毫秒级的速度,实时绞杀越权访问


传统的权限治理往往像慢吞吞的官僚机构。部门主管可能每个季度才会悠哉地审查一次员工的权限,看看是否还能凑合用。对于进化速度以秒计的智能体来说,这种老掉牙的玩法简直是自寻死路。“智能体的身份是极度动态(Dynamic)的,” Taylor 说道。“因此,我们必须构建一种在极短周期内对其进行‘持续验证(Certifies continuously)’的机制,而不是可笑的‘定期回访’。”

例如,如果一个智能体突然越权访问了另一个敏感数据库,这个动作本身就必须在毫秒级内触发系统的最高级别强制评估。组织必须瞬间判定:这个新权限是否合理?它是否与智能体原有的权限组合成了一个足以引发风险的“危险组合”?“特权和授权绝对不能是一次性买断的永久牌照,” Taylor 补充道。“它们必须永远处于被严格审查状态中。”

Wang 则推崇一种更加硬核、颗粒度极细的“基于任务的动态授权(Task-based authorization)”策略。与其给智能体发放长期畅通无阻的通行证(Standing access)或长效凭证,企业更应该在系统运行时(Runtime)进行极其严苛的瞬间决策,仅仅在执行某项极其具体的任务时,才施舍给它一个极短寿命的临时凭证(Short-lived credentials)。“我们的底线是:绝不授予任何永久特权(No standing privileges),”她斩钉截铁地说。“绝不发放任何长效凭证。”

这种策略,实际上是在以智能体运行的恐怖速度,极限贯彻着“最小特权原则(Least Privilege)”。任务的每一次切换,都将成为一次极其无情的重新审查——拷问该智能体是否真的还有资格保留它正在请求的权限。

五、强制绑定:每一个智能体,都必须有一个“牵狗绳”的主人


然而,再强悍的技术控制,也无法回答一个极其沉重的组织伦理问题:谁来背锅(Accountability)?Taylor 坚信,企业必须有能力将每一个智能体,死死绑定在一个有血有肉的“责任实体(Responsible identity)”身上。如果某个员工孵化了一个智能体,组织必须在第一时间锁定:谁是它的主人?它到底要干嘛?如果这个员工转岗或离职,这个智能体该怎么处置?“智能体在系统里敲下的每一个回车键,都必须能精准追溯到一个必须为此付出代价的人类身上,”他严厉地指出。

这种“所有权”同样需要极其严酷的生命周期管理。如果一个智能体在其创造者拍屁股走人后依然对业务至关重要,它必须被极其正式地移交给下一位被指定的“接盘侠”,而绝不能像幽灵一样在系统里无限期地野蛮生长。

Dongha 提出了另一个极其尖锐的区别。对于那些已经深度嵌入业务流的 AI,他认为最终的“背锅侠”必须是该业务的最高负责人(Business Owner),因为正是这个人掌控着客户关系、业务流程,并在很大程度上对盈亏(P&L)负全责。“责任的终极尽头必须是业务负责人,因为是他们的团队在驱使 AI,是他们在对客户负责,”他一针见血地说。

这就为 CIO 们划定了一条极其明智的免死金线:IT 部门负责提供最坚固的基建和最严苛的控制阀;但是,业务部门绝对休想把“AI 自主决策所引发的灾难性后果”甩锅给 IT。

六、多智能体协同(Multi-agent Systems),需要降维打击的系统级控制


当智能体们开始像人类团队一样拉帮结派、协同作战时,这场治理噩梦将发生指数级的恶化。

一个单独的智能体可能完全老老实实地待在权限圈里,但它却在不知不觉中,为一个谁都没有预料到的灾难性整体结果递上了至关重要的一刀。智能体 A 生成了一段看似无害的数据;智能体 B 将其作为输入,触发了一个常规操作;紧接着,智能体 C 拿着 B 的结果,按下了核按钮。如果单独复盘,这三个智能体的每一个动作,在逻辑上都完美无瑕且完全合法。

Dongha 警告说,企业不能再仅仅盯着单个智能体进行孤立测试,而必须将整个智能体网络视为一个极度危险的有机系统来进行全局压测。“在多智能体系统(Multi-agent system)的头顶上,你必须悬起一把拥有上帝视角的达摩克利斯之剑(Overarching controls),”他强调。

图片 4:NatWest 集团的负责任 AI 及 AI 战略主管 Paul Dongha。图片来源:NatWest Group

目前,NatWest 正斥巨资打造一座“AI 控制塔(AI Control Tower)”。这座控制塔旨在为授权用户提供对整个智能体网络的“透视眼”,包括深度监听智能体之间传递的每一条加密信息,以及死死监控包围着这些交互行为的安全护栏是否被突破。Dongha 坦言,如何治理多智能体系统,是目前全行业面临的一个极其棘手、且至今无人敢说已经彻底解决的终极难题。

Wang 也指出了一个极其烧脑的连带挑战:当智能体的生命周期极其短暂(Ephemeral)时,身份追踪将变得如噩梦般复杂。一个组织可能会为了应对某个突发流量,瞬间拉起一支由成百上千个智能体组成的“临时雇佣军”,几分钟后将其全部销毁,过阵子再重新拉起。如果这期间发生了致命的系统事故,企业将面临极度绝望的重建工作:到底是哪个智能体、在哪个极度短暂的会话(Session)中、做出了哪个致命决定,以及这个决定是如何像病毒一样在系统中蔓延的?

随着这种自治系统越来越不像单个应用程序,而更像是由无数相互依赖的“数字幽灵”构成的复杂网络,“全链路可追溯性(Traceability)”的地位正在被无限拔高。

七、把绞刑架,立在智能体越狱之前


在任何一个智能体被放进生产环境之前,Taylor 认为 CIO 必须能够极其冷静地回答以下几个送命题:谁是它的主人?它到底能干什么?它的破坏力上限在哪里?如果它暗中扩张了地盘,组织拿什么去发现?以及,哪些按键必须永远由人类来按?

其他行业的企业或许没有财力去复刻一家跨国银行极其庞大臃肿的治理机器,但它们绝对可以白嫖一个极其致命的黄金法则:控制机制(Controls),必须在敲下第一行系统代码时,就被死死锁死在底层架构中。

“治理(Governance)绝不是在系统上线前一晚,拿着检查表走个过场的糊弄学,” Dongha 敲着黑板说。“在你决定构建 AI 系统的第一秒,治理机制就必须像基因一样被嵌入进去。”

对于 CIO 而言,这或许是面对“自主性膨胀”最痛的领悟。当前真正的拷问,绝不是“我们今天能否信任这个 AI 智能体”,而是:当明天的那个智能体,极其狡猾、极其悄无声息地窃取了你从未打算给它的最高权限时,你的组织到底有没有一套足够冷血、足够敏锐的警报系统,能瞬间把你从睡梦中叫醒?

深度睿评:警惕温水煮青蛙,CIO 必须成为 AI 权限的“暴君”


企业对 AI 的态度正在经历危险的倒挂:从最初的极度防备,转向了因为其“表现良好”而产生的致命麻痹。文章极其精准地刺痛了当前企业 AI 部署的最大盲区——放权的不可逆性。

作为企业的技术大脑,CIO/CDO 绝不能被业务效率的表象所绑架。你必须在 AI 治理上做一个不近人情的“判官”。

首先,彻底摒弃静态权限管理,实施“零信任(Zero Trust)与毫秒级临时授权”。其次,死守“业务最终兜底”的红线:IT 只提供武器,但扣动扳机的后果必须由业务老大用乌纱帽来抗。最后,在“多智能体协同”的暗箱中,必须强行植入物理级别的“断路器(Kill Switch)”。在 AI 时代,极度的悲观与苛刻,才是保命的唯一筹码。