
【导读】2025年,AI的进化速度已经超越了我们的想象。从简单的聊天机器人到能够自主执行任务的自主AI智能体(Agentic AI),企业正面临一场前所未有的管理危机。
麻省理工学院(MIT)的最新报告显示,35%的公司已经采用了自主AI智能体,另有44%计划很快部署。但问题在于:治理、可观察性和生命周期管理被严重忽视了。
当智能体开始像“僵尸”一样在后台悄悄运行,消耗着算力,甚至成为黑客的攻击面时,CIO们该如何应对?
一、🧟♂️ 隐形危机:“影子智能体”正在失控
不仅是IT部门的事:Gartner预测,到2026年,40%的企业应用将包含任务特定的自主智能体。这意味着,除了IT部门,SaaS平台(如Salesforce)、浏览器甚至普通员工(Citizen Developers)都在创建智能体。
影子AI的升级版:IBM调查显示,80%的员工在工作中使用AI,但仅有22%使用公司提供的工具。更可怕的是,Netskope发现67%的组织正在从Hugging Face下载AI资源。
后果:
成本爆炸:无用的智能体持续调用LLM推理,导致账单失控。
安全漏洞:未经批准的智能体成为黑客的新攻击面。
技术债务:“智能体技术债务(Agentic Tech Debt)”是一个令人恐惧的概念。
二、⚖️ 治理之道:向金融巨头取经
Experian(益博睿)作为金融服务巨头,展示了高标准的治理范本。
全生命周期管理:Experian追踪每一个智能体——谁在使用、消耗多少、何时更新或退役。
人工监督(Human-in-the-loop):不仅有编排智能体(Orchestrator Agents)进行质量控制,还有人类验证结果,防止成本超支。
市场化管理:创建一个内部“AI智能体市场”,让所有智能体可见、可追踪、可退役。
【顾问建议】不要试图用铁腕手段“一刀切”地禁止影子智能体。无知和官僚主义才是问题的根源。建立一个可见的、受控的环境,让员工愿意在其中创新。
三、⚰️ 死亡机制:如何体面地送走“僵尸”?
许多失败的试点项目从未真正“死亡”,它们变成了“僵尸智能体”,继续消耗资源。
设定“杀戮开关”:
快速失败:必须有阶段性关卡(Stage Gates),允许你叫停项目。
定期审计:像审计资产一样,每季度审查AI项目。如果性能低于容忍度,业务部门应果断拔掉插头。
半衰期思维:每个AI项目都有半衰期。不要指望它能自我维持,它会像旧代码一样积累债务。
【结语】AI智能体不是“设置后即忘”(Set-it-and-forget-it)的解决方案。
在它们失控之前,建立你的治理基础设施。否则,你将不仅面临巨额账单,还要应对一场安全灾难。
全文:如何在智能体失控前保持 AI 计划的完整
不仅仅是安全在新技术部署时可能被忽视。治理、可观察性和生命周期管理也是如此。有了自主AI智能体(Agentic AI),这将是一场灾难的前兆。
图源:Taris Tonsa / Shutterstock
在麻省理工学院(MIT)去年11月发布的一份报告中,35%的公司已经采用了自主AI智能体(Agentic AI),另有44%计划很快部署。
该报告基于与波士顿咨询集团(BCG)合作对2000多名受访者的调查,建议企业在部署自主智能体之前,先建立集中式治理基础设施。但当公司感到处于生存竞赛时,治理往往会滞后。这一规则的一个例外是受监管行业,如金融服务业。
“在Experian,我们多年来一直在人工智能领域创新,”公司全球集团首席技术官(CTO)Rodrigo Rodrigues说。“在金融服务领域,利害关系极高。我们需要审查每一个AI用例,确保从开发到部署都将监管、伦理和性能标准融入其中。”
他说所有模型都会持续测试,公司会追踪拥有哪些智能体、哪些被采纳、消耗了哪些资源、运行的版本,以及哪些智能体需要被淘汰,因为有新版本。
“这个生命周期是我们基础的一部分,”他说。但他说,即使在Experian,现在讨论智能体的典型生命周期也为时过早。
“当我们退休或终止某个智能体时,那是因为我们开发了一项新能力,”他补充道。所以,智能体不是被删除,而是被更新了。
此外,公司对智能体设有人工监督,防止他们失控。
“我们还没有进入自动化的超大规模阶段,并且确保我们的生成式AI智能体在大多数用例中负责非常具体的任务,”他说。此外,还有编排智能体(orchestrator agents)、输入输出质量控制以及人工验证结果。所有这些监控系统还帮助公司避免了其他潜在的风险——不想要的剩余智能体,比如AI智能体对大语言模型(LLM)推理调用导致的成本超支,这些调用对公司无益,却仍会带来账单。
“我们不希望成本爆炸式增长,”他说。但金融服务、医疗保健和其他高度监管的行业是个例。
对于大多数公司来说,即使有治理体系,他们也常常存在很大的盲点。例如,他们可能只专注于大型、以IT驱动的自主AI智能体项目,而忽略了其他所有项目。他们也可能关注AI智能体的准确性、安全性、保障和合规性,而当智能体变得过时时,他们就会忽略这些。或者他们可能没有处理不再需要的智能体的退役流程。
管理咨询公司SSA & Company应用解决方案负责人Nick Kramer说:“这些东西发展得太快,管理层往往被忽视。”“建造新东西比回去修旧东西有趣多了。”而且在智能体生命周期管理方面,严谨性极为不足。
“正如我们过去经历过的,不可避免地会出现大量技术债务,”他补充道,“而智能体技术债务(agentic tech debt)是一个令人恐惧的概念。”
一、你知道你的智能体在哪里吗?
首先,自主AI智能体不仅仅是公司数据科学、人工智能和IT团队的领域。几乎所有企业软件厂商都在大力投资智能体技术,Gartner表示,大多数企业应用到今年底将配备AI助手,已有5%的企业拥有任务专属的自主智能体,到2026年这一比例将升至40%。
像Salesforce这样的大型SaaS平台当然有智能体。像Zapier这样的DIY自动化平台也有。事实上,已经有四款浏览器——Perplexity的Comet、OpenAI的Atlas、Google的Gemini 3和Microsoft的Edge for Business——内置了智能体功能。还有一些智能体是在公司内部创建,但不在IT部门。根据安永(EY)去年十月发布的近1000名高管领导调查,三分之二的公司允许公民开发者(citizen developers)创建智能体。
无论是内部开发的智能体还是SaaS提供商的智能体,都需要访问数据和系统。你越希望智能体更有用,他们要求的访问权限就越多,也需要拥有更多工具。这些智能体可能会以意想不到和不受欢迎的方式行动——而且已经在这样做了。
与传统软件不同,AI智能体不会只局限于自己的领域(stay in their lanes)。他们不断学习、进化,并不断访问更多系统。他们不想“死”,并且可以采取行动阻止这种情况发生。
甚至在智能体出现之前,影子AI(shadow AI)就已经成为一个问题。根据IBM去年11月的一项调查,基于3000名办公室职员的回答,80%的人在工作中使用人工智能,但只有22%只使用雇主提供的工具。
员工也可以创建自己的智能体。根据Netskope的企业流量分析数据,67%的组织用户正在从Hugging Face——一个流行的AI工具分享网站——下载资源。
AI智能体通常通过向LLM调用API来运作,Netskope在66%的组织中看到对OpenAI调用API,其次是Anthropic,占13%。
这些使用率是公司调查报告的两倍。这就是影子AI智能体的差距。当涉及到公司已知的智能体时,要掌握AI智能体已经足够困难了。
“我们最大的恐惧是那些我们不知道的事情,”SSA的Kramer说。他建议CIO们尽量避免用铁腕手段管理AI智能体的诱惑。
“不要试图用本能的惩罚来压制它,”他说。“这些影子事件之所以会发生,是因为有太多障碍阻碍我们正确完成。无知和官僚主义是导致这些事情发生的最大两大原因。”
而且,和所有影子IT一样,好的解决方案很少。
他说:“通过可观测软件系统性地发现这些东西是个挑战,”他补充说,在其他类型的影子IT中,未经批准的AI智能体对公司来说可能构成重大风险。“我们已经看到智能体成为黑客的新攻击面。”
但并非所有专家都认为企业应优先考虑智能体生命周期管理,优先于其他问题,比如仅仅让智能体正常工作。
“这些技术极其高效,能节省员工时间,”NWN技术咨询公司总裁兼首席执行官Jim Sullivan说。“大多数公司都在努力利用这些效率,看看其影响。这可能是首要任务。你想进入早期部署和早期回报,但现在谈论生命周期管理还处于早期阶段。”
他说,现在最重要的是实现业务成果,并确保智能体继续按预期表现。“如果你在这些方面实施得当,应该没问题,”他补充道。
不过,现在判断他的客户是否正在创建环境中所有AI智能体的集中清单,还是访问其数据还为时过早。他说:“我们的客户正在确定他们希望推动的业务成果。”“他们正在搭建基础设施,以便部署,快速学习,并调整以保持正确的业务成果。”
他补充说,未来可能会有某种“智能体的管理者”(agent manager of agents)。“会有智能体可以部署,负责那份库存、访问权限和建议。”但等到智能体完全成熟后才考虑生命周期管理可能为时已晚。
二、保质期里有什么
AI智能体通常不会预设有效期(shelf life)。SaaS提供商当然不希望让企业用户轻易关闭智能体,而单独创建智能体的用户很少考虑生命周期管理。即使是部署AI智能体的IT团队,通常也不会考虑AI智能体的整个生命周期。
博思艾伦汉密尔顿(Booz Allen Hamilton)商业业务的人工智能安全负责人Matt Keating表示:“在许多情况下,人们把人工智能当作一个‘设置好然后不管’(set it and forget it)的解决方案,”他补充说,虽然搭建智能体是一项技术挑战,但持续的风险管理是跨学科的。“它要求跨部门协作,涵盖合规、网络安全、法律和业务领导力。”
而智能体管理不应仅仅关注绩效变化或业务需求的变化。“同样甚至更重要的是,知道何时需要更换某个智能体或人工智能系统,”他说。正确操作将有助于保护公司的业务和声誉,并带来可持续的价值。
“僵尸智能体”的另一个来源是那些从未正式关闭的失败试点项目。“有些试点即使失败也不会死。他们之所以能继续,是因为人们不断努力让它们运作,”SSA的Kramer说。
需要有机来终止那些不成功的试点项目,即使预算里还有剩余资金。
“快速失败(Failing fast)是人们至今未学会的教训,”他说。“一定有阶段性关卡(stage gates)可以让你停下来。干掉那些没工作能力的试点,在开始之前要更清楚地理解你的目标。”
另一个挑战是,AI智能体面临“通过灾难来管理”(manage by disaster)的诱惑。智能体只有在出现明显问题时才会退役,尤其是问题公开时。这可能让其他智能体难以被察觉。
“人工智能项目不会突然失败,但它们确实会悄然衰败,”Decidr执行董事David Brudenell说,Decidr是一家自主AI智能体厂商。
他建议企业提前规划,决定应根据何种标准重新培训或让智能体退役,例如,当绩效低于公司对错误的容忍度时。
“每个AI项目都有半衰期,”他说。“聪明的团队每季度进行定期审查,就像其他资产审计一样。”他补充说,真正应该决定何时停产(pull the plug)的是业务部门。“数据和工程团队支持,但业务决定何时性能下降,”他说。
最大的错误是把AI当作一次性安装。Brudenell说:“许多公司已经部署了一种模型,然后继续前进,认为它能自我维持。”“但AI系统会像旧代码一样积累组织债务。”
Experian从库存和生命周期管理的角度审视智能体,确保他们不会失控扩散。
“我们很担心,”Rodrigues说。“我们从API和微服务中学到了这一点,现在我们有了更好的治理。我们不想只制造大量智能体。”
Experian创建了一个AI智能体市场(AI agent marketplace),让公司能够直观地了解智能体的使用情况。“它给了我们所有需要的信息,包括我们不再使用的智能体的日落能力,”他说。
AI智能体的生命周期管理是公司应用生命周期管理流程的延伸。
“智能体是一种应用,”Rodrigues说。“Experian的每一个应用都有一个所有者,我们会把这作为技术的一部分进行跟踪。所有变得过时的东西,我们都会淘汰。我们有定期审查,这是我们为生命周期制定的政策的一部分。”