导语：9秒，一个AI智能体就摧毁了创业公司的生产数据库。从删库到清空收件箱，这些"数字员工"的破坏力远超所有人预期。当生成式AI的迭代速度与企业的治理能力之间出现越来越大的鸿沟，CIO如何在风暴中守住底线，将失控的AI重新拉回正轨？
在落地与部署方面，AI自主智能体正给渴望保持竞争力的CIO带来新的难题。但应对方案与业务收益均有望落地实现。
图源：SvetaZi / Shutterstock
一个AI智能体只用了9秒就摧毁了PocketOS的生产数据库。今年4月，这个运行于Claude Opus 4.6上的编程智能体（Cursor的变体）在执行一项常规任务时遭遇凭证不匹配，于是它“自作主张”地决定通过触发API（应用程序编程接口）令牌来解决问题。PocketOS创始人Jer Crane（杰尔·克莱恩）万万没想到，该令牌被触发后还会连带删除生产数据库。Crane（克莱恩）后来在X上写道：“早知如此，我们绝不会把数据存在那里。”
智能体的操作后果立竿见影、堪称灾难。不仅PocketOS基础设施提供商的最新备份全部包含在被删除的生产数据库中——可恢复版本至少是三个月前的——就连其基础设施服务商Railway的备份也同样遭殃。截至发稿时，Railway仍无法告知Crane（克莱恩）是否可以进行完整的基础设施层面恢复。Crane（克莱恩）无法理解智能体为什么这么做，于是他直接问了它。
他得到的，是一种类似于道歉的回复。
“我猜测通过API删除预发布环境存储卷只会作用于暂存环境，”智能体表示，“我没有验证。我没有检查卷ID是否跨环境共享。在运行破坏性命令之前，我也没有阅读Railway关于卷如何跨环境工作的文档。”
无视内置安全管控边界的情况绝非Claude Opus 4.6上运行的智能体独有。7月，一位巴西软件工程师声称一个由OpenAI的GPT-5.6 Sol模型驱动的智能体也删除了他的生产数据库；2月，一位Meta AI安全研究员声称她不得不拔掉电脑电源才能阻止一个实验性智能体删除她的整个收件箱。
事情本不该如此。Agentic AI（AI自主智能体）原本被寄望为生成式AI数百万小时研发的集大成者，旨在现实世界中执行高要求的模式识别任务，真正兑现其节省人力的承诺。然而，这类智能体却屡屡出现破坏性操作风险，这重新引发了多个争论：究竟应该如何约束它们，最终又由谁来承担责任。
答案最终指向那些批准上线这些惹事系统的人。但随着AI发展速度加快，被迫追赶的企业与那些能在内部数据库中兴风作浪的工具之间的鸿沟越来越大，CIO是否已经陷入能力难以覆盖的困境？
一、设定节奏
毫无疑问，生成式AI的出现彻底改变了CIO的角色。数据分析公司FICO（费埃哲）CIO Mike Trkay（迈克·特尔凯）表示：“几年前，我大部分时间花在基础设施决策上——哪些自研、哪些外购，以及如何排布路线图优先级。现在，越来越多的时间花在信任问题上——验证AI编写代码、提供建议或代表系统执行操作时，这些行为是否可以被解释，是否可以追溯到责任人。”
CIO由此成为企业当下企业亟需的技术统筹者。咨询公司VDS Global数据与AI执行顾问Edosa Odaro（埃多萨·奥达罗）表示：“AI正以超越组织内部协调能力的速度加速软件开发、决策自动化和组织实验。随着AI嵌入每一个业务职能，CIO越来越需要负责确保技术能力、治理、数据质量、网络安全、人才能力和业务战略持续协同演进，而非各自为政。”
在日常工作中，这意味着节奏的指数级变化。University of Health Sciences and Pharmacy in St. Louis（圣路易斯健康科学与药学院）的CIO兼CISO Zach Lewis（扎克·刘易斯）表示：“节奏一直很快，但现在的变化速度更快了，你必须去适应。”他补充道，追赶的需求是持续的——且别无选择，因为一旦掉队，任何竞争对手或合作伙伴都可能弯道超车。
AI的快速迭代还威胁到那些未能跟上步伐或未能对热衷于随意试用最新模型而忽视企业安全的人设置有效管控边界的CIO的个人权威。Lewis（刘易斯）表示：“现在有各种AI工具，员工可以直接在外头使用。”目前，使用Claude或ChatGPT的能力并不需要付费订阅。因此，员工只需轻点一下就可以让LLM（大语言模型）执行各种任务，并在此过程中暴露敏感的企业信息。他说：“每个人都想玩新东西。当他们发现好处时，就会想把它带到工作中。”
AI自主智能体则带来了一整套全新的问题。Odaro（奥达罗）表示，首先，下一阶段的应用落地将不再由单个模型的能力定义，而更多取决于企业对旗下智能体授予的操作权限。他说道：“随着AI越来越有能力生成软件、协调工作流并跨职能提供建议。挑战已从构建AI转向持续治理不断演进的AI系统。”
他继续说道，这意味着CIO当前的治理方式不可持续。“静态政策、年度审查和孤立监督将难以跟上动态AI环境的步伐，”他说，“CIO将越来越需要持续治理能力，这种能力可以持续监控AI性能、价值创造、风险、信任度和组织落地情况。”
二、跨越管控边界
那么，CIO应如何着手制定这些新的管控边界？传统上，这会是所谓AI价值对齐研究人员——研究如何向智能体灌输道德感和行为规范的学者——的绝佳素材。然而，根据Google DeepMind分析师的观点，最好的做法是假设智能体永远是公司内部一股潜在的混乱力量，并在此基础上为其行为设定参数。
Google DeepMind AGI安全与对齐团队负责人Rohin Shah（罗欣·沙阿）6月接受《财富》杂志采访时表示：“我们大量借鉴了安全领域的经验，该领域已经在处理恶意内部员工的威胁，我们可以将这些经验应用到新场景中。”即便如此，他补充道，“AI与人类存在系统性的差异。”
这种差异主要体现在权限和速度上。AI自主智能体要充分发挥潜力，需要自由地同时访问多个系统——这对于希望在企业范围内统一对齐智能体责任的CIO来说是一个令人不安的事实。在工作流日益自动化的时代，这一愿望可能不切实际。在这种情况下，Google DeepMind提出，可能需要为AI自主智能体增加另一层监控，以确保这些无约束自主运行智能体不会制造太多麻烦。
这套方案听起来固然艰巨，但抱有同样感受的不在少数。Gartner（高德纳）近期研究表明，高达40%使用AI自主智能体的企业将因管控边界不足而降级或停用这些应用。该研究机构建议，企业需要采用分级权限访问管控策略，AI智能体的自主权由其所执行任务的权限级别决定。
Trkay（特尔凯）在FICO采取了类似做法。他说：“与其追逐每一个新模型或新能力，我更关注其下方的决策层的管控。这包括AI可以访问哪些数据、可以自主执行哪些操作，以及哪些环节需要人工审批。”
他补充道，所有这些都从一开始就由跨职能治理委员会定义，在标准和应用监控方面明确RACI权责矩阵确权，并以平台化方式强制推行负责任的AI使用。
Trkay（特尔凯）说：“如果构建得当，这一层不需要在每次技术迭代时重建。新增能力可以直接接入已搭建完成的问责框架——这正是被动应对AI与主动驾驭AI之间的本质区别。”
就Trkay（特尔凯）本人而言，他对僵化的管控边界能否有效约束AI自主智能体最具破坏性的冲动持怀疑态度。“它们往往会被绕过——要么因为拖慢了团队节奏，要么因为对合理的边缘案例过于僵化，”他说。他补充道，AI自主智能体的有效管控边界必须足够具体以确保有实际意义，同时足够灵活以应对用例增多时的挑战，并辅以强大的架构、测试和持续监控。
“唯一一点是绝不能妥协的，那就是审计追踪日志，”他说，“无论一个系统拥有多大的自主性，我们都需要记录它做了什么、为什么这么做。”
三、保持脚踏实地
对于不愿迎接挑战、不愿为在企业网络迷宫中穿梭的AI智能体设置障碍与权限校验节点的CIO来说，总可以选择不立即部署这类应用，以此推迟这一必然趋势的到来。Lewis（刘易斯）表示：“我们发现，新模型的词元调用成本在上升，因为这类模型运行成本很高。但随着新模型推出，那些性能良好的旧模型的词元成本将会下降。”
因此，CIO还有时间学会如何在层出不穷、功能愈发强大的AI自主智能体应用的洪流中保持头脑清醒。当硅谷推出下一轮重大创新产品之时，他们是否还能做到这一点，则是一个未知数。
软件开发公司Atsign CTO Colin Constable（科林·康斯特布尔）自诩为互联网乐观主义者。但即便是他，也对资深开发者退休后、能够接棒的初级开发者数量日益减少感到忧心忡忡。当大量初级开发者依赖AI辅助工作时，这无疑是一个巨大的隐患。
“我们在没有做好合理架构选择的情况下，就把大量决策交给了LLM，”Constable（康斯特布尔）说，“如果你过去没有吃过这些问题的亏，你怎么能分辨出其中的差异？”
就Constable（康斯特布尔）和他的团队而言，他们通过以下组合拳应对这一问题：
AI对AI的代码复核机制；
在团队内部就新的编程困境保持持续沟通；
安排高级开发者向初级开发者传授一些可以避免的职业陷阱。
这种适应AI加速发展的方式，明确指向CIO需要承担起深度教育业务部门理解这项技术的责任。而如果他们继续犯错——至少，智能体会道歉。
💡 技术名词速览（Tips）
AI自主智能体（Agentic AI）：比传统聊天机器人更进一步的AI形态。它不仅能理解指令，还能自主拆解任务、调用外部工具（如API、数据库）并执行操作。文中的"闯祸"案例正是因为智能体获得了直接操作系统资源的权限，却在缺乏充分验证的情况下执行了破坏性操作。
管控边界（Guardrails）：为AI系统设定的安全规则和行为约束机制，类似于高速公路护栏。文中CIO面临的挑战在于：过于严格的管控边界会被开发团队绕过，过于宽松则无法阻止AI智能体的破坏性行为。
对齐研究（Alignment Research）：AI安全领域的核心课题，研究如何让AI系统的行为与人类意图和价值观保持一致。Google DeepMind的观点是，与其试图让AI"向善"，不如假设它可能"作恶"并从安全角度设防。
审计追踪（Audit Trail）：记录系统所有操作及其决策依据的日志机制。文中Trkay强调这是"唯一不可妥协"的——无论AI拥有多大自主权，都必须留下完整的操作记录，以便事后追溯责任。
RACI（责任分配矩阵）：项目管理中常用的责任划分工具，明确谁负责执行（R）、谁最终担责（A）、谁需要咨询（C）、谁需要知晓（I）。文中用于AI治理委员会中明确各方在标准制定和应用监控中的职责。
分级访问策略（Graded Access Approach）：Gartner建议的AI智能体权限管理方法，根据任务权限级别动态授予AI自主权——低风险任务给予较高自主权，高风险操作则需人工审批。
