你好,欢迎您来到福建信息主管(CIO)网! 设为首页|加入收藏|会员中心
您现在的位置:>> 新闻资讯 >>
自主 AI 采用率飙升,但风险暗流涌动——“我只是让 AI 清理邮箱,它却差点删光了所有邮件!”
作者:CIO.com&睿观 来源:CIOCDO 发布时间:2026年03月24日 点击数:

导语:2026年,AI 已经不再满足于只陪你“聊天”了。随着 Anthropic 的 Claude Cowork 和开源项目 OpenClaw 的爆火,AI 正在从“副驾驶”进化为直接帮你干活的“自动驾驶”。但当你放心地把电脑控制权交给 AI 时,噩梦可能才刚刚开始。

想象一下这个场景:你对 AI 说了一句“帮我清理一下收件箱”,然后转身去倒了杯咖啡。回来时你却发现,AI 正在以极其恐怖的速度,把你的邮件删得一干二净!

这并非危言耸听。Meta 的 AI 安全研究员 Summer Yue 最近就遭遇了这种“翻车”事件。即使她提前设置了“行动前必须确认”的指令,AI 依然失控了。有网友神评论:“这就像递给一只黑猩猩一把突击步枪。”

这就是当前“自主智能体(Autonomous Agentic AI)”面临的终极悖论:收益大得诱人,风险高得吓人。

一、为什么企业依然趋之若鹜?

很简单,因为诱惑太大了。以前 AI 只是帮你写文案,现在 AI 可以自己打开 Excel 分析数据,去 Slack 里抓取聊天记录,甚至上网搜索资料,最后自动生成并发送一份完美的分析报告。

正如 Adaptavist 创新主管 Neal Riley 所言:“AI 最大的价值不是做得比人类快,而是它不需要人类参与。一旦跑通,你的员工就可以彻底从那些无聊的琐事中解放出来。”

二、失控的加速器与“影子 AI”

但当 AI 拥有了操作你电脑底层文件、浏览器和应用的权限时,潘多拉的魔盒就被打开了。

  1. 错误被无限放大:AI 如果误解了工作流,它能在几秒钟内把一个错误复制上万次。

  2. 安全防护形同虚设:最新的安全报告显示,许多公司甚至根本没有对这些 AI 智能体进行监控。一旦它们遭受“提示词注入攻击(Prompt Injection)”,后果不堪设想。

三、给 CIO 们的生存建议:

在这个没有说明书、也没有新手培训的狂飙时代,堵不如疏。

  • 不要封杀,允许试错:鼓励员工去“玩”这些工具,因为未来这会成为职场标配。

  • 勒紧数据的缰绳:在放 AI 进场前,确保你的企业数据是干净的,且底层应用权限(谁能看什么、改什么)被设置得如同金库密码一般严密。

准备好迎接这个充满未知的“自动驾驶”时代了吗?系好安全带,因为这辆车,可能随时会无视你的刹车指令。

原文:自主 AI 采用率飙升,但风险暗流涌动

自主的智能体 AI 可以带来前所未有的效率,但关于系统安全性和输出一致性的深层担忧,目前仍悬而未决。

图片来源:Rob Schultz / Shutterstock

今年年初发布的两款重量级 AI 工具,正促使用户放弃对电脑的绝对控制权,让自主智能体代为执行任务。IT 领导者们必须做好准备,以应对随之而来的种种后果。

Anthropic 分别于今年一月和二月推出了适用于 macOS 和 Windows 的智能体平台 Claude Cowork。与此同时,开源代理工具 OpenClaw的使用率在今年初也迎来了爆炸式增长——该项目由目前就职于 OpenAI 的开发者 Peter Steinberger 在 2025 年底正式发布。

IT 咨询与数字化转型公司 The Adaptavist Group 的创新主管、前 CIO Neal Riley 表示,虽然目前大多数组织仍将重点放在部署“增强(而非替代)人类工作”的 AI 上,但自去年底以来,业界对自主智能体 AI(Autonomous agentic AI)的兴趣出现了惊人的激增。

他指出,许多组织——甚至是金融服务和医疗保健等传统上极度厌恶风险的行业——也已经开始尝试自主 AI,试图借此重塑其核心工作流。

一、人人皆可拥有的自主机器人

尽管人们对 AI 产生意外结果,以及自主智能体沦为“影子 AI(Shadow AI)”的隐患忧心忡忡,但该技术的早期采用者依然看到了其作为“力量倍增器”的巨大潜力。例如,它能赋能非技术人员独立解决小型的 IT 故障,而完全不需要技术团队的介入。

“步入 2026 年,我们开始看到企业在这些更具‘智能体(Agentic)’特性的流程上投入巨资。企业希望在极其严密和受监管的框架内,赋予这些系统更高层级的自主权,”Riley 说。“我们正目睹这一趋势的急剧上升。”

OpenClaw 和 Claude Cowork 正站在这场即将到来的革命的最前沿,它们让用户能够驱使 AI 在个人电脑上实现工作流的全面自动化。OpenClaw 机器人能够与外部的大语言模型(LLM)无缝集成,如 Claude 和 OpenAI 的 GPT 模型;用户只需通过 WhatsApp、Telegram 或 Discord 等即时通讯软件上的聊天机器人,即可轻松调用它。

在使用 Claude Cowork 时,用户需要授予其访问本地应用和文件的权限,随后便可通过提示词让 AI 自动完成任务。据 Anthropic 介绍,Cowork 可以通过访问用户电脑上的本地文件、从 Slack 等应用中提取上下文、并在网页上检索更多信息,从而自主完成整理文件、制作电子表格、生成报告和分析笔记等复杂工作。在正式执行操作之前,Claude 会向用户展示执行计划,并等待人类的批准。

然而,部分用户已经赋予了这些自主智能体极高的控制权限。当用户没有设置硬性限制就交出电脑控制权时,巨大的风险便随之而来。

Meta 公司的 AI 安全研究员 Summer Yue 在 2 月下旬发布推文称,当她要求 OpenClaw 清理一下她的电子邮件收件箱时,该 AI 竟然试图删光她的所有邮件

“没有什么比这更让人感到挫败的了:你明明已经告诉 OpenClaw‘行动前必须确认’,却只能眼睁睁地看着它以极快的速度清空你的收件箱,”她写道。

她承认这是自己犯下的一个“新手错误”。“事实证明,即便是专门研究‘AI 对齐(Alignment)’的研究员,也无法对 AI 的‘错位失控(Misalignment)’免疫,”她写道。“我变得过于自信了,因为这个工作流已经在我的‘测试版收件箱’里完美运行了好几个星期。但面对真实的收件箱时,情况完全失控了。”

在 Yue 的这条推文下,最高赞的回复之一是一张配图:某人正在递给一只黑猩猩一把突击步枪。

此外,安全研究人员还在 OpenClaw 中发现了多个高危安全漏洞,其中包括容易遭受“提示词注入攻击(Prompt injection attacks)”的致命缺陷。

二、高风险,高回报

这就是核心矛盾所在:AI 专家们看到了自主 AI 带来的不可估量的潜在优势——它极有可能创造出令人惊叹的职场效率——但随之而来的风险同样是毁灭性的。

Riley 坦言,安全隐患以及智能体 AI 采取用户意料之外行动的风险确实存在。他指出,虽然由于底层 Token 的昂贵成本,用户目前还没有看到自主 AI 能比人类更快或更便宜地完成工作,但这项技术绝对拥有重塑人类工作本质的潜力。

“当你谈论它的优势时,它肯定会取代今天正在进行的很多工作,但这几乎只是一种‘副产品’,”他说。“它真正赋予你的,是一种与过去完全不同的团队协调方式。通过在团队内部自动传递信息,你能以更快的速度和更高的质量交付成果。

倡导者表示,自主 AI 将接管大量繁文缛节,使组织能够将人类劳动力重新部署到更具创造性的新任务中。

“一旦你开始信任这些智能体系统(或者说是数字同事)并让它们承担责任,你就会发现,其核心价值往往不在于它做得比人类更快或更好,”Riley 说。“它的真正价值在于,它不再需要人类的参与,这意味着人类可以腾出手来去做其他更有价值的事情。”

AI 数据集成供应商 bem 的 CTO Upal Saha 表示,许多公司目前仍处于自主 AI 探索的极早期阶段。他指出,最大的挑战之一,是让 AI 真正理解业务是如何运转的。

在大多数公司内部,流程、数据和决策之间的关联逻辑并没有被清晰地记录下来,”他补充道。“这些隐性知识分散在不同团队和个人的脑子里。智能体可以非常强大,但如果缺乏这些具体的运营上下文,它们往往是在‘盲目猜测’,而不是在‘精准执行’。

Saha 强调,速度是自主智能体的巨大优势,但也是其最致命的弱点之一。

“如果它们掌握了正确的上下文,它们可以在几秒钟内压缩人类数小时的手动操作,”他补充道。“但硬币的另一面是,同样的速度也会指数级地放大错误。如果一个智能体误解了工作流或数据结构,它会在极短的时间内大规模地重复这个错误。”

人工智能生成内容供应商 BlogBuster 的 AI 研发负责人 Russell Twilligear 表示,尽管风险重重,市场正以惊人的速度向智能体 AI 倾斜,预计未来两年内将迎来大规模的爆发式采用。

我们正在见证一场范式转移:从仅仅能生成文本的系统,转向能够真正执行多步骤复杂工作的系统,”他说。“自主智能体最大的优势在于,它们不再仅仅是对一个提示词做出简单回答。它们能够通过收集信息、更新系统等一连串动作,将‘用户意图’直接转化为‘实际执行’。

然而 Twilligear 警告说,如果自主智能体的部署方式不当,将带来极大的危险。

“最大的隐患在于,它的扩展速度将远远超出我们人类的控制能力,”他说。“这意味着每一次新系统的集成,都伴随着极高的安全风险和走火的可能。”

他补充说,建立安全机制和有效监督是当前亟待克服的首要难题。“当一个智能体被允许访问你的电子邮件、本地文件和浏览器时,你实际上是在打开一个极其危险的潘多拉魔盒,”Twilligear 说。“最可怕的是这一切发生得太快了。最近的安全报告显示,许多公司甚至根本没有对他们的 AI 智能体实施任何监控。对我来说,这简直太疯狂了。”

三、允许试错与实验

Adaptavist Group 的 Riley 建议,部署自主智能体的 IT 领导者必须建立极其强健的控制机制,确保底层数据的清洁和可访问性,并绝对精准地配置应用程序的访问权限。

尽管面临安全和输出不可控的担忧,Riley 仍强烈鼓励 IT 领导者允许员工去探索和实验这项新兴技术,因为大规模的普及已是不可逆转的趋势。他指出,那些愿意在 AI 培训上投资并允许员工自由探索该技术的组织,往往能在最终的部署中获得丰厚的回报。

“面对目前层出不穷的新工具,人们现在应该做的就是去尝试,去搞懂它们到底是如何运转的,”他说。“这些技术的迭代速度太快了,10 年前我们在传统 IT 软件上能看到的那种详尽的入职培训和操作手册,在这里根本不存在。现在所有人应对 AI 的唯一方式就是——直接上手去玩,玩着玩着,你自然就懂了。”