导语:员工自建AI(人工智能)智能体的浪潮正在企业内部悄然蔓延——16%的知识工作者已经开始动手,7%的产物曾经失控。当治理滞后于创新,影子智能体将成为下一个不可忽视的安全黑洞。
业务用户能为AI应用场景带来全新视角,但7%的受访者表示他们创建的智能体曾经失控。以下是你需要了解的这一新兴趋势及如何提前防范风险。

图源:Rob Schultz / Shutterstock
急于将AI自主智能体融入工作流程的员工正在自行动手,自行创建AI智能体,全然不顾组织是否批准,其中相当一部分产物如果IT领导者未能提前掌控,可能造成严重后果。
根据工程人才招聘公司Howdy.com近期发布的调查,使用AI的知识工作者中有三分之二同时使用智能体,16%已经开始自行搭建。
然而,约四分之一的智能体用户最终不得不停用这些智能体,主要原因是智能体的输出结果不稳定或根本无法运行。更有7%的知识工作者不得不关停失控的智能体。
这些发现凸显了影子智能体搭建乃至鼓励业务用户自行搭建智能体的官方“全民AI”战略可能带来的潜在影响。
虽然调查没有询问自行构建智能体的员工是否在未经授权的情况下操作,但Howdy.com创始人Frank Licea(弗兰克·利塞亚)认为,很多员工根本不会等待公司批准。
他表示:“在我们的内部团队中,我们不得不——不是踩刹车,而是要求大家先暂缓。在他们开始一头扎进去构建自己的智能体之前,我们必须先设置护栏和系统指南,确保这件事能安全推进。”
根据Licea(利塞亚)的观察,员工之所以热衷于自行构建智能体,是因为他们渴望将枯燥的手工任务自动化。他说道:“这类行为大多一开始都是未获批准的,因为任何组织里都有愿意拥抱技术、天生好奇的人。甚至可能是‘智慧偷懒’,他们想要自动化自己的工作。”
Licea(利塞亚)说,近几个月来,Howdy.com的员工开始互相分享自己如何将手工任务自动化的经验,完全没有等待公司IT团队审批使用场景。
他说:“在我们公司,情况是这样的:同事们会兴冲冲地跑来,满脸兴奋地告诉我们他们自动化了某个流程,或者修复了一个工程团队从未排上号的老大难问题。一旦这种情况开始出现,技术方面的人就会介入,开始追问一些问题,比如‘这里用到了哪些API(应用程序编程接口)密钥?你在访问加密数据吗?SOC2(服务组织控制2审计标准)合规方面有什么影响?’”
一、审慎接纳
软件工程提供商Sngular的产品工程VP(副总裁)Luis Mesas(路易斯·梅萨斯)认为,员工尝试构建AI智能体来自动化工作是不可阻挡的趋势。
他表示:“无论公司是否正式批准,员工都会创建自己的智能体,因为构建这些工具的门槛正在不断降低,而工程团队已经面临‘用更少资源做更多事’的要求。我更担心的不是员工创建了智能体,而是当这个智能体在缺少普通软件理应具备的全套管控措施的情况下,开始连接公司系统和数据时,会发生什么。”
他表示,IT领导者需要了解员工自行创建的智能体是如何连接内部系统和数据的。如果某个员工创建的智能体能够从CRM(客户关系管理)系统中调取客户信息、更新记录或在系统之间迁移数据,IT领导者应当对此知情。
Mesas(梅萨斯)说:“我需要明确知道这个智能体能访问什么,以及这名员工本身首先是否有权限访问这么多内容。这就是为什么一件原本只是提升个人生产力的工具,会变成企业级技术问题。”
B2B(企业对企业)商务平台提供商AppDirect的CTO(首席技术官)Andy Sen(安迪·森)认为,应当鼓励员工构建智能体——但必须在风控防线和既定政策范围内进行。
他说:“员工几乎可以肯定在自行搭建智能体,不这么想才是天真。影子IT一直存在,而影子智能体只是其最新变种。”
不过他表示,解决办法不是全面封禁。在AppDirect,Sen(森)为员工提供了“正规的数字试验场”,并为响应员工诉求,他的团队构建了一个名为Devs.AI的AI驱动编程服务。
他补充道:“我们构建了Devs.AI,以便我们的员工能够自由开发与创新,同时IT部门可以全面掌握使用情况与成本,并确保公司数据不会泄露到外部。”
像AppDirect这样的全民AI策略正在兴起,但需要持续监控。例如,如果四分之一的员工创建的智能体被停用,IT领导者就应当引起重视,Sen(森)表示。
“失败并从中学习没问题,”他补充道,“但悄无声息地失败不可接受。在小问题演变成严重问题之前,你需要掌握你的智能体的运行情况。”
不过,Sen(森)对有关小比例员工自行创建的智能体失控的报告表示质疑。
“当智能体失控时,通常意味着智能体完全按照给出的指令执行了,只是指令本身不正确,”他说,“这是创建者的问题,不是智能体的问题。”
二、为好创意铺路
敏捷方法论供应商Scaled Agile首席方法学家Andrew Sales(安德鲁·萨莱斯)同样认为,智能体被大规模停用是IT领导者需要深入调查的强烈信号。
“当智能体在正式流程外快速搭建完成时,通常在智能体可执行的操作范围、可访问的数据范围,以及何时需要人工介入这些方面没有清晰的边界,”他说,“因此部分智能体不得不被关停并不奇怪,很多智能体缺少清晰边界,不清楚可执行操作、可访问数据,以及何时需要人类介入。”
AI治理固然重要,但Sales(萨莱斯)指出,它不应仅仅聚焦于防范不良后果。
“治理还应该为好创意开辟通路,让它们从个人实验发展为企业能力,”他解释道,“组织需要一套方法来识别有效的方案,将其标准化,保障安全,然后在各团队间负责任地规模化推广。如果做得好,这套既能甄别出问题智能体的框架,也能帮助正确的智能体推广开来。”
💡 技术名词速览(Tips)
AI智能体(AI Agent)
:能够自主感知环境、做出决策并采取行动的AI程序,可在较少人工干预的情况下执行复杂任务。与传统的确定性自动化不同,智能体具有一定程度的自主决策能力。
影子智能体(Shadow Agent)
:指员工在未经IT部门审批和管控的情况下擅自创建和部署的AI智能体,类似于传统的"影子IT"概念。由于缺乏统一的安全管控,可能成为企业数据泄露和合规风险的隐患。
失控智能体(Rogue Agent)
:指行为偏离预期、产生不可控后果的AI智能体。通常并非智能体"自主作恶",而是创建者的指令本身存在缺陷,导致智能体忠实执行了错误的指令。
全民AI策略(Citizen AI Strategy)
:鼓励非IT专业背景的业务人员利用AI工具自行构建应用和智能体的企业策略。与全民开发者概念一脉相承,需在风控框架和系统指南内进行,以确保创新与安全兼顾。
SOC2
:即"服务组织控制2审计标准",由美国注册会计师协会(AICPA)制定的安全与合规审计框架,用于评估服务组织在安全、可用性、处理完整性、保密性和隐私性五个维度的管控措施是否达标。
API密钥(API Key)
:用于身份验证的代码标识符,允许AI智能体调用外部系统或服务的接口。当员工自行构建的智能体使用API密钥连接企业系统时,可能绕过IT部门的安全管控,是企业治理的重点关注对象。