大多数企业都已制定AI(人工智能)政策,但真正能落实关键管控的企业少之又少。
图片来源:Rob Schultz / Shutterstock
AI的普及速度已经超过了AI治理的发展,其负面影响正在冲击企业业务。
根据CSA(Cloud Security Alliance,云安全联盟)的调研数据显示,在过去一年中,65%的机构称至少经历过一起与AI智能体相关的事件。EY(安永)的《Technology Pulse Poll/技术脉搏调查》指出,近一半企业将已确认或疑似的数据泄露与未经授权的生成式AI使用关联起来。
当前治理缺口已不再是政策缺失,而是缺乏有效的管控机制。解决之道也不是出台更多文档,而是聚焦真正核心问题的最小可行AI治理。
“许多企业都开展了AI活动,部分企业制定了AI原则,但拥有可执行AI管控的企业更少,能证明这些管控有效的企业就更是凤毛麟角。”为客户提供AI治理咨询服务的Dickinson Wright的律师Sara Jodka(萨拉·约德卡)表示。
Gartner分析师Lauren Kornutick(劳伦·科尔努蒂克)在客户服务中经常遇到这类问题,她警告称,事后改造治理比从一开始就搭建治理框架难度大得多。
“我观察到部署后治理面临的最大问题是,撤销过往已落地的AI审批决策难度极大。”她表示,“如果一个机构此前对AI使用态度非常宽松,之后发生了安全事件,想要停用早期使用者已经习惯使用的工具或模型,难度会大得多。”
一、已知的未知
无法完成资产可视,就谈不上有效治理。而大多数机构对自身AI资产全景的可见性,都没有他们自认为的那么高。
三分之二以上(68%)的CSA受访者称对自身AI智能体的可见性很有信心,但82%的受访者也表示在过去一年中发现了影子AI智能体。CSA研究副总裁Hillary Baron(希拉里·巴伦)将这称之为伪装成自信的盲点。
Baron(巴伦)表示:“机构对他们已知的智能体拥有清晰可见性,很容易就误以为自己已经掌握了全部情况。企业对已知智能体的完备管控,会使其产生全局无遗漏的误判,忽视隐藏的未知AI资产。”
与此同时,EY的数据显示,78%的技术领导者称AI普及速度已经超过了他们审计或监控系统的能力。52%的领导者称部门级AI项目在没有正式批准或监督的情况下运行。
影子AI已经不再只是员工自行注册ChatGPT的问题了。“它现在还包括浏览器扩展、嵌入型SaaS功能、代码助手、会议转录工具、Copilot智能副驾驶和智能体工作流。”Jodka(约德卡)指出。
在支付与数据企业Deluxe,首席技术与数据官Yogaraj Jayaprakasam(约加拉杰·贾亚普拉卡萨姆)采取了不同策略:在影子AI扎根之前,就全面铺开经批准的合规工具。
他表示:“影子AI泛滥并非技术缺陷,而是企业AI治理存在管控空白。因此我们故意大规模部署合规工具,在不合规路径固化之前,搭建官方合规的AI使用通道。”
二、到底该谁负责AI治理?
即使AI可见,通常也不清楚谁该为治理负责。
Kornutick(科尔努蒂克)的数据显示,大约四分之一的CISO(首席信息安全官)全权负责AI治理,超过一半的CISO是和其他部门共同牵头。她表示:“CISO拥有满足AI治理运行时动态检测和政策执行要求的技术和专业知识。但他们通常缺乏结合具体场景设置防护规则,或是决策AI该用于什么场景、什么目的的专业能力。”
Dickinson Wright的Jodka(约德卡)认为,碎片化权责划分是个问题。仅由法务部门负责可以制定标准,但无法在代码层面落实管控。仅由IT部门负责行不通,因为AI治理覆盖隐私、歧视、知识产权、网络安全和监管风险等多个领域。仅依靠跨部门委员会牵头治理,往往流程冗长、仅做表面合规,无实质管控效力,Jodka(约德卡)表示。她推荐采用AI治理三线权责模型:开发方所有其部署的系统;法律、安全与合规部门制定标准并审查高风险应用场景;内部审计则检验项目是否实际有效。
Benesch Law合伙人Aslam Rawoof(阿斯兰·拉乌夫)也认同,协调挑战确实存在。他表示:“AI覆盖组织的各个层面,不能仅由技术或法律部门单独负责。你确实需要一个由法律、技术、财务部门人员组成的委员会定期开会,若不向董事会汇报,也需向CEO(首席执行官)汇报。”
三、后端盲区
治理往往聚焦前端:审批工具、制定可接受使用政策。但后端——明确何时关停系统——得到的关注少得多。事实上,根据CSA的数据,仅21%的组织拥有针对AI智能体的正式退役流程,伴随时间推移,相关安全风险持续叠加放大。
CSA的Baron(巴伦)警告称:“未退役的智能体并非处于休眠状态,它仍然持有有效凭证和长期访问权限,但现在已经没有人监控它了。这就是它比上线时的漏洞更危险的原因。”
CSA将这种情况称为“AI退役债务”,它会隐性累积。每一个部署后从未下线的智能体都会悄无声息地扩大安全攻击面。
四、智能体改变一切
Agentic AI(AI自主智能体)进一步抬高了风险。当AI还只是聊天窗口时,治理的核心问题是该采购哪款工具。当AI变成能在系统内执行操作的智能体,核心问题就变成了谁要为它的行为负责。
Jayaprakasam(贾亚普拉卡萨姆)表示:“这同时涉及IT、业务部门、法律与风险多个领域,绝大多数企业现有组织权责架构,并未适配自主智能体的跨域责任划分需求。”
大多数治理模型都是为更低的迭代速度设计的。Baron(巴伦)表示:“调查显示,即便存在治理,它也是围绕定期审查和决策点人工审批构建的,而非持续、实时的管控。这种模型是为人类节奏的工作设计的,却被用在了自主运行、以机器速度运转的系统上。”
五、真正有效的做法
完美不是目标,优先级划分才是。Gartner的Kornutick(科尔努蒂克)表示:“CIO不需要在治理的每个方面都做到出色,只需要做好对不可妥协领域的治理,比如高风险用例、转型类用例,或是安全与隐私。”
CSA的Baron(巴伦)对此表示认同:“结合了广泛访问权限与高度自主性的智能体,才是你应当投入最强管控和最多关注的地方。”
除了优先级划分,以下几个特征区分出了真正有效的AI治理:
1.它会改变决策:“这套流程是否曾让我们拒绝为某个项目提供资金,或是关停某个项目?”Jayaprakasam(贾亚普拉卡萨姆)问道,“如果每个进入流程的项目最终都能通过审批,那你拥有的不是治理,只是流于形式的盖章备案流程。”
2.它是操作系统,而非法律备忘录:Jodka(约德卡)表示,治理做得到位的组织会维护实时的AI资产清单,按风险对用例分类,将管控嵌入现有工作流程,并采用技术手段落实管控——而不只是停留在书面政策上。
3.它衡量真正重要的东西:在Deluxe,Jayaprakasam(贾亚普拉卡萨姆)依赖他所谓的“AI量化评估体系”:为每一项AI能力设置一套标准任务和评分规则。他表示:“评估是‘我们相信这可行’和‘我们能证明这可行’之间的区别。它还能让你在做出退役决策时不会演变成政治斗争,因为决策是由数据——而非话语权最大的利益相关方——做出的。”这项工作永远不会完成:Jayaprakasam(贾亚普拉卡萨姆)说:“缺少量化评估指标的AI治理,只会停留在主观讨论,无法形成可落地的管控依据。”
4.它建立在现有体系之上:Kornutick(科尔努蒂克)不建议从零开始搭建治理。她表示:“AI只是一类新型技术,对很多机构来说,它们只需针对AI带来的新特性、以及AI放大的其他各类风险,对现有流程进行优化升级即可。”
Kornutick(科尔努蒂克)补充称,最终目标是方向对齐——“所有人朝着同一个方向划船”,在此模式下,治理应当成为业务赋能工具,而非业务推进的管控卡点。Gartner将这一理念称为“Return on Integrity/合规价值回报”:即对治理进行投资的目的是赋能业务,而非拖慢业务发展。