导语:
试想这样一个场景:在一个无人的假期周末,你公司的一项关键 AI 业务流突然“脱缰”——它可能批量做出了错误的定价决策,也可能刚刚泄露了一批敏感的客户数据。

当警报拉响的那一刻,平时挂在嘴边的“敏捷组织”和“跨部门协同”都不再重要,所有人脑海里只会浮现出一个极其尖锐的问题:这事儿,到底该谁负责?
随着 AI 从实验室的“玩具”全面进入企业生产环境,问责制已经不再是一个单纯的技术Bug,而是一场直逼高管层的生存考验。
很多企业在引入 AI 时,心里都打着如意算盘:“这系统是供应商开发的,出了事自然找他们。”或者认为“这是算法黑盒的错,非人力所能控”。
但在法律面前,这种辩护极其苍白。正如 AI 和知识产权律师 Jessica Eaves Mathews 所言:“当系统出现故障时,出现在法庭上的绝不会是算法,而是开发、部署或使用它的人类。”法律的底层逻辑从未改变:谁最有能力防止损害,谁就承担责任。作为将 AI 整合到现实商业决策中的企业(部署方),你无法将法律责任“外包”给供应商或算法。在不远的将来,必将有几家企业因为处理不当而沦为全行业的“反面典型”。
如果说对外的法律责任由企业主体承担,那么对内的运营问责,往往会无情地砸向 CIO(首席信息官)。
现在的业务团队太喜欢绕过 IT 部门去“尝鲜”了。他们用几分钟就能跑通一个 AI 概念验证,早期结果往往令人惊艳。但随着这些“影子 AI”在企业内野蛮生长,控制措施却远远滞后。
前 GE 全球 CIO Chris Drumgoole 一针见血地指出:“当问题爆发的那一刻,所有人都会第一时间看向 CIO,指望他们来解决问题,并解释到底发生了什么。”这造成了一种极其扭曲的“权责失衡”:CIO 并没有正式被赋予拥有所有 AI 的权力,却要为那些自己无法完全控制、甚至没有直接授权的系统和决策承担最终的风险。运营的现实,硬生生地将 CIO 逼成了企业的最后一道防线。
面对 AI 的复杂性,许多企业构建了看似完美的“分散式治理模型”:法律团队看合规,风控团队定框架,IT 保障运行,业务团队看产出。
但在真正的危机面前,“责任分散”往往是“无人负责”的代名词。
当算法偏见、数据泄露、商业秘密侵权等风险交织在一起时,职能部门的边界就会变得模糊。支付反欺诈平台的首席人工智能官 Simon Elcham 提醒道:“AI 并没有取代责任,它只是增加了可能出错的环节数量。” 治理可以在设计上是分布式的,但最终的问责绝不可能被无限稀释,它必然会压缩到一个单一的责任节点上。
为了消除这种模糊性,一些企业开始设立 CAIO(首席人工智能官),试图在不扼杀创新的前提下集中监督权。
但这并不是为了消灭冲突,而是将“刹车”和“油门”的张力制度化——业务部门负责踩油门,合规和风控负责踩刹车。然而,即使有了 CAIO,当创新与安全发生不可调和的分歧时,最终的决定权往往还是会升级到 CEO 或 CFO 桌面。权力可以下放,但最终责任永远无法委派。
今天企业最大的危机在于:“以生产的速度部署 AI,却以委员会的速度进行治理。”
随着 AI 的全面铺开,它或许去中心化了企业的决策方式,模糊了决策的生成路径,但它绝对无法消除责任。相反,试错成本的急剧增加,正在以前所未有的强度倒逼企业强化问责制。
各位高管,是时候厘清你们的 AI 责任清单了。别等到法庭的传票送到桌面上,才开始思考“谁该负责”这个问题。
全文:AI在分散决策行为,但并未分散问责
随着AI(人工智能)投入生产环境,责任由多团队共同承担。然而,当系统出现故障时,法院会将问责主体限定得更具体。

图源:Gorodenkoff / Shutterstock
在一个假期周末,当公司的大多数人都不在线时,一个关键系统出现故障。一个由AI驱动的工作流程停滞不前,或者更糟糕的是,批量产生错误决策,导致产品定价错误或敏感数据泄露。在那一刻,组织理论不再重要,谁该负责的问题立即被提了出来。
随着AI从实验阶段进入实际应用阶段,问责制不再是技术问题,而是高管层问责问题。虽然治理框架表明责任由法律、风险、IT和业务团队共同承担,但当出现问题时,法院最终可能会发现责任的分配远没有那么平均。
毕竟,AI可能扩散决策行为,但不会分散法律赔偿责任。
一、出现在法庭上的不是AI,而是人
AI和知识产权律师、Leverage Legal Group的创始人Jessica Eaves Mathews(杰西卡·伊夫斯·马修斯)明白,当一个AI系统影响到一个重大决策时,出现在法庭上的不会是算法。她说:“会是开发、部署或使用它的人类。”然而,目前更深层次的不确定性在于,几乎没有判例法来指导这些决策。
Mathews(马修斯)将这一时刻比作互联网的早期阶段,当时法院仍在研究现有的法律框架如何适用于新技术。她表示:“我们仍处于很多情况都只是推测的阶段。”监管机构已经表明,责任不能外包给算法。但责任将如何在供应商、部署者和高管之间分配仍然没有定论——这种不确定性不太可能持续太久。
她说:“将会有一些公司成为反面典型,展示不该如何处理这种情况。现在正在司法系统中审理的案件将决定事情的发展走向。”
在大多数情况下,责任将首先且主要归于部署该系统的组织,即选择实施该系统的企业。她补充说:“声称我们是从供应商那里购买的,这不太可能成为一种抗辩理由。”
即使技术是新的,其背后的法律原则却是人们所熟悉的:责任由最有能力防止损害的一方承担。在AI的背景下,这往往是将系统整合到现实世界决策中的组织,所以改变的不是谁负责,而是证明已经采取了适当的保障措施变得多么困难。
二、CIO(首席信息官)作为系统的最终风控防线
如果法律赔偿责任指向企业,那么运营问责往往集中在CIO身上。虽然在大多数组织中,CIO并不正式拥有AI,但他们确实拥有AI运行所依赖的系统、基础设施和数据管道。
DXC Technology全球基础设施服务总裁、前GE(通用电气)全球CIO和CTO(首席技术官)Chris Drumgoole(克里斯·德拉姆古勒)表示:“无论他们愿不愿意,CIO现在都处于AI治理和风险监督的业务范畴内。”
这种模式越来越为人所熟悉,也越来越可预测。业务团队经常在正式流程之外试验AI工具,早期结果很有前景。采用速度加快,但控制措施却滞后。然后就会出现问题。Drumgoole(德拉姆古勒)说:“在那一刻,每个人首先会指望CIO来解决问题,然后指望他们解释问题是如何发生的。”
影子AI的兴起加剧了这种动态。与早期的影子IT形式不同,这里的风险不仅限于成本或效率低下。它们还包括数据泄露、监管风险和声誉损害等问题。
Drumgoole(德拉姆古勒)说:“现在每个人都自认为是专家。这些工具很容易获取,概念验证的速度以分钟来衡量。”对于CIO来说,这造成了一种结构性权责失衡。他们要对自己没有完全控制权的系统负责,而且越来越多地要对自己没有直接授权的决策负责。
实际上,这使得CIO成为企业的最后一道防线,这不是因为治理模式赋予了这个角色,而是因为运营现实如此。
三、分布式问责的错觉
然而,大多数组织并没有围绕单一的、负有责任的高管来构建治理结构。相反,他们正在构建分散式模型,以反映AI的跨职能性质。
OneTrust隐私与数据治理高级副总裁兼总经理Ojas Rege(奥贾斯·雷格)认为这种分散是不可避免的,但也可能具有误导性。他说:“AI治理涵盖法律、合规、风险、IT和业务领域。没有单一职能部门能够端到端地管理它。”
但这并不意味着问责制以同样的方式被分担。在Rege(雷格)看来,对结果的责任仍然牢牢地由业务部门承担。他说:“你仍然要让业务所有者对结果负责。如果这些结果依赖于AI系统,他们必须弄清楚如何承担这一责任。”
然而,在实践中,治理是分散的。法律团队解释监管风险,风险与合规部门定义框架,IT部门保障并运行系统。结果是一个责任看似分散,但在接受检验时问责制却并非如此的模型——而且它常常会压缩到一个单一责任节点上。支付反欺诈平台Trustpair的联合创始人兼首席人工智能官Simon Elcham(西蒙·埃尔查姆)说:“AI并没有取代责任。它增加了可能出错的环节数量。”
而且这些环节正在成倍增加。除了安全和隐私等传统问题之外,企业现在还必须管理算法偏差和歧视、知识产权侵权、商业秘密泄露以及模型输出的可解释能力有限等问题。
每个风险类别可能属于不同的职能部门,但当它们相交时(在AI系统中这种情况经常发生),责任归属就变得模糊了。Mathews(马修斯)更尖锐地指出,问责最终在于那些本可以防止损害发生的人。AI系统的难点在于,多个参与者可能看似合理地声称或否认扮演了那个角色。所以结果是一个设计上分散,但在执行中并不总是连贯一致的治理模型。
四、CAIO(首席人工智能官)的出现及其局限性
为了解决这种模糊性,一些组织开始通过新的领导角色来正式确定AI问责制。CAIO就是一种在不限制创新的情况下集中监督的尝试。
在面向财产与意外险保险行业的对话平台Hi Marley,CTO Jonathan Tushman(乔纳森·图什曼)最近扩大了他的职责范围,将CAIO的职责纳入其中,正式确立了他所描述的对AI基础设施和治理的高管问责制。在他看来,有效的AI治理取决于结构化的分离。他说:“AI运营部门负责在内部如何构建和运行人工智能,但产品中的AI属于CTO和产品领导层,合规和法律部门则充当独立的制衡力量。”
这样做的目的不是消除紧张关系,而是将其制度化。Tushman(图什曼)说:“你需要有人推动AI向前发展,也需要有人加以约束。价值就在于这种紧张关系之中。”
这反映了企业治理中一种更广泛的转变,即从集中控制转向管理相互竞争的优先事项(速度与安全、创新与合规)之间的摩擦。然而,即使是这种模式也有其局限性。
当分歧不可避免地出现时,必须有人决定是继续推进、暂停还是改变方向。Tushman(图什曼)说:“在大多数组织中,这个决定往往会升级到CEO(首席执行官)或CFO(首席财务官)那里。”
换句话说,CAIO可能会协调问责制。但最终责任仍然落在高层,且无法被委派出去。
五、部署与治理之间日益扩大的差距
如果AI问责制的组织模式仍在演变,那么部署与治理之间的差距已经在日益扩大。Mathews(马修斯)说:“公司以生产速度部署AI,但治理节奏滞后于委员会决策效率。这就是风险所在。”
结果,后果开始显现。许多组织甚至缺乏对整个企业中正在使用的AI系统的基本清单。影子AI进一步使可见性变得复杂,因为员工会独立采用工具,而且往往不了解其中的影响。
风险既是直接的,也是系统性的。员工可能会将敏感的公司数据输入到公共AI平台,无意中泄露商业秘密。AI生成的内容可能侵犯受版权保护的材料,决策系统可能产生有偏差或歧视性的结果,从而引发监管审查。
与此同时,即使在缺乏明确法律先例的情况下,监管期望也在提高。正如Mathews(马修斯)所描述的,这种快速部署、有限治理和法律不确定性的组合,使得少数备受瞩目的案件很可能会塑造AI问责制的未来。
六、最终问责归属
尽管AI治理存在诸多复杂性,但一种模式正变得愈发清晰。责任或许会被分散,权力或许会被共享,新的角色或许会出现以协调监督事宜,但问责制不会无限期地处于分散状态。
当系统出现故障,或者监管机构进行干预时,责任往往会指向企业领导层,从运营层面来讲,则指向与相关系统最为密切的高管。AI或许会使决策方式去中心化,模糊决策产生的路径,并对传统的控制观念发起挑战,但它无法消除责任。如果说有什么影响的话,那便是它强化了问责要求。
AI问责制是一个人们熟悉的问题,只是通过一个更为复杂的系统折射了出来。不同之处在于,这个系统运行得更快,犯错的成本也在不断增加。