——BCG与麦肯锡预警:自动化正在越过“效率”边界,触及“伦理”底线。这里有一份人机共治的实操指南。

【导读】
“如果AI系统采取了影响合规或收入的行动,谁该负责?”
在董事会会议上,这个问题曾让全场陷入沉默。
当自动化工具解决问题的速度超过了开会讨论的速度,传统的责任模型已经失效。作为睿信咨询顾问,我们观察到CIO的角色正在发生本质性位移:从基础设施的管理者,转变为“首席自主官”(Chief Autonomous Officer)。
自动化不再只是效率工具,它正在重写企业的权力结构。
洞察一:披着“优化”外衣的自主性
自主性很少大张旗鼓地登场,它通常隐藏在“脚本”、“工作流”和“监控规则”中。
现象:工程师为了可靠性或效率,将微小的改进打包上线。
后果:单看无害,合起来却构成了独立行动的系统。CIO常发现自己夹在“实验”与“规模化”之间,治理机制尚未就位,试点已成长为自我运营的流程。
洞察二:传统的“审批链”正在失效
传统IT模型依赖“发起-审批-执行-审计”的清晰链条。
变化:自主性将这几层压缩为一层。编写逻辑的工程师实际上把“政策”嵌进了代码中。
风险:当系统开始从结果中学习时,其行为将超出人类的可见范围。
风险一:沉默取代拥有权
系统关闭了工单,却没人知道是谁批准的。一切运行正常,但“解释”消失了。
风险二:日志取代记忆
技术日志中只有冷冰冰的“由系统执行”,没有作者、上下文或意图。这在技术上是正确的,但在操作上是空洞的。
风险三:无声的团队抵抗
如果不能回答“我是否会被取代”或“我是否要为AI的结果负责”这两个问题,团队会产生无声的抵抗。
为了在创新与控制之间取得平衡,我们建议CIO采用以下“人机共治”框架:
治理维度 | 关键动作 (Action Item) | 执行细节与标准 | 战略价值 |
可见性管理 | 将工作流“员工化” | 把每个自动化工作流当成“员工”建档:记录它能做什么、在什么条件下做、谁对结果负责。 | 强制厘清边界,迫使工程师思考权限范围。 |
分类治理 | 建立“交互分级” | 第一级-观察:AI提供见解,人行动。 第二级-协作:AI建议,人确认。 第三级-委托:AI执行,人审查。 | 建立信任阶梯,用可度量进展取代直觉。 |
组织架构 | 设立“问责评审委员会” | 由工程、风险、合规成员组成。只批准“问责”,不审批“技术”。确认谁负责、如何回滚。 | 既能快速推进,又不会因过度监督而冻结创新能力。 |
工程卫生 | 内置“可解释性” | 强制记录触发原因、遵循规则及越阈数值。回答“为什么系统在特定时间行动?” | 可追溯性是允许自主性在受监管行业继续存在的“通行证”。 |
文化建设 | 显性化“协作标签” | 对工作流进行标记:人类主导 / AI领导 / 共同管理。 | 将话题从“谁按了按钮”转变为“我们如何共同决定”。 |
【结语】
自主性不是把人类踢出循环,而是设计一个新的循环:让人与AI(智能体或数字员工)在其中彼此信任、彼此验证。
CIO的新使命,是成为共享智能的架构师。你准备好接任“首席自主官”了吗?
原文:为什么CIO(首席信息官)正在成为CAO(首席自主官)
在自操作系统的新时代,首席信息官将如何在创新与控制之间取得平衡。
图源:Credit: SvetaZi / Shutterstock
在上个季度的董事会审查期间,,一位董事问了我一个当时答不上来的问题:“如果一个由AI驱动的系统采取了影响合规或收入的行动,谁该负责?是工程师、供应商,还是你?”
会议室安静了好几秒,然后所有目光都转向了我。
我管理预算、处理故障、主导转型项目多年,但这个问题不一样。它无关可用性也无关成本,而是关于权力。我们今天部署的系统能够发现问题、提出修复方案,有时甚至能自动执行。董事会真正想问的是:当软件自行其是时,这到底是谁的决定?
那一刻让我耿耿于怀,因为它戳中了许多技术领导者当下的共同感受:自动化已不只是效率工具,它开始触及治理、信任与伦理。我们的工具可以比我们召开会议更快地解决事件,但我们的责任模型却没有跟上步伐。
我愈发确信,这正在重新定义首席信息官的角色。无论头衔是否改变,我们实际上正在成为首席自主官,对企业内部人类与机器如何共同运作负责。
波士顿咨询集团近期的研究也指出,首席信息官的考核标准正从可用性和成本节约转向其能否跨业务职能协调AI驱动的价值创造。这一转变需要更深层的架构思维:在创新速度、治理与信任之间取得平衡。
一、自主性如何悄然进入企业
自主性很少以战略姿态登场,它总是披着“优化”的外衣悄悄潜入。
一段脚本自动关闭常规工单;一个工作流在三次检查失败后重启服务;一条监控规则无需请示就重新分配流量。单看每一项改进似乎都无害,合起来却构成了能独立行动的系统。
我在审核自动化提案时,几乎没人用“自主”这个词。工程师们将其包装为可靠性或效率提升,目标是减少人工操作,假设“以后需要时再加监管”。结果监管几乎永远缺席——一旦流程运行得顺利,人工复核就逐渐淡出。
正如麦肯锡最近指出,首席信息官常常发现自己夹在“实验”与“规模化”之间——早期的自动化试点悄无声息地成长为自我运营的流程,而清晰的治理机制却并未就位。
这种模式在各个行业都很普遍。银行、医疗、制造业的同行都描述过同样的演变:微小的改进最终变成独立行为。一位首席信息官告诉我,他们的合规团队发现,一个分类机器人未经复核就修改了数千条访问控制权限。机器人完全按设计运行,但配套的政策语言从未更新。
问题不在能力,而在治理。传统IT模型把“谁发起、谁审批、谁执行、谁审计”分得清清楚楚,自主性却把这几层压缩成一层。编写逻辑的工程师实际上把政策嵌进了代码。当系统开始从结果中学习时,其行为就可能超出人类的可见范围。
为了让控制权重新可见,我的团队开始把每一个自动化工作流当成“员工”来建档:记录它能做什么、在什么条件下做以及谁对结果负责。听起来简单,却能强制厘清边界。当工程师知道自己会被列为某条工作流的经理,他们就会认真思考权限范围。
自主性总是悄然生长,一旦扎根,领导层就必须决定是正式接纳它,还是被它打个措手不及。
二、问责缺口出现在哪里
1、当沉默取代拥有权
自主性弱化的第一个迹象往往很微妙:系统关了一张工单,却没人知道是谁批准的;一次变更成功传播,却没人记得编写了规则。一切运行正常,解释却消失了。
2、当日志取代记忆
在一次内部评审中,我目睹了这一幕:一个配置调整让所有环境性能提升,但日志条目只有冷冰冰的“由系统执行”——无作者、无上下文、无意图。技术上正确,操作上空洞无物。
这些时刻让我明白:问责不仅是防错,更是“保留意义”。自动化缩短了设计与行动之间的差距,创建工作流的人,其实制定了一条可能存续数年的“活政策”。
3、当政策不再匹配现实
大多数IT政策仍假设有人工检查点:申请、审批、交接。自主性把这些“暂停键”都拿掉了,我们程序里的动词与实际工作方式不再匹配。团队只能非正式地创造了“人机协作”,却无人命名,责任也随之漂移。
还有人员成本。当系统开始自主行动时,团队想知道他们是否会被取代,或者他们是否仍然对未亲自涉及的结果负责。如果你不早些回答这个问题,就会出现无声的抵抗。一旦澄清“权力仍共享”“系统只是延伸人类判断而非替代”时,采纳率反而提升。
4、让协作显性化
为了重获可见性,我们开始按操作方式对每个关键工作流程进行标记:
人类主导:人决策,AI辅助。
AI领导:AI行动,人监督。
共同管理:双方共同学习、调整。
这个小分类法改变了问责话题,从“谁按了按钮?”转向“我们如何共同决定”。当人类参与由设计定义而不是事后恢复时,自主性变得更加安全。
三、如何在规模化之前建护栏
设计“人机共治”不能仅靠谨慎,必须有架构。目标不是拖慢自动化,而是保护它继续运行的“许可证”。
1、定义交互层级
我们将每个自主工作流程按其所需的人类参与程度进行分类:
第一级-观察:AI提供见解,人采取行动。
第二级-协作:AI建议,人确认。
第三级-委托:AI在既定边界内执行,人审查结果。
这三级构成我们的信任阶梯。系统证明稳定后逐级上升,框架用可度量进展取代直觉,也避免日后被法务或审计喊停。
2、设立问责评审委员会
我们从工程、风险、合规三方抽调成员组成委员会,其职责是在上线前“批准问责”,而非审批技术本身。对于每条二级或三级工作流程,委员会确认三件事:谁对结果负责、回滚方案是什么、可解释性如何实现。这一步让我们既能快速推进,又不会在上线后因监督而冻结快速行动的能力。
3、把可解释性内置到系统中
每条自主流必须记录触发原因、遵循规则以及越阈数值。这不仅是良好的工程卫生,在受监管行业,迟早有人会问“为什么系统在特定时间行动?”若无法用通俗语言回答,自主就会被暂停,可追溯性是允许自主继续存在的通行证。
久而久之,这些实践重塑了团队思维,我们把自主视为“伙伴”而非“替代”。人提供情境与伦理,AI提供速度与精度,彼此向对方负责。
在组织内部,我们称其为“人类+AI”模型。每条工作流程都声明是由人类主导、AI主导还是共同管理的,这单一的归属声明就能消除犹豫与混淆。
自主不再只是技术里程碑,而是组织成熟度的一次大考——它检验一家企业能够多么清晰地定义信任。
四、首席信息官的新使命
我相信,这正是首席信息官角色正在转向的方向。我们不再只是基础设施的守护者,而是共享智能的架构师,负责让人类推理与机器推理在企业中安全共存。
自主不是把人类踢出循环,而是设计一个循环:让人与AI系统在其中彼此信任、彼此验证、彼此学习。如今,这个设计责任就落在首席信息官肩上。
这就是“首席自主官”真正的含义。
作者:Saurab Paruthi(萨劳布·帕鲁蒂)
译者:木青