尽管至关重要，但大多数组织仍未实施AI监测和风险管理平台。究竟是什么阻碍了这一进程呢？

图源：Rob Schultz / Shutterstock

随着过去几年Principal Financial Group（美国信安金融集团）的AI应用不断增加，对全面的AI治理战略以及帮助监控和执行该策略的工具的需求也随之增加。

副总裁兼首席数据与分析官Rajesh Arora（拉杰什·阿罗拉）表示：“我们正在利用超过100个活跃的AI用例，包括用于欺诈检测、理赔自动化、投资研究、退休计划优化以及客服中心支持的自然语言处理、机器学习和生成式人工智能模型。”然而，每个用例都带来了风险，例如合规性、偏见和伦理问题，这些都需要一个AI治理策略。

这家投资管理公司首先开发了符合ethical and responsible AI/ERAI（道德且负责任的AI）框架，该框架涵盖了AI从引入、风险分类到模型验证和持续监测的整个生命周期。该框架要求其所有AI应用都具备可解释性、人工监督和隐私控制。随后，Principal部署了AI治理平台Credo AI，用于梳理所有AI应用，并进行风险评估、数据隐私管理、合规跟踪，确保与AI法规和标准保持一致。他还表示：“我们还在ServiceNow中试点一些治理工作流程。”

Gartner（高德纳咨询公司）副总裁兼杰出分析师Avivah Litan（阿维瓦·利坦）表示，AI带来的风险是切实存在的。她说：“主要问题包括数据泄露、信息泄露，以及返回不准确、不需要的输出结果，尤其是生成式人工智能，这些可能导致做出错误的决策。”

EY（安永会计师事务所）负责人工智能的负责人Sinclair Schuller（辛克莱·舒勒）补充道，AI治理对每个企业来说都绝对至关重要。他说：“治理不善可能导致公司运营失败。”

尽管需要解决这些问题，但实施情况并不像紧迫性所暗示的那样广泛。

一、缓慢的应用曲线

Gartner已将AI治理平台确定为2025年的第二大战略趋势。据预测，使用这些工具的组织将经历少40%的与AI相关的伦理事件。但这些平台仍未得到广泛使用——这并非因为这些工具不成熟。Litan（利坦）说：“CIO不想投资这些工具，因为他们很难从这些应用中获得投资回报率。”到目前为止，安全和风险管理一直被视为事后考虑的事情。

例如，Webster Bank（韦伯斯特银行）执行副总裁兼首席信息官Vikram Nafde（维克拉姆·纳夫德）表示，尽管该行已为各种业务流程部署了生成式人工智能解决方案，包括文档处理、非结构化数据处理和同行信用评估，但到目前为止，该行尚未确定应用专门的AI治理平台。该行还制定了内部治理指南，创建了正式的AI使用政策，并成立了一个AI治理委员会，为组织内AI的合理设计、实施和使用提供监督、战略指导和治理。

如今，Nafde（纳夫德）表示：“我们依靠现有的企业工具，如Jira、SharePoint和ServiceNow，来管理AI治理的各个环节，如工作流程、控制措施和证据跟踪。”但他也一直在评估AI治理平台的选项。他说：“理想情况下，我们希望有一个单一平台，提供全面覆盖整个AI治理生命周期的解决方案，包括与内部风险、法律、数据和安全领域的集成。”

Litan（利坦）指出，随着代理型AI技术的扩展，这类具有自主决策能力的AI举措将推动AI治理平台的广泛应用。她说：“代理型AI高度不可预测且极易失控，必须通过管控措施约束其行为。”当前许多企业依赖人工审查和政策监管，但未来两年当autonomous agents（自主代理体）爆发式发展时，其极快速度将使企业无法依靠人工手段进行控制。她补充道：“市场炒作远超实际应用，要达到生产力平稳期还需要几年时间。”——在Gartner的术语中，这意味着主流应用。

二、AI治理工具的现状

人工智能商业战略咨询公司Dr. Lisa AI的首席执行官兼首席人工智能官Lisa Palmer（丽莎·帕尔默）表示，AI治理平台可以帮助CIO监控模型性能、检测偏差、执行政策以及简化合规审查。她在CIO Advisory Guide, 5 Strategic AI Governance Priorities Every CIO/CAIO Must Own（《首席信息官咨询指南：每位首席信息官/首席人工智能官必须关注的五大人工智能治理战略重点》）中写道，这些平台能够检测模型中的偏差和公平性问题，提供模型可解释性（如特征归因和热图），并实时监控模型性能、漂移情况以及合规性。

她说：“像Fiddler、TruEra和Credo AI这样的工具能够发现可解释性方面的差距，追踪数据来源，并确保模型在实际应用中按预期运行。但它们无法取代人类的判断力，无法定义商业价值，也不能自动将AI用例与战略重点保持一致。”

Litan（利坦）估计，AI治理平台市场中有30到40家供应商，不过，由于采用率较低，可供参考的客户案例并不多。她说，这也是Gartner尚未发布魔力象限报告（该报告用于评选市场领先者和落后者）的原因之一。

但Litan（利坦）补充说，有些工具在AI治理的特定领域有优势。例如，Zenity在监控Microsoft产品（如365 Copilot）方面表现出色，Cranium在第三方风险管理方面出类拔萃，Noma Security擅长处理基础设施和运行时违规问题，Holistic在偏见测试方面表现上佳。

AI治理工具还可以帮助制定和执行关于第三方AI使用（如ChatGPT或Anthropic）的政策，以及内部设计和开发新的AI资产的政策。Schuller（舒勒）表示：“这些工具能够描述使用政策，并协助执行这些政策。”

三、采购前的准备步骤

在评估AI治理工具之前，CIO们需要采取几个步骤，从建立AI应用清单和创建政策框架开始。Palmer（帕尔默）说：“需要明确该工具需要解决什么问题，谁对治理结果负责，以及现有的或需要制定的政策、工作流程和阈值有哪些。如果不清楚这些，即使是最好的工具也会表现不佳。CIO应该首先确定他们的用例，并评估风险等级。处于早期阶段的组织会从MLOps（机器学习运维）平台中受益，而成熟的组织则需要政策执行层或偏差审计自动化工具。”

Litan（利坦）补充道：“首先要做好规划。制定AI问责政策。梳理所有AI应用。确保清楚了解情况，知道谁在使用什么，以及风险程度如何。然后整理好数据，确保数据有适当的权限设置和分类，并做好安全保护。”

三、选择AI治理工具时的考量因素

Palmer（帕尔默）说，在评估工具选项时，CIO们应该关注以下功能：模型可解释性、偏差检测、政策自动化和基于规则的合规触发机制、实时模型性能监控、可审计性以及便于监管审查的文档记录，还有与现有模型开发生命周期的集成等功能。

Schuller（舒勒）补充说，一开始就要有一套选择标准，并对未来的治理模式有一个清晰的构想。“如果你所考察的平台无法满足这些要求，那就应该排除它。”他还表示，要寻找那些具有特定功能的平台，即能够定义一项所有项目都必须遵循的治理政策，然后创建继承这些政策的子政策。

Nafde（纳夫德）对此表示认同。他说：“这个功能非常强大，尤其是在跨多个业务线或领域大规模管理治理时。能够在因地制宜的情况下执行基本政策，这是在不减缓创新速度的前提下实现组织协调一致的关键。”

但这些政策仍需人工审批。Schuller（舒勒）说：“应该设置一些关键节点检查，以便决定是否批准这些政策。归根结底，治理工作还是需要人来完成。”

Palmer（帕尔默）表示，关键评估标准应包括集成深度、不同角色对工具的易用性，以及随着模型和监管要求的演变而适应平台的能力。由于AI治理涉及法律、合规和业务等多方利益相关者，因此治理工具的跨职能访问性尤为重要。

Arora（阿罗拉）说，对于信安金融集团来说，易用性、可定制性和可扩展性至关重要，同时还要确保工具能够随着治理需求的变化而不断发展。他还关注工具的强大功能、性能以及TCO（总体拥有成本）。

不过，他也表示，评估结果显示，治理工具在处理需要主观判断的特定组织AI应用的复杂性方面往往存在困难。因此，培训和启用这些工具可能会耗费大量时间。此外，与现有系统的无缝集成通常并非易事，而且许多工具在解决诸如数据质量、准确性和完整性等基础数据问题方面也有所欠缺。

四、未来举措

Nafde（纳夫德）表示，尽管拥有AI治理平台是一件好事，但不要急于购买工具。“首先要确定你的治理框架和流程。了解你的AI足迹和相关风险，然后以此为依据来选择工具。”

如果供应商愿意降价协商，也不要感到惊讶。Litan（利坦）称：“这是一个全新的领域，供应商会给你打折，但这并非仅仅是购买工具的成本问题。”她还说：“这是以时间、资源以及人力成本为代价的。公司的资源本就紧张，甚至都不清楚该由谁来管理此事。”

Palmer（帕尔默）认为，虽然AI治理工具能够辅助监控工作，但CIO们仍需明确对企业而言可接受的风险标准是什么将AI计划与企业战略目标相结合，并制定一套全企业范围的治理策略。她补充道：“这些平台不会为你制定治理策略，而且大多数平台都无法应对外部威胁，比如AI驱动的公众舆论影响活动、有组织的大规模投诉或声誉操纵等问题。这是CIO们不能忽视的一个盲点。”

Schuller（舒勒）提醒道，一旦平台投入运行，政策制定不要过于严格。他说：“AI是创新的引擎。你的确需要对其进行约束，但也不能限制过度，以免抑制了创新能力。”

Arora（阿罗拉）补充说，AI治理平台的作用是有限的。他认为，行业层面缺乏成熟且明确的负责任AI政策和安全政策，最终可能会影响AI治理工具的有效性。他表示：“没有这个基础，治理工具将难以充分发挥其全部潜力。我的建议是，将AI治理视为一种企业能力，而不仅仅是一项合规要求。选择那些足够灵活，能够适应你所在组织架构，同时又足够强大，能够执行统一标准的工具。”

由于AI领域变化迅速，所以一旦CIO们部署好了平台，定期审查就至关重要。Schuller（舒勒）说：“我建议建立一个紧密的审查周期，比如每月或每季度审查一次，以确保无需对政策进行调整。”

作者：Robert Mitchell（罗伯特·米切尔）

Robert Mitchell（罗伯特·米切尔）是一名自由撰稿人和编辑。此前，他曾担任Computerworld/《计算机世界》的全国通讯员。他还曾在Network World/《网络世界》和BYTE magazine/《BYTE》杂志担任编辑，并参与了TechBeacon.com的编辑团队，担任该网站的主编。

译者：宝蓝

睿观：随着AI应用激增，数据泄露、决策偏见等风险日益凸显，但专门的AI治理与风险管理平台因投资回报率（ROI）难以证明、工具尚不成熟及企业认知不足等因素尚未得到广泛应用（现状与核心挑战）。企业在考虑部署此类平台前，需先建立清晰的AI应用清单、风险评估框架及治理政策；选择工具时应关注模型可解释性、偏见检测、策略自动化及与现有流程的集成，并始终强调人工监督与判断的关键作用（关键准备与考量因素）。未来，具有自主决策能力的代理型AI的扩展，将迫使企业加速采纳治理平台，CIO需将AI治理视为核心能力，在平衡创新与风险中主动布局（未来趋势与战略对策）。

金句：在AI的狂飙突进中，治理平台是迟到的“刹车”与“导航仪”；当自主智能体登场，它将从“可选项”变为“必需品”。