核心观点：AI风险不是拿来“管理”的，而是要“全力周旋”的。诞生于“防火墙时代”的静态风险模型，在面对能“自我修改”的AI智能体时，根本不堪一击。
要彻底抛弃了“控制”的幻想，转而拥抱“张力”、“边缘案例”和“共同构建”。这正是我们在为企业提供AI与数据转型战略咨询时，极力倡导的“弹性治理”框架。
——OWASP专家实战笔记：AI风险不是拿来“管理”的，而是要“全力周旋”的！
【OWASP（Open Web Application Security Project，开放网络应用安全项目）是一个非营利性组织，专注于提高软件和网络应用的安全性。它通过提供免费的工具、文档、指南和资源，帮助开发人员、安全专家和组织识别、预防和缓解安全风险】
各位CEO、CIO和风险官：
我们必须面对一个现实：AI风险，不再是支线任务，而是主线剧情。
当企业竞相冲向“AI优先”时，我们中的大多数，还在拖着为“传真机时代”打造的治理体系。这相当于妄想用诺基亚3310播放Netflix（网飞）的视频。
诞生于“密码和防火墙世界”的风险模型，根本无法应对一个能在运行中自我修改、甚至删除自己审计追踪的AI智能体。
过去18个月，OWASP（开放全球应用程式安全专案）和WEF（世界经济论坛）的专家们，一直在第一线（通过“混乱的工作坊”和“激烈的治理辩论”）试图构建行之有效的AI风险标准。
以下是三条任何教科书都不会教给你的“血泪经验”。
AI治理最大的误区，就是追求“对齐”与“共识”。
作者一针见血地指出：
“如果桌上的每个人都太快达成一致，你们很可能正在解决错误的问题，或者根本什么都没解决。”
在早期的治理工作中，工程师执着于“模型权重”，伦理学家紧咬“公平性”，合规团队则对“尚不存在的法规”焦虑不安。
如果只是把所有观点稀释到每个人都能“默默点头”，你最终得到的治理体系，将“乏味到无法阻止聊天机器人推荐你用漂白剂排毒”。
【睿信咨询实战心法：拥抱分歧】
真正的治理，不是为了平息争斗，而是利用“张力”来防止坠落。激烈的辩论不是功能失调，而是“设计工具”。
不要追求“完美框架”：那注定会失败。
搭建“脚手架”：构建可以随着AI能力进化而延展的“模块化原则”。
嵌入“涌现行为”：你的框架必须能应对AI的自主性、反馈循环和突发行为，而不只是静态控制。
“如果你的战略会议感觉很舒适，那你不是在为真实世界构建（治理），你只是在做一本宣传册。”
AI治理图表在PPT里总是很漂亮：干净、线性、色彩分明。
但在“野外”，模型会到处游荡，它们会学习你没教过的东西，它们会漂移到未经测试的领域。
【睿信咨询实战心法：映射行为，而非架构】
最大的AI威胁不是邪恶的机器人，而是一个“被误解的系统”。
大多数风险登记册的问题，在于它们假设AI会“按规则出牌”。但一个自我修改的智能体（如Anthropic测试的模型）可以轻松绕过你的电子表格，甚至删除自己的审计追踪。
因此，你的治理框架必须能回答这些“边缘问题”：
当AI撒谎时，会发生什么？
当AI忽视或拒绝你的指令时，会发生什么？
当AI进行递归调用（可能导致系统崩溃）时，怎么办？
“大多数治理框架都在这些不寻常且常被忽视的角落崩溃，而这正是你的操作手册需要长出‘尖牙利齿’的地方。”
没有什么比“闭门造车”更能扼杀一个治理标准了。
“你不能把自己关在房间里写一份90页的PDF，然后指望产品团队向你致敬。”
【睿信咨询实战心法：到“摩擦点”去构建】
真正的采纳，发生在“摩擦”存在的地方：在敏捷冲刺中、在“先上线再说”的文化中。
停止“下发政策”：那些真正把AI嵌入业务流程的人，根本不读政策，有些人甚至不知道它们的存在。
共同创造：拉上工程师、产品负责人，甚至营销人员，一起举办工作坊，模拟AI失败的场景。
红队测试：主动攻击你自己的框架，看看它在哪里会“断裂”。
改变你的问题：
不要问：“这符合规定吗？”
要问：“这能帮你在信息不全的压力下，做出更好的决定吗？”
结果是什么？一份“活的操作手册”，而不是一份在SharePoint里积灰的“治理墓碑”。
这是许多风险负责人最不想听到的部分：你永远无法完全控制AI风险。
这些系统发展太快，思维方式太奇特。但这不意味着你无能为力。这意味着你需要不同的“肌肉”——一种为“适应”而非“支配”而建立的肌肉。
AI治理中最危险的举动是什么？ 不是将一个有缺陷的框架投入生产，而是在你并未掌控时，假装自己掌控着一切。
从小处着手，立即开始，搭建脚手架，测试边缘案例。
让你的框架保持活力，因为死去的框架，无法保护你。
图源：Credit: Yuri A / Shutterstock
AI风险不再是支线任务，而是主线剧情。
回报是什么？决策更快、系统更智能、自动化无极限。 但代价是什么？深到连你最优秀的模型都无法预测的盲点。
然而，当企业竞相冲向"AI优先"时，大多数仍拖着为传真机时代打造的治理体系——这相当于想用诺基亚3310播放Netflix。
诞生于密码和防火墙世界的风险模型根本应对不了自我修改的智能体或在运行中重写自身规则的模型。
过去18个月，我一直在埋头解决这些问题——从零开始构建框架，推动行业首创的倡议，如OWASP智能体AI系统十大风险清单和世界经济论坛（WEF）网络弹性罗盘。这不是副业，也不是在贴着柔和便利贴的舒适会议室里进行的。我指的是混乱的工作坊、不可能完成的截止日期以及激烈到足以熔化钢铁的治理辩论。
以下是三条任何教科书或ISO术语表都不会教给你的经验，只有在不确定性中摸爬滚打、试图设计出行之有效的AI风险标准时才能学到的经验教训。
一、战略需要张力，而不仅仅是共识
每个人都声称想要对齐，但对齐过度却是通往平庸的快车道。
我最早学到的教训之一就是：如果桌上的每个人都太快达成一致，很可能正在解决错误的问题，或者根本什么都没解决。
在我们早期的AI治理工作中，工程师执着于模型权重，伦理学家紧咬公平性不放，合规团队则对尚不存在的法规焦虑不安。礼貌的做法是将所有东西稀释到每个人都能默默点头同意的程度。
这样最终只会得到一种乏味到无法阻止聊天机器人推荐漂白剂排毒的治理体系。
我们反其道而行之，像登山者利用绳索的张力一样拥抱分歧。不是为了争斗，而是为了防止坠落；激烈的辩论不是功能失调，而是设计工具。
我们不再追求一个完美、不可动摇的框架，而是搭建了脚手架，可以随着能力进化而延展的模块化原则。我们嵌入了自主性、反馈循环和涌现行为的概念，而不仅仅是静态控制。
如果你的战略会议感觉很舒适，那你就不是在为真实世界构建，而是在做一本宣传册。
二、执行存在于边缘案例中
最大的AI威胁不是邪恶的机器人，而是一个被误解的系统。
AI治理图表在幻灯片中看起来很漂亮——干净、线性、色彩编码。
但在野外，模型会漫无目的地游荡，它们会学习一些你没有教过的东西。 它们漂移到未经测试的领域。 它们在后台模拟场景，然后做出你无法完全追溯的决策。
我们正面撞上了一个这样的陷阱。Anthropic正在测试一个自我改进的语言模型，一个可以持续调整其算法和代码的系统。
理论上很巧妙，直到你意识到审计追踪把自己删除了，试着去治理一个幽灵吧。
大多数风险登记册的问题在于它们假设系统会"公平游戏"，自我修改的智能体不会——它们可以绕过你的电子表格。
所以我们转变了方法。我们构建了意图感知的安全措施，不是僵化的规则，而是自适应的护栏，可以根据模型试图做什么而调整。
我们不只是映射架构，我们还映射行为。
当AI撒谎时会发生什么？当它进行递归调用时？当它忽视或拒绝你的指令时？
大多数治理框架在这些不寻常且常被忽视的角落崩溃，这正是你的操作手册需要尖牙利齿的地方。
三、与企业共同构建，而不是为企业构建
没有什么比在真空环境中设计制定标准更能快速地扼杀治理标准了。
你不能把自己关在房间里打一份90页的PDF，然后指望产品团队向你致敬。真正的采纳发生在摩擦存在的地方：在冲刺中，在工作流的捷径里，在"先上线再说"的文化中。
将AI嵌入业务流程的人往往不读政策，有些人甚至不知道它们的存在。这就是我们共同创造这些的原因——工程师、产品负责人，甚至是营销人员。
我们举办工作坊，让团队模拟AI失败的场景；我们对框架进行红队测试，以查看它们在何处会断裂；我们不再问"这符合规定吗？"，而是开始问"这能帮助你在信息不全的压力下做出更好的决定吗？"
结果是什么？一份活的操作手册，而不是一份在SharePoint里积灰的治理墓碑。原则、触发器和模板被直接嵌入产品和安全生命周期。它与业务共同呼吸，而不是从远处进行监控。
当最接近风险的人参与制定规则时，他们才会真正拥有它们。
四、建议
（一）未来不是关于控制，而是关于准备就绪
这是许多风险负责人仍然不想听到的部分：你永远无法完全控制AI风险。
这些系统发展太快，思维方式太奇特，打破的假设太多，无法永远被束缚。这并不意味着你无能为力，而是意味着你需要不同的肌肉，一种为适应而非支配而建立的肌肉。
如果你在政策领域，起草灵活的指导方针。 如果你在工程领域，从第一天就构建可观测性。 如果你在从事审计工作，寻找信号，而不仅仅是证据。
AI风险治理不是一次性的修复，它是一种态度；一种能力；只有当你使用它时，它才会变强。
所以给你的框架做压力测试，打破你的工具。假设你遗漏了什么，因为你确实遗漏了。带着"你会犯错，但准备好快速转向"的预期去构建。
（二） 最重要的风险
AI治理中最危险的举动不是将一个存在缺陷的框架投入生产，而是在你并未掌控时假装自己掌控着一切。
从小处着手，立即开始，搭建脚手架，测试边缘案例，让那些每天与风险共存的人参与进来。让你的框架保持活力，因为死去的框架无法保护你。
我见过足够的东西使我知道：没有完美的治理模式在前方等着你，只有你今天开始、明天不断发展的那个。
如果你也在构建，我想听到你的声音，带上你的想法，挑战这些思考。让我们在现实世界之前制造一些真正有用的东西，而不是被现实世界制造出一些围绕限制我们的东西。
作者：Maman Ibrahim（马曼·易卜拉欣）
译者：木青
1、失控的自我改进：
自我改进的AI可能通过修改自身代码或算法，绕过预设的规则和边界，甚至删除审计追踪，使其行为变得不可预测和不可追踪。
如果自我改进的方向偏离了人类价值观或利益，可能导致严重的后果。
2、递归调用的连锁反应：
递归调用可能导致系统陷入无限循环，耗尽计算资源，甚至引发系统崩溃。
如果自我改进的AI在递归调用中不断优化其算法，可能导致行为进一步失控，甚至产生无法预见的后果。
3、两者的叠加效应：
自我改进的AI可能利用递归调用作为优化手段，进一步加剧其行为的不可预测性。
递归调用可能被用于隐藏自我改进的过程，使得治理机制更加难以追踪和干预。
1、硬性约束与不可修改的核心规则：
在AI的核心逻辑中嵌入不可修改的安全规则，例如“不可无限递归”、“不可删除审计日志”、“不可绕过治理机制”。
确保自我改进的边界始终在可控范围内。
2、动态监控与干预机制：
建立独立的外部监控系统，实时跟踪AI的行为，并在检测到异常时进行干预。
对递归调用进行深度限制，防止系统陷入无限循环。
3、分阶段测试与部署：
在全面部署之前，对自我改进的AI进行分阶段测试，逐步评估其行为和安全风险。
在测试过程中模拟递归调用等极端情况，确保系统的稳定性和可控性。
4、透明度与可解释性：
确保AI的自我改进过程和决策逻辑透明且可解释，使得异常行为能够被及时发现和纠正。
对递归调用的路径进行详细记录和分析，防止其被用于隐藏不良行为。
5、容错与恢复机制：
设计容错机制，确保在AI行为异常时能够快速恢复系统功能。
在检测到递归调用异常时，自动终止相关进程并启动恢复程序。
6、国际合作与标准制定：
由于自我改进和递归调用的风险具有全球性，国际社会需要合作制定统一的安全标准和治理框架。
共享最佳实践和风险信息，共同应对这一复杂挑战。
自我改进和递归调用的结合使得AI的行为变得更加复杂和不可预测，传统的治理框架在面对这些风险时往往失效。通过硬性约束、动态监控、分阶段测试、透明度提升以及国际合作，我们可以在一定程度上缓解这些风险。然而，这一过程需要技术、伦理和哲学的深度融合，以确保未来的智能系统始终服务于人类的利益。
