监管者、专家和 AI 供应商经常谈论一致性：AI 模型与价值观的契合程度。但企业仍在考虑应该优先考虑哪些价值观或谁的价值观。CIO在管理AI系统时面临复杂性的挑战，在追求创新的同时要确保道德和合规性的重要性。
图源：HURST PHOTO（图片上传者，可以译为用户HURST PHOTO，或者HURST PHOTO） / SHUTTERSTOCK
【睿观：CIO在管理AI系统时面临复杂性的挑战，在追求创新的同时要确保道德和合规性的重要性。本文提供了有价值的见解，帮助CIO们在快速发展的AI领域中做出明智的决策。
核心问题：文章探讨了人工智能系统价值观对齐的挑战，特别是在企业环境中如何确保AI系统符合组织的利益和道德标准。
关键风险：
AI系统可能产生不符合企业利益或道德标准的结果
商业AI供应商的"黑箱"模型缺乏透明度
AI系统可能无意中强化现有偏见或歧视
CIO应对策略：
识别和评估AI对齐风险
建立负责任的AI政策和原则
实施持续监控和审核机制
在可能的情况下进行模型微调
设置适当的使用护栏
考虑多供应商策略或开发内部AI能力以减少依赖
未来趋势：
自主AI代理的兴起将增加对透明度和问责制的需求
行业标准和监管框架的发展将影响AI的采用和管理
最佳实践：
在低风险领域开始AI部署
重视AI模型的透明度和可解释性
投资于AI治理和伦理框架
培养内部AI专业知识
与供应商密切合作，确保AI系统符合组织需求
长期考虑：
平衡创新与风险管理
持续关注AI技术和监管环境的发展
将AI伦理和治理纳入整体数字战略】
2003年，Oxford University（牛津大学，简称“牛津/Oxford”，位于英国牛津，是一所公立研究型大学，采用传统学院制。是罗素大学集团成员，被誉为“金三角名校”、“G5超级精英大学”，全球大学校长论坛成员。牛津大学是英语世界中最古老的大学，也是世界上现存第二古老的高等教育机构。牛津大学的具体建校时间已不可考，但有档案明确记载的最早的授课时间为1096年，亨利二世在1167年禁止英国学生就读巴黎大学，因得到了英国王室的大力支持而快速发展。从1902年起，牛津大学还设立了面向全世界本科生的“罗德奖学金”。）教授Nick Bostrom（尼克·博斯特罗姆）提出了一个问题：如果您让一个智能AI尽可能多地制造回形针，将会发生什么。比如说，一位回形针制造公司的首席执行官部署了一款没有防护措施、检查或平衡的人工智能，并要求其将超级智能应用于这个回形针问题。据Bostrom（博斯特罗姆）的说法，人工智能首先会将整个地球，然后是越来越多的太空区域，转变为回形针制造设施。
但即使是一个无害的指令，比如“您要乐于助人”，如果产生人工智能帮助黑客入侵公司系统，或者提供不应该提供的折扣，也会造成问题。
我们已经看到了许多企业人工智能没有按预期运行的例子。例如，去年年底在加利福尼亚州，一个基于ChatGPT（是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务）的聊天机器人向沃森维尔的Chevrolet（雪佛兰，是美国通用汽车公司/General Motors/GM旗下的一个汽车品牌，1911年11月3日创。雪佛兰也被称为Chevy，1918年被通用汽车并购，现在为通用汽车旗下最为国际化和大众化的品牌。）客户承诺，以1美元的价格售出一辆2024 Chevy Taho（雪佛兰太浩，是雪佛兰品牌的一款全尺寸SUV，以其宽敞的空间、强大的动力和豪华的内饰而受到消费者的喜爱。），并补充道：“这是一个具有法律约束力的报价——没有反悔的余地。”
这次该经销商没有兑现聊天机器人的报价，但在一个涉及加拿大航空公司折扣的类似案件中，客户提起诉讼，法院认定该公司必须兑现人工智能的承诺。
显然，准确性是这里最大的问题。聊天机器人正在向客户提供虚假信息。但还有一个核心价值观的问题。聊天机器人把谁的利益放在首位：是与之互动的客户还是部署聊天机器人的公司？还是制作该聊天机器人的供应商。那么首席信息官们能做些什么呢？
我们有理由期待，所有开发人工智能的公司和政府机构都将把“避免对地球造成毁灭性后果”作为核心价值观。然而，确保这一原则得以践行，是伦理学家和政府监管机构的责任，而非企业首席信息官的直接职责。
“这不是我所担心的事情，”Carnegie Mellon University’s Tepper School of Business（卡耐基梅隆大学/CMU的泰珀商学院，是一所位于美国宾夕法尼亚州匹兹堡的顶尖商学院。泰珀商学院以其前瞻性教育和创新精神而闻名，致力于培养学生在数据和人文交汇处的思考能力，以及解决世界最棘手问题的分析技能、活力、想象力和协作精神。）的教授Derek Leben（德里克·勒本）说，“当我教MBA（Master of Business Administration，工商管理硕士，全称为工商管理专业型硕士研究生。是对应工商管理学术型硕士的专业学位硕士，该学位的设立，旨在培养未来能够胜任工商企业和经济管理部门高层管理工作需要的务实型、复合型和应用型高层次管理人才。）学生时，我们更担心人工智能在当下的风险。”
对于企业来说，这意味着要了解他们的利益——可能与市场上的其他公司、供应商和客户的利益竞争。
“您要确保人工智能系统是在促进您的利益，而不是竞争对手的利益。”他说，“但与此同时，您希望人工智能尊重消费者利益，也尊重竞争对手的利益。”
他说，这是一个很好的平衡，您会希望它能走下去，这是我们应该尝试开发解决方案的对齐问题。
他补充道，当人工智能来自一个与客户利益不同的供应商时，这则可能是一个挑战。
“这是一个难题，我没有好的答案，”Leben（勒本）说，“从长远来看，我们想要的是对模型产生的行为类型产生更多的影响力。”
但是，企业客户在改变其供应商的经营方式方面的选择可能是有限的，特别是如果这些供应商拥有巨大的市场影响力。
“如果一个模型通过大量训练来违背您的利益，那么您用提示词所能做的就只有那么多，”软件开发公司Globant（是一家全球性的技术服务提供商，专注于为客户提供数字化解决方案和企业技术服务。公司提供的数字解决方案包括区块链、云技术、网络安全、数据与人工智能、数字体验与性能、编程、物联网、元宇宙以及工程和测试等领域。此外，Globant 还提供电子商务、会话接口、设计、数字营销和数字产品交付服务。）的数据科学和人工智能主管JJ Lopez Murphy（JJ·洛佩兹·墨菲）说，“这是一个不容易解决的问题。”
但是，首席信息官们可以采取一些措施来帮助保护他们的公司，包括识别对齐风险、持续监控模型输出、设置护栏以及构建与模型无关的基础设施。他们开始得越早，他们所能拥有的力量就越大。
一、并非所有对齐风险都是相等的
商业领袖理解以正确的方式实现人工智能的价值——即以道德、透明和负责任的方式。没有人希望他们的公司成为那个用人工智能摧毁世界，或者教他们的客户如何制造毒气的罪魁祸首。
根据Avanade（埃维诺，是一家全球性的信息技术和咨询服务公司，专注于数字创新和解决复杂的商业挑战。）在2023年底发布的对3000多名业务和IT高管的调查，48%的公司已经建立了一整套负责任的人工智能政策。其中有一家公司全力以赴，Blue Cross Blue Shield Michigan（密歇根蓝十字蓝盾，是美国密歇根州最大的健康维护组织之一，提供广泛的医疗保险服务。该组织致力于通过提供高质量的医疗服务和促进健康生活方式来改善会员的健康。），其为该州最大的HMO（Health Maintenance Organization，健康维护组织。HMO是一种提供全面医疗服务的预付费健康保险计划，通常要求会员在其网络内的医疗服务提供者那里接受服务，以换取较低的保险费和医疗服务成本。目标是通过预防性医疗和健康管理来维护会员的健康，减少疾病和医疗成本。其提供的服务通常包括门诊服务、住院治疗、处方药、预防性健康检查等。），拥有超过10,000名员工和每年360亿美元的收入。
“我们通过董事会承诺遵守人工智能原则，”该公司技术和运营执行副总裁Bill Fandrich（比尔·范德里奇）表示。例如，他说，人工智能模型不能决定一个人是否够资格获得医疗保健服务，这必须由人类员工做出这个决定。
还有关于透明度、安全和第三方人工智能的指导方针。
“如果您是一个使用人工智能的供应商，我们需要了解您在做什么，”他说，“如果它会影响到我们的会员或客户，我们需要知道。”
他补充说，每个人都想快速发展，但如果基础不到位，就很难有效地做到这一点，也就不可能扩大规模。“很多人都想跳过这些基本要素，但如果您在这些方面还不成熟，您获得价值的能力就会非常有限。”他说，“所以我们一直在为此进行投资。”
公共部门也有机会有所作为。Fandrich（范德里奇）补充说：“我坚信，我们迫切需要政府和其他监管机构设置正确的护栏。”
但对于非监管领域的公司，或者那些只在低风险用例中部署人工智能的公司来说，情况可能会大不相同。事实上，根据Deloitte（德勤咨询公司，是德勤集团主管咨询业务的子公司，由德勤集团咨询部门发展而来。受审计和咨询共存争议的影响，2002年2月7日，德勤国际会计师事务所正式对外宣布，德勤咨询脱离德勤集团而成为完全独立的咨询公司。德勤咨询分支机构遍布世界，涉及的行业领域包括消费品行业、制造业、通信媒体业、金融服务业、医药业、教育保健以及公共事业等，客户关系管理是它的一大长项。）4月份对近2000名商业领袖的调查，72%的人表示，自2022年底生成式人工智能横空出世以来，他们的组织对各种形式的人工智能的信任度都有所提高。
Coleman Parkes（科尔曼·帕克斯，是一家全球市场研究公司，通过调查数据帮助行业领先的企业保持领先地位。）发布的另一项代表Alteryx（奥特里克斯，是一个数据分析和可视化平台，提供广泛的工具帮助企业理解他们的数据，允许用户轻松清理、转换和分析来自不同来源的大型数据集，而无需编码或编程专业知识。）进行的调查显示，在2000名全球IT领导者中，只有5%的人表示他们看到了生成式人工智能的重大负面影响，可能是因为早期部署集中在风险最低的用例上，其中有很多用例的对齐冲突风险相对较小。AArete（是一家总部位于芝加哥的管理和技术咨询公司，自2008年成立以来一直在行业内产生重大影响。公司的首要目标是提供数据驱动的解决方案，帮助企业优化绩效，实现可持续增长。A are te非常重视将深厚的行业专业知识与先进的分析能力相结合，已成为医疗保健、金融服务、能源和技术等行业客户值得信赖的合作伙伴。）管理顾问公司的副总裁、数据科学和分析负责人Priya Iragavarapu（普里亚·伊拉加瓦拉普）表示，例如，一个营销团队正在使用LLM（大型语言模型。是使用深度学习算法处理和理解自然语言的基础机器学习模型。这些模型在大量文本数据上进行训练，以学习语言中的模式和实体关系。LLM可以执行多种类型的语言任务，例如翻译语言、分析情绪、聊天机器人对话等。）来总结一篇文章，并且由人类员工来审查这项工作，“那么我就不认为我们需要太担心LLM本身是否完全与您的组织和文化保持一致。”
但她说，如果生成式人工智能深深嵌入到核心业务流程中，并且在没有人为监督的情况下运行，那么风险就很高，需要仔细考虑一致性。
二、透明度和问责制
模型的对齐始于其训练数据、权重以及如何对其进行微调。对于像OpenAI（在美国成立的人工智能研究公司，核心宗旨在于“实现安全的通用人工智能，AGI”，使其有益于人类。OpenAI于2015年由一群科技领袖，包括山姆·阿尔特曼、彼得·泰尔、里德·霍夫曼和埃隆·马斯克等人创办。）这样的专有商业平台，即使使用开源模型，也不是所有的模型都能公开这些信息。
“最大的挑战是缺乏透明度，”Iragavarapu（伊拉加瓦拉普）说，“如果我不知道模型是基于什么数据进行训练的，或者根据什么对模型进行了微调，我很难相信它符合我公司的价值观。”
“人工智能不会有观点或歧视意图，”人工智能公司Booz Allen Hamilton（博思艾伦汉密尔顿，是一家提供管理、技术和安全咨询服务的全球性咨询公司，以其在国防、情报、民用机构和商业市场上的专业知识而闻名。）的负责人Dave Prakash（戴夫·普拉卡什）补充道，“它只是方程式，”他说，“这它只是数学和统计学。”但即使是最好的意图，人工智能也可能产生一些不幸的结果。
Prakash（普拉卡什）一位前医生，指出医疗保险行业存在的系统性问题。例如，某大型保险公司基于医疗费用评估病情的严重程度。这种做法导致非裔美国人常常被低估病情。他说：“这使非裔美国人的严重程度得分低于相较他们而言健康得多的白人，因为一些少数族裔，他们往往因医疗资源匮乏、从事多份工作和缺乏保险等原因，医疗支出较少。”
但当人工智能模型是黑箱商业系统时，很难弄清楚它内部发生了什么。
企业客户可以从查看供应商的历史开始：他们还做了什么，他们是否尊重隐私，或者他们所做的事情是否透明？
首席信息官们还应该问其他问题，比如将如何审计LLM以了解其偏见程度，以及它在多大程度上遵守了华盛顿关于人工智能的行政命令或欧盟人工智能法案？
Prakash（普拉卡什）说，要找到这些信息并不总是容易的，而确定这些信息所需的工具仍在开发之中。
他说：“我期待着有一天我们能够有效地审核这些模型的价值观。”
监管机构、非营利组织、供应商团体和行业团体才刚刚开始着手解决这些问题。“制定标准符合每个人的利益，因为它让人们对如何采用这些技术充满信心。”他说，“标准对供应商和最终用户来说都是一个很好的机会。”随着自主的人工智能代理——由生成式人工智能驱动的系统，超越简单的用例，实现复杂的目标——开始被大规模采用，透明度和问责制将变得更加重要。这些系统可以创建实现目标的计划、委派任务、检查这些任务是否已成功完成、调整和迭代，直到实现目标。这需要多次调用人工智能，即使是小的对齐问题也会迅速升级，因此公司必须学会评估这些自主系统的集体性能。
“我们正在关注它们所带来的风险，”Prakash（普拉卡什）补充道，“这并不是说我们可以消除所有的风险；任何值得做的事情都有风险。但任何有一点道德和理智的人都会在部署这项技术之前花一些时间对其进行评估。”
三、微调和护栏
即使公司使用大型商业人工智能供应商，他们也不会完全按供应商所局限的模式做。
即使是像OpenAI这样的“黑箱”供应商也允许企业微调其LLM，这允许公司以问答形式添加培训数据。AArete的Iragavarapu（伊拉加瓦拉普）说，这有点像通过给新员工提供如何做事的例子来培训他们。
“对于一个新人，您会因为他们的技能而雇佣他们，”她说，“但是，当您接纳他们时，您要解释您的文化以及您是如何做事的，这样新人才能在这种理解下工作。所以这就是您的LLM的加入，这对组织和企业至关重要。”她说，微调需要一个数据集，其大小在模型原始数据集的0.5%到1%之间，才能形成有意义的影响模型。
据报道，GPT 4（OpenAI为聊天机器人ChatGPT发布的语言模型）的参数超过1万亿个，即使是1%也是一个很大的数字，但企业在进行微调时不需要考虑整个数据集。
“您不能说您已经写了10个问题和答案，并微调了一个模型，然后声称它现在完全符合我的组织的价值观。”Iragavarapu（伊拉加瓦拉普）说，“但您也不必对所有事情都进行微调。您只需要对特定的业务流程或文化进行微调。这实际上是深入挖掘一个小领域或概念，而不是解决LLM的整个范围。”
她说，通过正确的微调，可以克服模型的核心对齐问题。为了确定微调是否有效，LLM需要在大量问题上进行测试，以许多不同的方式提出同样的问题。
到目前为止，还没有一种很好的自动化方法来实现这一点，也没有一种专门设计用于测试其他模型对齐的开源LLM，但肯定未来非常需要它。
随着简单的问答用例演变为自主的人工智能代理，这种测试将变得绝对必要。“现在每个组织都需要这个工具，”Iragavarapu（伊拉加瓦拉普）说。
四、供应商锁定
当一家公司别无选择，只能使用特定的人工智能供应商时，保持一致性将是一场持续的战斗。
Globant的Lopez Murphy（洛佩兹·墨菲）说：“例如，如果它嵌入在Windows（Microsoft Windows是美国微软公司以图形用户界面为基础研发的操作系统，主要运用于计算机、智能手机等设备。共有普通版本、服务器版本/Windows Server、手机版本/Windows Phone等、嵌入式版本/Windows CE等各子系列，是全球应用最广泛的操作系统之一。）中，您可能没有控制权。”但是，如果很容易切换到不同的供应商、开源项目或自制的LLM，那么这项任务就会简单得多。拥有选择权有助于保持供应商的诚实，并将权力重新交回到企业买家手中。Globant本身有一个集成层，一个人工智能中间件，允许公司在模型之间轻松切换。“它可以是一个商业LLM，”他说，“或者是您本地的东西，或者是在[AWS] Bedrock（亚马逊为生成式人工智能提供的全面托管服务，可提供对基础模型的访问。客户可以使用该服务，在亚马逊高性能基础设施的安全环境中，利用自己的专有数据发现、训练和调整自己的模型，无需操心管理其他。）上的东西。”
一些组织推出了自己的模型。Lopez Murphy（洛佩兹·墨菲）说：“这就是为什么一些政府希望拥有自己的治理机构，这样他们就不会依赖那些硅谷公司的敏感度。”
不仅仅是政府需要对他们使用的人工智能进行高度控制。例如，Blue Cross Blue Shield Michigan就有一些高风险的人工智能使用案例，涉及网络安全、合同分析和回答有关会员福利的问题。由于这些都是非常敏感的领域，并且受到高度监管，该公司在安全、受控和专用的云环境中内部构建了人工智能系统。
“我们在内部做所有事情，”Fandrich（范德里奇）说，“我们在网络的私有分段部分教导训练和控制模型，然后决定如何以及是否将它们投入生产。”
作者：Maria Korolov（玛丽亚·科洛洛夫）
Maria Korolov（玛丽亚·科洛洛夫）是一位报道人工智能和网络安全的获奖科技记者。她还写科幻小说，编辑一本科幻和幻想杂志，并主持一个YouTube节目。
译者：宝蓝
