大多数CIO都认为资金短缺是他们面临的主要问题,因为他们面临着从AI中获取价值的压力,而低估AI的综合成本可能会带来灾难性的后果。
面临部署成功AI项目压力的CIO还有第二个担忧:他们没有足够的资金来实现这一目标。
最近,Gartner(高德纳咨询公司)【Gartner(高德纳咨询公司)是全球领先的信息技术研究和顾问咨询公司,成立于1979年,总部设在美国康涅狄格州斯坦福德。Gartner 为客户提供包括IT研究、发展、评估、应用、市场等领域的客观、公正的论证报告及市场调研报告,协助客户进行市场分析、技术选择、项目论证、投资决策,并在投资风险管理、营销策略、发展方向等重大问题上提供重要的咨询建议】对首席信息官进行了一项调查,其中90%的受访者表示,管理人工智能(AI)的成本限制了他们从AI中获取价值的能力。此外,Gartner专注于数字业务高管领导的分析师Hung LeHong(洪黎宏)【Hung LeHong(洪黎宏)是Gartner的杰出分析师高管,专注于数字业务的高管领导研究团队。他专注于帮助首席执行官和其他C级高管预测数字业务对商业模式和客户趋势的影响。他的工作是帮助高管们理解三年及以后将发生的变化,以便他们能够创新,以改善未来的地位或效率】表示,如果CIO们没有完全理解扩展生成性AI的成本,他们可能会低估成本500%到1000%。根据不同的AI项目,这样的错误可能会导致数百万美元的损失。
LeHong在最近的一次网络直播中表示,在很多情况下,当有更便宜的工具可用时,使用LLM进行简单的AI任务(例如转录和翻译)可能会花费不菲。“一些CIO根本不了解其中的所有成本要素,”他补充道。“即使他们了解成本,他们也没有能力改变它。”
1.隐性成本和价格上涨
金融软件供应商BlackLine(BlackLine是一家成立于2001年的金融软件公司,总部位于美国加州伍德兰希尔斯。它提供云服务,帮助企业自动化财务流程,如对账、结算和报告,以提高效率和准确性)的首席信息官Sumit Johar(苏米特·乔哈尔)【Sumit Johar(苏米特 乔哈尔)是BlackLine公司的首席信息官。在担任这一职位之前,Sumit Johar在Accenture(埃森哲)有超过20年的工作经验,他在那里担任过多个高级领导职位,专注于为客户提供战略咨询服务,包括IT战略、业务流程外包、共享服务和全球交付模型】补充说,部署人工智能的方法与其他技术不同。
“真正的问题是,在尝试成功部署之前,人们并不总是能理解实施人工智能的成本,”他说。“使用原型很容易快速获得成功,但让数据为人工智能做好准备、用公司数据训练人工智能模型、部署后进行调整、设置控制以限制滥用、偏见和幻觉等都存在隐性成本。”
Johar(乔哈尔)表示,BlackLine已部署了自己的AI工具,重点关注影响大多数员工和客户的项目。他补充说,具有广泛影响的AI项目向领导层和员工展示了AI的力量。
但他补充道,与人工智能相关的部署挑战是许多CIO以前从未面临过的。“我们习惯于编写基于规则的系统,这些系统总是按照你设计的方式运行,”他说。“生成式人工智能不是这样运作的,需要几项其他投资来控制它,同时将其用于构建的目的。”
CIO控制生成式AI成本的100分评价指标体系
【睿观:CIO的观点强调了生成式人工智能(Generative AI)与传统基于规则的系统的根本区别。生成式AI具有高度的自主性和不确定性,这使得其部署面临诸多挑战。这些挑战主要源于:
模型的不确定性: 生成式AI模型的输出往往难以完全预测,这给系统的稳定性和可控性带来了挑战。
数据依赖性: 模型的性能高度依赖于训练数据的质量和数量,而数据的偏差或不足可能导致模型产生偏见或错误的结果。
伦理风险: 生成式AI可能生成虚假、有害或歧视性的内容,这引发了严重的伦理问题。
控制生成式AI所需的投资
为了有效控制生成式AI,企业CIO需要在以下几个方面进行投资:
数据治理与质量提升
数据清洗与标注: 确保训练数据的高质量和一致性。
数据隐私保护: 建立健全的数据隐私保护机制,符合相关法规。
数据多样性: 收集多样化的数据,减少模型偏差。
模型开发与优化
模型选择与定制: 根据业务需求选择合适的模型架构,并进行定制化开发。
模型评估与验证: 建立完善的模型评估体系,确保模型的可靠性。
模型持续学习: 随着数据和业务环境的变化,不断对模型进行更新和优化。
系统监控与风险管理
实时监控: 对模型的输出进行实时监控,及时发现异常。
风险评估: 定期评估系统存在的潜在风险,并制定应急预案。
伦理审查: 建立伦理审查机制,确保AI应用符合伦理规范。
人才培养与团队建设
人才引进: 引进具备AI技术和领域知识的专业人才。
人才培养: 对现有员工进行AI培训,提升团队整体素质。
组织文化建设: 建立鼓励创新和探索的组织文化。
基础设施建设
计算资源: 提供充足的计算资源,支持模型训练和部署。
云平台: 利用云平台提供的弹性计算和存储服务。
安全防护: 加强系统安全防护,防止数据泄露和攻击。】
Gartner表示,除了AI部署挑战之外,软件供应商还因为新增AI功能而将价格提高了30%。LeHong(黎宏)表示,虽然一些软件供应商目前正在吸收AI带来的额外成本,但首席信息官需要为情况的变化做好计划。
“以后这些价格会上涨,”他补充道。“这不仅仅是人工智能的成本。他们已经在业务中运行的应用程序的成本才是他们真正担心的问题。”
2.转向小胜利
工业人工智能公司IFS【IFS(Industrial and Financial Systems)是一家提供企业软件的公司,专注于帮助工业企业提高效率和生产力。它提供云服务,包括企业资源规划、资产管理和供应链管理等。IFS利用人工智能和机器学习技术,帮助客户做出更好的业务决策】的首席技术官Kevin Miller(凯文·米勒)【Kevin Miller(凯文 米勒)是工业人工智能公司IFS的首席技术官(CTO)。他在2021年5月加入IFS,最初担任北美地区的售前解决方案副总裁。在成功领导北美售前团队一年半后,他晋升为北美地区的首席技术官,他的工作重点是推动领先的产品和行业解决方案,为客户提供真正的商业价值】表示,成本问题,加上来自首席执行官和董事会部署人工智能并创造价值的巨大压力,使首席信息官和其他IT领导者陷入困境。他指出,在IFS最近对工业和相关行业IT决策者进行的一项调查中,82%的受访者表示,他们面临着迅速采用人工智能的巨大压力。
他说:“我们可能都有点内疚,因为我们冲进了人工智能的森林,却不一定知道我们要去哪里,也不一定知道这个愿景是什么样的。首席信息官需要找到的第一件事是,人工智能的潜在优势在哪里?”
Miller(米勒)表示,Gartner预测CIO可能会低估AI成本 1,000%,这应该给CIO敲响警钟,让他们想办法衡量和优先考虑能够提供价值的AI项目。
他补充道,成本“只会呈指数级增长。它确实有可能失控。”
Miller(米勒)建议,在许多情况下,能够快速体现价值的小胜利可能比庞大的高风险项目更有吸引力。他还建议CIO与同行群体互动,了解已经取得成功的AI项目。
“我们可以向已经经历过这种情况的人学习,”他说。“我如何才能使这项工作最有效,满足董事会和我合作的高管层的要求,通过与这些同事互动,找出哪些方法有效,哪些方法无效,以及他们从哪里获得了最大的价值?”
数据管理供应商K2view(K2View是一家数据管理公司,专注于帮助企业实时处理和分析数据。它的技术可以整合分散在不同系统和数据源中的数据,使企业能够更安全、更有效地访问和控制数据。K2View提供的服务包括客户数据分析、测试数据管理、数据隐私保护等)的首席技术官Yuval Perlov(尤瓦尔·佩洛夫)【Yuval Perlov(尤瓦尔·佩洛夫)是K2View的首席技术官(CTO),拥有近三十年的企业技术建设与管理经验。丰富经验和专业知识使他成为任何公司宝贵的资产,他的领导和管理能力带来了成功的项目和满意的客户】表示,当首席信息官考虑部署新一代人工智能时,成本肯定是一个问题。K2view在最近对高级人工智能部署专业人士的调查中发现,成本是最受关注的问题,其次是数据安全和隐私,以及新一代人工智能响应的可靠性。
然而,Perlov(佩洛夫)表示,问题既是规模问题,也是成本问题。在许多情况下,组织启动雄心勃勃的人工智能项目,这些项目扩大规模的成本可能很高,而小型战略计划可能会带来更快的回报,他说。
“一些CIO正在尝试各种技术,他们看到了很酷的东西,但这不是战略的一部分,然后他们想扩大规模,”他说。“但通常,它无法扩大规模,要么是因为他们没有提前计算,要么是他们使用了极其昂贵的方法来做到这一点,好像有更简单或更便宜的方法可以实现这一点。”
与建议部署具有广泛用户基础的AI项目的BlackLine的Johar(乔哈尔)不同,Perlov(佩洛夫)鼓励IT领导者进行战略思考,并专注于对其组织具有特定战略意义的用例。在某些情况下,CIO会愿意牺牲短期投资回报率来换取长期战略优势,而在其他情况下,CIO会从易于部署的项目开始,这些项目可以带来立竿见影的收益,并向CEO和董事会成员展示。
他建议,不要创建一个可以回答200个问题的客户聊天机器人,而是先创建一个可以回答10个最常见问题的聊天机器人,然后将不常见的问题交给人工代理。
“从小处着手,深入,不要从广度和深度着手,或者只做一件事或两件事,把它们做好,直到你可以推广并从中获得价值。”Perlov(佩洛夫)说。
作者:Grant Gross(格兰特·格罗斯)
译者:穿山甲
【睿观:
LIME(Local Interpretable Model-agnostic Explanations)和SHAP(SHapley Additive exPlanations)的说明:
1. LIME(Local Interpretable Model-agnostic Explanations)
定义:LIME 是一种用于解释机器学习模型预测结果的工具。它是一种模型不可知的解释方法,适用于任何复杂的机器学习模型。LIME 的主要思想是通过在一个局部区域内用一个简单可解释的模型(如线性回归模型或决策树)来近似复杂模型的行为,从而帮助理解该模型在某个特定样本点上的决策过程。
特点:
- 局部解释:LIME 提供的是局部解释,即它解释的是模型在某个特定样本点附近的预测行为,而不是整个模型。
- 简单可解释:使用的简单模型 是易于理解和解释的,如线性和逻辑回归模型。
- 模型不可知:LIME 可以应用于任何机器学习模型,无论是黑盒模型还是白盒模型。
- 灵活性:可以通过改变简单模型的类型(如使用线性模型或决策树)和局部数据集的大小来调整解释方法的灵活性。
2. SHAP(SHapley Additive exPlanations)
定义:
SHAP 是一种基于博弈论的模型解释方法。SHAP 值(SHapley Values)是从博弈论中的Shapley值借鉴而来,用于衡量每个特征对预测结果的具体贡献。SHAP值确保了在不同的解释中,特征的重要性总和等于最终的预测结果与基线预测的差值。
特点:
- 公平性和一致性:SHAP 方法确保了每个特征的贡献是公平且一致的,符合Shapley值的定义。
- 全局和局部解释:SHAP 可以提供全局解释(解释训练数据集上所有样本的预测结果)和局部解释(解释单个样本的预测结果)。
- 独特性和独立性:SHAP值可以处理特征之间的相互依赖性,确保每个特征的贡献是独立且独特的。
- 计算复杂性:SHAP值的计算可能会比较复杂,特别是对于具有大量特征或复杂结构的数据集。
- 适用范围:SHAP 方法适用于各种类型的机器学习模型,不仅限于线性模型。
总结
- LIME 通过在一个局部区域内用简单的可解释模型近似复杂模型的行为,提供针对特定样本点的局部解释。
- SHAP基于博弈论中的Shapley值,衡量每个特征对预测结果的具体贡献,提供全局和局部的解释,并确保公平性和一致性。
这两种方法都有助于提升机器学习模型的可解释性,帮助企业和用户更好地理解模型的预测逻辑。】