尽管许多公司报告称从生成式AI中获得了积极的ROI（投资回报率），但IT领导者并不总是清楚如何实际衡量这一回报率，而且绝大多数AI项目都以失败告终。那么，真实情况究竟如何？哪些指标对于评估AI项目的成功至关重要呢？
图源：Underawesternsky - shutterstock.com
关于AI项目的失败率很高的信息比比皆是，与此同时，同样数量众多的调查显示，即便不是大多数，也有许多公司已经从AI投资中获得了积极的商业效益和ROI。
例如，IBM在5月份发布的一项针对2000名首席执行官的全球研究表明，只有25%的AI项目实现了预期的投资回报率，只有16%在企业范围内得到了推广。另一项由Wakefield Research（韦克菲尔德研究公司）代表Informatica进行的研究发现，在600名企业领导者中，67%的人表示他们甚至无法将一半的生成式AI试点项目成功转化为实际生产应用，97%的人表示他们在展示试点项目的商业价值方面遇到了困难。但其他调查结果似乎恰恰相反。
4月份，Enterprise Strategy Group对1900名企业和IT领导者进行了调查，在那些部署了AI解决方案的受访者中，92%的人表示他们的投资已经获得了回报。在1200多名对生成式AI项目的投资回报率进行了量化的受访者中，通过增加收入、降低成本或两者兼而有之，平均回报率达到了41%。
还有一些调查同时呈现了这两种情况。2月份，IDC代表联想对近3000名IT和企业决策者进行的一项调查显示，68%的受访者表示他们的AI项目达到了预期，另外26%的人表示超出了预期。但在33个AI项目中，只有4个进入了实际生产阶段，失败率高达88%。
那么，实际情况到底是怎样的呢？问题在于我们如何衡量AI项目的成功或失败。由于AI正迅速成为CIO们的首要任务（如果目前还不是的话），对于CIO来说，至关重要的是要明白价值所在、如何衡量价值，以及哪些指标对公司具有实际意义。在业务转型方面，数字并不总是起决定性作用。
一、试点项目注定会失败
让我们先从那些引人注目的数据说起，即大型AI项目往往以失败告终。这似乎意味着这是一件坏事。但POC（概念验证）和试点项目并非每次都要成功。它们的目标是剔除那些最没有潜力的想法，以便公司能够专注于最有前景的项目。高失败率意味着公司在进行大量实验，尝试各种不同的可能性，因此失败率高反而是一件好事。
早期阶段失败的项目越多，当项目真正进入全面生产阶段时，就越有可能带来积极的商业价值。而且公司在特定项目上取得的成功越多，就越有可能开展更多实验，从而发现更多创造价值的机会。
事实上，如果一家公司的所有POC和试点项目都进入生产阶段，这可能仅仅意味着该公司在AI创意方面缺乏足够的创造力、创新性或实验精神。无论董事会、其他高级管理人员、业务部门领导、员工、合作伙伴或客户施加多大压力，仅仅关注进入生产阶段的项目数量并不是衡量成功的好指标。
因此，大多数试点项目失败，而公司却报告称获得了积极的ROI，这并不矛盾。这不是问题，而是一种特点。目标是让正确的AI项目投入生产，而不是数量最多的。医疗运营公司UST Healthproof的首席AI架构师Rosha Pokharel（罗莎·波克拉雷尔）表示，公司可能犯的最大错误就是跳过试点项目，直接进行全面部署，或者没有充分审查概念验证的结果。
她说：“POC通常只在几百个数据点上进行测试。但当我们将其扩展到实际生产时，我们需要证明它在数百万个数据点上确实有效，并能够达到符合商业标准和用户要求的准确程度。”
如果这个数据问题没有得到解决，项目就会失败，公司在扩大项目规模上投入的资金就会全部浪费。同样，如AI设计师在POC阶段没有充分考虑用户需求，在大规模推出后却无人使用，这也将带来巨大的成本。
她说，公司还需要谨慎选择衡量ROI的起点。“我们不应该将概念验证阶段的投资计算在内，”她说，“POC阶段不是计算ROI的地方。这是快速试错的阶段。我们想要了解什么是可行的、可用的、有价值的，以及什么能够规模化。这就是概念验证的目标，其预算来自研发部门或创新实验室。”
她说，至少在她工作过的公司都是这样做的。但她并不是唯一相信快速实验并尽早止损的人。
“我们的理念是‘快速试错’，”事件响应公司PagerDuty的首席信息官Eric Johnson（埃里克·约翰逊）说。该公司已将生成式AI和智能体应用于内部运营以及产品和服务中。“我们启动项目，如果效果良好——很好，那就继续推进。”
但也有一些想法行不通。“很多时候是因为选择了不恰当的用例，或者我们没有充分理解构建某个东西所需的工作量，又或者它没有产生巨大的影响。”
二、自主构建还是购买
为了降低试点项目的成本，PagerDuty决定不从头开发技术。实际上，商业解决方案通常无需前期成本，还经常提供免费试用。或者免费试用的机会是可以协商的。
Johnson（约翰逊）说：“如果我们想启动一个新的智能体，我们会说在它证明自身价值之前不会付费。而且很多供应商都愿意进行这样的对话，因为他们知道如果无法证明其价值，你就不会续签合同。所以他们希望确保你能获得预期的价值。”
另一家没有从头开发，而是从商业产品中立即看到价值的公司是托管服务公司Flexential。“我使用的是符合我们AI政策的现成服务，这意味着它们不会使用公开模型进行训练，”该公司的首席运营官Ryan Mallory（瑞安·马洛里）说。
此外，使用现有产品中的AI功能（这些功能是成熟工作流程的一部分）更容易计算投资回报率，因为已经有一个现有的基线可供衡量，尤其是在客户支持或销售方面。
“我们所做的一切都为我们带来了直接的投资回报率，达到或超出了我们的预期，”Mallory（马洛里）说。
特别是，大多数新的AI工具都是该公司现有技术堆栈的插件模块。这使得它们非常易于部署和扩展。“我们最终会开发自己的模型，”他补充道，“我们可能还需要18个月的时间。”
三、关键指标：客户
当然，最好的投资回报率指标是对公司利润的影响。然而，当同时存在多个AI项目，以及许多其他举措，再加上更广泛的商业环境和经济发生变化时，很难梳理出任何一个单独项目的影响。
根据McKinsey（麦肯锡）3月份的一份报告，只有17%的公司表示其EBIDA（息税折旧摊销前利润）的5%或更多可归因于生成式AI，而超过80%的公司报告称生成式AI没有产生明显影响。因此，公司不得不使用替代指标。最好的指标是什么呢？客户满意度、客户留存率和口碑推荐。
例如，Flexential已经在其多个销售和客户支持功能中部署了生成式AI。“这绝对关乎利润，”Mallory（马洛里）说，“我们看到客户流失率有所下降。当客户满意度提高，你能够更快地满足客户的需求、要求或解决他们面临的挑战时，客户离开的可能性就会降低。”
自该公司在其工作流程中增加AI驱动的客户支持智能体以来，响应时间平均下降了20%，解决工单所需的平均时间增加了25%。
他们并不是唯一一家在客户满意度方面发现AI价值的公司。根据IBM的调查，65%的首席执行官表示，建立和维护客户信任对其组织的成功影响大于任何特定的产品和服务功能。而且，在各个行业中，客户忠诚度是推动ROI的关键差异化因素。
四、成本削减
但在短期内，降低成本对许多公司来说是一个快速见效的成果，也是ESG调查中51%的早期采用者提到的首要任务。而且这一举措正在发挥作用：88%的公司表示他们已经看到了效率方面的显著提升。
“目前一些客户特别关注成本，因为各个行业都面临着诸多压力，”Boston Consulting Group（波士顿咨询集团）的高级合伙人David Martin（戴维·马丁）说。“而且他们有责任既要为股东创造短期价值，也要对未来进行投资。”
他说，公司可以在许多领域提高生产力，并将其直接转化为货币价值。
“在客户服务这类领域，如果能够减少转接的电话数量，让客服人员更快地完成工作，或者如果你是向第三方支付呼叫中心成本，那么这些都能立即转化为实际的金钱节省，”Martin（马丁）说。
根据BCG的调查，47%的员工表示，借助生成式AI，他们每天能节省一个多小时的时间，且大多数人会利用这段时间完成更多工作。此外，44%的员工表示会将节省的时间用于处理战略任务，34%的人会用于追求个人职业发展。Martin（马丁）表示，许多公司同时实现了这两方面的成果，在降低成本、提高生产力的同时，也在对未来进行投资。“他们确实在认真思考AI在企业中的意义。”
五、业务增长
公司通过削减成本所能获得的价值是有限的。但如果公司能够找到开拓新业务或进入新市场的方法，那么潜在的收益几乎是无限的。
在ESG调查中，公司采用生成式AI的第三大动机是提升创新成果。事实上，84%的公司表示AI已经在加速他们的创新步伐。这可能会带来新的业务机会，在某些情况下，即使是短期内，这些机会也是可以量化的。例如，Flexential通过在公司网站上设置与特定类型内容相关联的AI聊天机器人，成功吸引了更多潜在客户。
Mallory（马洛里）说：“我们发现，为潜在客户安排的会议数量增加了大约五倍。然后我们将其与销售机会的渠道和成交率相关联。所以我们有非常具体的数据，而且这对我们的团队非常有效。”
Flexential还迅速为其销售团队推出了AI销售支持功能，销售人员现在可以获取会议记录、营收情报以及开展新业务所需的其他资源。
“当销售人员掌握了正确的信息时，他们的工作效率就会更高，”他说。而且当销售人员能够借助AI更好地预测如何为客户提供服务时，成交率也会更高。
KPMG（毕马威）负责美国客户与市场的全国管理负责人Todd Lohr（托德·洛尔）表示，总体而言，更多公司应该关注潜在的增长，以及AI驱动的转型可能带来的风险。
“AI正在冲击你的商业模式，”他说，“它正在颠覆你的业务以及行业的进入壁垒。从长期来看，为了确保组织的可持续性、成功和可行性，你应该更多地从商业模式的角度去思考这个问题，而不仅仅局限于运营模式。”
根据IBM的调查，68%的首席执行官表示AI正在改变他们认为的核心业务领域。这些改变并不一定能立即体现在投资回报率上，但随着商业模式的变化，它们对公司的长期生存至关重要。而且很多这样的改变都是由AI引发的。因此，61%的首席执行官表示竞争优势取决于谁拥有最先进的生成式AI，也就不足为奇了。
Lohr（洛尔）说：“我们的客户不再问AI是否会改变他们的业务。他们现在问的是它能多快部署到位。这不仅仅关乎技术的采用，更是关乎根本性的业务转型，这需要重新构想工作的完成方式以及衡量方式。”
六、拥抱不确定性
KeyBanc Capital Markets的股票研究分析师Jackson Ader（杰克逊·阿德）表示，事实上，CIO们往往并不清楚他们的AI项目的ROI是多少。在他对CIO的研究中，他发现大家对ROI的预期各不相同。
他说：“我不认为CIO们在人工智能上投入数百万美元，却只期望获得个位数的ROI。我认为更有可能的情况是，我们仍处于实验阶段。”
作者：Maria Korolov（玛丽亚·科洛洛夫）
Maria Korolov（玛丽亚·科洛洛夫）是一位报道AI和网络安全的获奖科技记者。她还写科幻小说，编辑一本科幻和幻想杂志，并主持一个YouTube节目。
睿观：
当前关于AI（人工智能）项目的评估存在一个明显的悖论：一方面，调查显示绝大多数试点项目（POC）以失败告终（失败率可高达88%）；另一方面，许多公司又声称从AI投资中获得了积极的投资回报率（ROI）。文章解释，这种看似矛盾的现象源于对“成功”的定义不清。试点项目的高失败率是“快速试错”以筛选创意的正常且健康的过程，其成本应被视为研发投入，而非用于计算最终的ROI。因此，衡量AI成功的真正指标不应是POC的存活率，而应转向与业务成果紧密相关的指标，其中客户满意度与留存率是最佳的替代指标，其次是可量化的成本削减和业务增长（如销售线索增加）。CIO（首席信息官）应拥抱这种不确定性，将关注点从“有多少项目投产”转向“投产的项目带来了多少价值”，并通过客户、成本和增长这三大维度，来清晰地衡量并证明AI对企业核心商业模式的长期、根本性贡献。
在AI的创新赛场上，试点项目的高失败率，不是通往成功的“绊脚石”，而是筛选出冠军选手的“预选赛”。
