公有云以及对数据治理的重视，为这家资产达390亿美元的金融机构在人工智能领域的成功奠定了基础。该公司的人工智能负责人认为，那些用传统方法计算人工智能投资回报率的CIO（首席信息官）们，很可能会错失良机。

图源：Prem Natarajan / Capital One

生成式人工智能几乎在各个方面都在重塑IT行业。然而，资产达390亿美元的Capital One公司的人工智能战略负责人发现，许多首席信息官在计算生成式人工智能成本时出现严重偏差，以至于在制定生成式人工智能战略时做出“不可挽回的错误决策”。

Capital One企业人工智能执行副总裁兼负责人Prem Natarajan（普雷姆·纳塔拉詹）表示，生成式人工智能成本的经济模式变化极为迅速，试图用传统财务工具来计算和预测人工智能投资回报率是行不通的。

Natarajan（纳塔拉詹）在接受笔者采访时表示：“在过去22个月里，在性能相当的基础上，推理成本降低了超过1000倍。（两年前）做一次推理需要花费10美元，现在只需要1美分。在成本变化如此巨大的环境下，任何以近期稳健的投资回报率预测作为投资生成式人工智能的理由都很可能失败。”

Natarajan（纳塔拉詹）将这种经济变化形容为“处于代际拐点的阵痛之中”。他认为，鉴于首席信息官们“面对跨越代际的技术时执着于计算投资回报率”，采用这种方式预测投资回报率的首席信息官们“正在做出不可挽回的错误决策，这将使他们落后于时代”。

Natarajan（纳塔拉詹）于2023年3月从亚马逊跳槽至Capital One公司，他在亚马逊担任Alexa人工智能副总裁近五年时间。他估计，在Capital One公司，他负责管理的“几百PB（1PB=1,024TB）的数据，在‘几年内’将接近EB（1EB=1,024PB）规模”。Natarajan（纳塔拉詹）称，这些海量数据是Capital One公司充分利用人工智能的关键资产，他认为数据治理和数据可访问性是人工智能取得成功的另外两个关键因素。

Moor Insights & Strategy负责跟踪人工智能领域的副总裁兼首席分析师Jason Andersen（杰森·安德森）表示，Natarajan（纳塔拉詹）对首席信息官们在投资回报率问题上的看法是有道理的。Andersen（安德森）称：“像Capital One公司这样的企业，在如何部署人工智能以及构建人工智能应用方面，正变得越来越明智。现实情况是，我们从未见过一项技术的发展趋势如此之快——前所未有的快。”

Andersen（安德森）补充道，这种快速变化让许多IT高管措手不及，因为过去一直行之有效的方法如今不再适用。他说：“以这种前所未有的速度发展，过去那些试图确定投资金额的老方法，如今已不再管用。如果你用传统方法，根本无法理解其中的变化。”

虽然Andersen（安德森）认同推理成本已大幅下降，但他表示：“现实情况是，与两年前相比，如今我们要求人工智能完成的任务更加复杂，查询的复杂程度可能提高了1000倍。”

一、借助云技术与数据实现发展

当Natarajan（纳塔拉詹）于2023年3月加入Capital One时，ChatGPT才刚刚诞生四个月。尽管当时生成式人工智能已经被使用了大约15年，但直到OpenAI推出ChatGPT，它才在企业高层和董事会的关注中崭露头角。

Natarajan（纳塔拉詹）说：“我在Capital One的头八到九周令人异常兴奋。我们每周至少开三次会，每次会议都持续好几个小时。到五月底，我们确定了前进的方向。到六月，我们就真正开始动手实干了。”

他说，对于几乎任何形式的人工智能而言，“数据优势就是人工智能和机器学习的优势”。

Natarajan（纳塔拉詹）强调：“我们拥有的大量专有数据是一项重要资产，能够在构建生成式人工智能应用和能力的过程中发挥作用，使我们脱颖而出。” 他强调，他们的评估表明，“不能使用闭源模型，因为无法对这些模型进行有意义的定制。”

最终，Capital One人工智能团队选择使用Meta的开源Llama大语言模型，并在Natarajan（纳塔拉詹）加入这家金融服务公司之前就已建立的公有云基础上着手构建人工智能解决方案。

Natarajan（纳塔拉詹）解释说：“Capital One是第一家——到目前为止也是唯一一家——全面采用公有云的银行。他们在两年时间里关闭了所有的数据中心，并将所有业务迁移到了AWS（亚马逊网络服务）。我们成为了云原生开发者。”

Capital One公司雇佣了大约14,000名IT专家。Natarajan（纳塔拉詹）表示，在这家公司，人才固然关键，但数据同样重要——或许数据更为重要。

他问道：“你可以打造一个一流的科技团队，但你不可能在一夜之间创造出三十年的数据。你也买不到这些数据。谁会卖呢？我们所说的数据非常深入，不仅仅是从Visa或Mastercard（万事达）那里能获取的交易数据。”

根据Natarajan（纳塔拉詹）的说法，数据质量和可发现性也是首要关注点。企业的数据存储中可能蕴藏着数万亿的有价值信息，但如果数据不干净或难以发现，这些信息就无法被利用。

他说，非结构化数据尤其“在很大程度上超出了传统机器学习算法的处理范围。所以，一直以来，蕴藏在非结构化数据中的所有信息和能力都被埋没了，直到生成式人工智能的出现。”

至于困扰许多生成式人工智能应用的数据可靠性问题，包括产生幻觉等问题，Capital One公司通过严格限制查询范围，只允许查询公司自有数据中的信息，从而避开了大部分此类问题。

Natarajan（纳塔拉詹）说：“我们不必满足世人对随机信息的好奇心。我们（只）是试图为那些对特定事物感兴趣的客户解答问题，而这些答案来自我们精心整理的知识库和数据库。我们只回答我们有答案的问题。”

该公司还定制了数据保护措施，通过人工参与严格检查人工智能的输出结果，并广泛运用RAG（检索增强生成）技术 。

Natarajan（纳塔拉詹）说：“我们试图减少人工修改答案的次数。理想情况下，我们希望将其降为零。每次人工进行修正时，你都要从中学习。”

他表示，Capital One公司的智能客服服务模式已经取得成效，帮助客服人员更高效地解决客户问题。

他解释道：“例如，如果客户打电话询问一笔被拒绝的信用卡交易是否会计入他们的每日信用卡限额，我们的客服人员可以使用这个工具实时快速搜索相关信息，从而比以往任何时候都更快地提供可靠信息。与传统的非生成式人工智能工具相比，使用这个工具后，高度相关的搜索结果从84%提升到了93%。”

该公司还部署了一款名为Chat Concierge的智能人工智能工具，以帮助那些通过Capital One公司提供汽车贷款的汽车经销商。

Natarajan（纳塔拉詹）说：“Chat Concierge由多个逻辑智能体组成，它们协同工作，模仿人类推理方式，不仅为客户提供信息，还能根据客户的请求代表他们采取行动。在一次对话中，Chat Concierge可以执行诸如比较不同车辆，帮助购车者做出最佳选择，以及安排试驾或与销售人员预约等任务。一些汽车经销商报告称，使用该工具后客户参与度提高了多达55%，而且自今年早些时候部署以来，我们已将其延迟降低了5倍。”

二、为成功做好数据准备

对Natarajan（纳塔拉詹）而言，成功的秘诀完全在于数据——数据治理、数据质量、数据可靠性以及数据可发现性。

Natarajan（纳塔拉詹）表示：“如今，许多试图进行生成式人工智能转型的公司，如果不把主要精力转向准备好数据，就不会成功。生成式人工智能技术非常擅长从大量数据集合中学习细微模式。（但）如果不给它们大量数据，其功能就会受到根本性限制。它们只能从所接触到的事物中学习模式。”

Moor公司的Andersen（安德森）称，做出合理的架构决策也有助于影响生成式人工智能项目的成果。他指出，就Capital One公司而言，选择部署开源模型是一个明智的决定。

他说：“这体现了一种当今许多企业都没有的成熟思维。”他还补充道，在可用模型方面保持灵活性也至关重要，Capital One公司选择AWS（亚马逊网络服务）作为其云平台，就凸显了这一点。

Andersen（安德森）提到：“亚马逊表示，（他们）支持多种不同的模型。与谷歌和微软不同，他们不会过度依赖自家内部模型。”他还表示，采用AWS的方式能够带来“最大的灵活性和适应性”。

作者：Evan Schuman（埃文·舒曼）

Evan Schuman（埃文·舒曼）从事IT问题报道的时间比他愿意承认的要长得多。作为零售技术网站StorefrontBacktalk的创始编辑，他曾在CBSNews.com、RetailWeek、Computerworld和eWeek担任专栏作家，其署名文章也出现在《商业周刊》《风险投资》《财富》《纽约时报》《今日美国》《路透社》《费城询问报》《巴尔的摩太阳报》《底特律新闻》和《亚特兰大宪法报》等刊物上。

译者：宝蓝

睿观：Capital One人工智能负责人警告，因AI推理成本正以千倍速度急剧下降，CIO若仍用传统财务方法计算其短期投资回报率（ROI），将是“不可挽回的错误决策”。其自身的成功正是建立在三大支柱之上：早已全面迁移至公有云的坚实技术基础、三十年来积累的无法复制的海量专有数据，以及基于开源模型和严格数据治理的审慎实施。这证明在AI的代际变革中，拥有并善用独特的、高质量的数据资产，远比执着于计算一个静态且很快会过时的ROI更为重要，前者才是真正的竞争优势所在。

金句：在AI的指数级变革前，手持传统ROI计算器的CIO，就像试图用量尺测量光速，注定会错失整个时代。