——从POC到规模化，追踪LLM（大语言模型）成本的“颗粒度治理”与财务进化论
各位CEO和CIO：
AI的支出规模正以惊人的速度膨胀。Gartner预测，2026年全球AI支出将达到2万亿美元。管理咨询公司West Monroe的调查显示，85%的高管计划明年增加IT预算，其中42%认为扩大AI和数据能力是首要任务。
但“砸钱”的时代已经结束了。西门罗的CAIO Bret Greenstein指出，我们正在告别POC（概念验证）阶段，进入第一阶段、第二阶段的实际项目部署。
这带来了前所未有的压力：CIO必须证明具体的ROI（投资回报率），才能获得持续的资金。
睿信咨询将为您深度解析，顶级企业如何构建AI预算的“自负盈亏”模型，并解决AI特有的“成本波动性”难题。
传统的软件经济学认为：前期投入（开发、工程）是固定成本，运营成本相对可预测。
但AI打破了这个规则：
成本波动：AI的推断（inference）成本是变量，护栏和合规检查可能会带来额外成本。
非线性扩展：AI项目的规模化是非线性的，技术本身在不断变化。
遗留成本：遗留环境会增加复杂性和费用。这些“一次性成本”虽重，但对于避免长期低效至关重要。
【睿信咨询顾问建议】你不能再用传统的表格来预算AI。你必须接受“灵活”是AI预算的第一原则。
既然没有人有“额外的钱来做这件事”，CIO必须从遗留系统中“挖钱”，构建AI的自负筹资（self-funding）模型。
削减遗留，反哺AI：这是最流行的策略。财富500强保险公司正在将投资从遗留技术转向AI。例如，通过自动化将某项技术支出从100万美元降至90万美元，节省的10万美元就直接用于AI。
暂停低效投资：Principal Financial Group正在暂停低影响的投资，转而将资金重新分配到可扩展的平台和高价值用例上。
挤压供应商：企业正在向现有供应商施加压力，要求其降低成本。
【睿信咨询顾问建议】将AI投资视为公司内部优先事项的转变。如果某个遗留项目可以用AI完成或取代，就应该立刻成为资金转移的目标。
AI的成本波动性要求CIO必须将治理的颗粒度放得极细。
Principal Financial Group的CDAO Rajesh Arora介绍了他们的精细成本治理模型：
LLM成本预警：部署成本提醒，监控大型语言模型（LLM）运营操作（LLM ops），以标记异常并防止超支。
特征故事版本管理：由于不同版本的模型成本和性能可能差异巨大，他们通过该工具追踪软件变化，以及模型、数据和提示词，以确保可控性.
【睿信咨询顾问建议】你必须将AI成本管理升级到特征（feature）、模型和提示词级别。这是应对LLM可变性，实现“以AI管理成本”的战略重点。
最终，预算是为了交付价值。Arora建议，必须保持投资组合的平衡。
平衡战略与战术：既有短期的胜利（short-term wins）来积累势头，也有长期的创新来驱动战略优势和增长。
holistic view（整体视角）：Principal不仅追踪效率提升，更追踪风险降低、客户满意度提升和员工体验改善。
【最终建议】West Monroe的Greenstein总结道：那些进步的CIO们正在深思熟虑，构建治理模型，并围绕人工智能打造新的企业架构。
CIO们必须对AI所做的事情和原因保持认真思考，因为拥抱这一点的CIO们正在推动未来的企业。
随着企业逐步超越 AI 概念点，进入实际部署，CIO们被要求展示具体的投资回报率以获得资金，要从遗留项目转移资金，并为意外做好准备。
图源：Rob Schultz / Shutterstock
Gartner预测，2026年全球人工智能（AI）支出将达到2万亿美元，而今年为1.5万亿美元。管理咨询公司West Monroe Partners对300多名大型企业高管进行的调查显示，85%表示明年计划增加IT预算，其中很大一部分投入到人工智能。42%的高管认为，扩大人工智能和数据能力是技术投资的首要任务，91%表示人工智能导致他们的技术支出增加，近四分之三的人计划因人工智能增加对承包商的投入。
西门罗（West Monroe）的首席人工智能官（CAIO）Bret Greenstein说：“过去几年，许多公司都在做POC（概念验证），只是在摸索AI能做什么。”但现在一切都在改变。“我看到关于用例和POC的讨论少了很多，更多关注第一阶段（概念验证）、第二阶段（开发实施）项目，”他说。
他补充说，现在评估人工智能是否能做某件事已经不那么难了。“我可以看着某件事说，这完全可以被人工智能解决。”但这并不意味着CIO可以自主花钱。
在全球投资与保险公司Principal Financial Group，公司的首席数据与分析官Rajesh Arora表示，目前的重点是提供可衡量的业务价值。
他说：“我们正在将预算重新分配到可扩展的平台和高影响力的应用场景。”此外，公司正在实施严格的ROI（投资回报率）跟踪和成本治理。他说，这是因为公司正在超越实验性试点阶段。除了寻找可扩展的平台外，公司还在关注生命周期管理工具、数据基础和运营AI能力。
“这些解决方案将自动化流程，提升客户体验，构建新能力，并加强风险管理,”他说。“我们的目标是让每一分钱都更努力地工作。”这意味着有些东西必须被淘汰。
例如，公司正在暂停低影响的投资，转而专注于高价值的使用场景。他们正在收紧合同治理并重新谈判条款。还有自动化。“我们正在为LLM（大型语言模型）运营和功能故事版本开发部署成本提醒，以标记异常并防止超支,”他说。
LLMs对同一输出可能产生不同结果，不同版本的模型性能指标和成本也可能有很大差异。而特征故事版本管理则追踪软件变化，以及模型、数据和提示词。所以归根结底，人工智能正在成为管理成本的战略重点。
Arora的经历并非独特。各类企业在从POC转向大规模部署时，都在为AI支出而苦恼，这通常意味着面临新的投资回报需求、将资金从遗留项目转移到AI项目，以及难以应对技术债务。
一、推动证据呈现
为了证明其人工智能投资物有所值，Principal追踪效率提升、风险降低、客户满意度提升以及员工体验改善。Arora表示，这为AI创造的价值提供了整体的视角。
“我们的做法是保持投资组合的平衡,”他说。这意味着既有短期的胜利积累势头，也意味着推动战略优势和增长的长期创新。他补充道：“随着人工智能能力的成熟，我们必须更加有意识地定义成功并确保长期可持续性。”
小型公司的科技高管也不得不展示他们AI项目的成果。JBGoodwin Realtors在奥斯汀和圣安东尼奥设有四个办事处，拥有800名经纪人、合作伙伴和员工，所有人都全力投入人工智能，公司技术与运营副总裁Edward Tull表示。
“CEO每天都用它,”他说。“所有特工也都在用，我们也批准花更多钱。”但他必须展示ROI。 “我必须证明这一点,”他补充道。“我花一点钱，证明用途，然后再多花一点。”例如，人工智能可能带来更高的效率，为了证明这一点，他可能会同时运行两个流程，一个用传统方式，另一个用AI。
Gartner分析师Melanie Freeze表示，专注于能够节省成本的AI项目是展示成果和积累动力的好方法。“我们知道这还能带来其他非成本考虑和长期价值。”例如，在基础设施和运营领域，她认为可能的优势包括云成本管理、IT服务支持以及整体员工生产力提升。
“你可以获得成本优化，同时也能获得创新、效率、优化人才管理等其他价值,”她说。
二、优先事项的转变
另一种为AI项目，尤其是尚未有明确投资回报的实验性项目支付资金的方式，是从其他领域拿钱。JBGoodwin的Tull说他就是这么做的。“我会减少我们花在其他东西上的钱，来抵消我在人工智能上的花费,”他说。
西门罗的Greenstein说，每个人都想成为以人工智能为中心或人工智能原生的国家。“但除非这对公司来说是生存攸关的，否则没人有多余的钱来做这件事,”他说。因此，将资金从遗留项目转移到人工智能是一个流行的策略。
“这是公司内部优先事项的转变,”他说。“他们会审视自己的投资，问有多少因为AI已经不再需要，或者有多少可以用AI完成。此外，他们还在给供应商施加压力，要求他们降低成本。他们确实在挤压现有供应商。”
即使是大型、技术先进的公司，也可能不得不做这种平衡。
“我们并没有为人工智能创造全新的配置,”一位财富500强保险公司的高级技术高管说。“我们还在研究人工智能预算的具体机制。”
相反，公司正在从其他领域开拓资金。
“目前人工智能处于自负筹资模型,”他说。“我们正在将投资从传统技术转向人工智能。”例如，他说，如果公司在某项技术上投入一百万美元，并利用自动化将其降至每年90万美元，节省的10万美元可以用于AI。
他说，有时公司可以免费获得新的人工智能，因为厂商会为现有产品添加人工智能功能或代理能力。但其他平台对新功能收取额外费用。“不过，部分问题是解决方案本身固有的，但成本并不会真正改变,”他说。他补充说，这可能会在2026至2027年间演变为新的资金。但他说，随着公司人工智能的持续成熟，融资模式也将不断演进。
“随着我们展示能够带来高业务价值或效率提升的能力，我们将看到这种变化,”他说。“然后我们会转向额外的投资注入以加快进程。”
三、为意外做准备
IT项目的预算从来都不简单，但人工智能带来了新的挑战。前所未有的变革速度就是其中之一。
“我现在做的任何建模工作，六个月后都不会有效,”Publicis Sapient首席产品官Sheldon Monteiro说。这并不总是坏事。例如，他说，过去两年某些模型的每代币价格大幅下降。但另一方面，总有更新更好的型号、使用率增长以及性能的不可预测。
“传统软件经济学中，前期成本如开发、工程或基础设施，但一旦有了固定成本，运营成本相对可预测且可控,”他说。不过，人工智能的推断成本是可变的，他说，护栏和合规检查可能会带来额外成本。游戏的扩展也是非线性的，科技本身也在不断变化。
“你需要能够展现实力,”Monteiro说，“而且要认识到现在，胜负很难分辨。”
预算的另一个挑战是人工智能对人员、系统和数据的要求。Principal的Arora表示，管理AI成本的最大挑战之一是人才。“技能差距和跨团队依赖会拖慢交付速度并推高成本,”他说。
此外，法规不断演变的问题，以及不断调整治理框架以保持韧性应对这些变化的需求。组织也常常低估培训员工所需的资金，以及将数据和其他基础系统与人工智能需求保持一致。
“遗留环境会增加复杂性和成本,”他补充道。“这些一次性成本虽高，但对于避免长期低效至关重要。”
最后，当人工智能技术真正从概念节点（POC）转移到生产环境中时，结果往往与企业预期大不相同。
“现在有太多未知,”IEEE会士、塔夫茨大学工程研究生院院长Karen Panetta说。“人们认为它是人类的替代品，但事实并非如此。而且你会发现以前不用担心的新区域。”例如，许多公司希望利用人工智能代理替代客户服务或支持团队。
“真的很吸引人,”她说。“现在有10个人接电话，感觉AI会替这10个人做活。但我设计的是正常流程，那所有例外情况怎么办？这样你就遇到了愤怒的客户，或者它坏了无法使用。那安全怎么办？以前，我们有人类来侦测这些东西。”
她说，CIO们必须对他们对AI所做的事情以及原因感到认真思考。
许多CIO已经从管理成本和风险，转向数据管理和洞察力的推动者，并与业务单元更加紧密。现在他们可以安全地且高效地成为人工智能的推动者。
“有些CIO在AI工具刚发布当天就封锁并设置了防火墙,”西门罗的Greenstein说。“这阻止了公司被采纳。那些进步的企业正在深思熟虑，构建治理模型，并围绕人工智能打造新的企业架构。那些拥抱这一点的CIO们正在推动未来的企业。”
