——95%的AI项目没赚到钱？顾问警告：别再守着“两套AI”了，请立即建立“AI盈亏中心”！
各位CIO和技术领袖：
你的企业是否正被“两套AI”撕裂？
第一套AI：是开发者的游乐场。光鲜、抢眼、上线快，但游离于管控之外（Shadow AI）。
第二套AI：是CIO必须捍卫的阵地。需要治理、合规、核算成本，却往往步履蹒跚。
May Habib曾指出，42%的《财富》500强高管觉得AI正在“撕裂他们的公司”。
更残酷的数据来自MIT：95%的企业GenAI项目对损益表（P&L）毫无可量化的影响。原因很简单：它们只是漂浮在表面的试点，从未真正嵌入工作流。
AI的“蜜月期”结束了。现在，CIO必须出手，将散兵游勇收编为正规军。本文将为你拆解如何通过“平台化”战略，将AI推理转化为企业的长期盈利引擎。
过去，我们把AI基础设施当成静态资源，或是直接复用训练时的大GPU集群来做推理。这是极其昂贵的错误。
训练是长跑，推理是百米冲刺：用巨大的训练集群来处理间歇式的推理请求，等于花兆瓦级的电费养“闲人”。
成本黑洞：财务部门很快会问你艰难的问题。现在重要的不是理论吞吐量，而是“美元/百万Token”。
【战略转向】
CIO必须建立“职责分离”：
基础设施团队：专注于平台，把Token成本压到极致。
数据科学团队：专注于模型精度与业务价值。
要将AI变成“盈亏中心”，技术战略必须从单纯的“扩容”转向“智能优化”。这直接决定了能否支撑当下最具变革性的两大创新：
杀手锏一：SLM（小语言模型）的崛起
大模型不是万能药。Gartner预测，到2027年，特定任务专用SLM的使用频率将是通用LLM的三倍。
优势：用企业数据精调的SLM，不仅更便宜，而且在特定任务上更准确，减少了昂贵的“幻觉”错误。
杀手锏二：智能体工作流（Agentic Workflows）的调度
下一代应用是“智能体”架构，一次查询可能触发多模型、多步骤。
挑战：这需要一个智能平台，能够根据缓存距离、硬件异构性（GPU/CPU/DPU），自动路由请求。
目标：把延迟和成本“砍到骨头里”。
云迁移时代，挡路的是安全和网络；AI时代，挡路的是“推理”。
推理带来了业务回报，涉及私密数据，但也成为了主要的运营成本。
【行动指南】
统一打法：建立统一的模型暴露方式和全链路可观测性。
混合部署：金融、医疗等强监管场景，推理必须在本地或边缘完成。通用云API无法满足主权要求。
治理即服务：建立治理层，让更广泛的模型、智能体在安全、可管的前提下落地。
结语
CIO的选择很明确：是继续为分散、飙升的AI成本买单，还是立即着手打造“AI盈亏中心”？
AI的未来不取决于我们训练了多少模型，而取决于我们从推理中获得了多少收益。别让你的企业被锁在“控不住风险”的替补席上。
图源：Credit: Lightspring / Shutterstock
当前，大多数企业其实同时运行着“两套AI”。
第一套AI光鲜、抢眼：由开发者主导的Copilot、客服场景里的RAG（检索增强生成）试点、有人在云笔记本里快速搭建的智能体PoC，以及悄悄嵌入SaaS应用的AI功能。它们上线快、效果炫，潜力十足，却通常游离于正式IT管控之外。
第二套AI是CIO（首席信息官）必须捍卫的：需要被治理、被核算成本、被安全加固，还得对齐董事会预期。这两套AI开始正面碰撞——正如May Habib所说，42%的《财富》500强高管觉得AI正在“撕裂他们的公司”。
与以往的技术浪潮一样，AI也逃不开这条路径：新技术始于开发人员的游乐场，然后成为首席信息官的烦恼，最终成熟为一个集中管理的平台。虚拟化、云计算、Kubernetes都走过这条路，AI不会是例外。
应用与业务团队已经可以使用强大的生成式AI工具，不用等12个月的IT周期就能解决真实问题——这正是生成式AI至今的最大功劳。然而，成功带来了扩展难题：企业现在需要处理多套RAG栈、不同模型厂商、SaaS里重叠的Copilot以及没有共享的护栏。
这就是2025年企业报告里中出现的紧张局势：AI价值分布不均，组织间摩擦力很大。我们已走到必须IT出手的节点——公司只能有一种AI打法：统一模型暴露方式、统一策略、更好经济学和全链路可观测性。麦肯锡（McKinsey）把这一步称为“建平台，让产品团队直接消费”。
AI的不同之处在于其带来的痛苦所在。云迁移时代，安全性和网络是最初的主要障碍；AI时代，挡路的是“推理”——正是它带来业务回报、涉及私密数据，也已成为主要运营成本。因此麦肯锡强调“重写系统以捕获价值”，而非继续增加试点。这与MIT（麻省理工学院）最新研究的结论一致：95%的企业生成式AI实施对P&L（损益表）毫无可量化的影响，因为它们未被嵌入现有工作流程中。
问题不是模型不灵，而是它们没被放到统一、受控的轨道上。
一、 平台化：通往治理与利润的必经之路
当下最大的错误是将AI基础设施当成静态、专用的资源。大模型与小模型并存、数据主权压力、成本削减刚需，三者交汇于一点：AI推理已成基础设施需求。解决方案不是再买硬件，而是首席信息官主导的平台化战略——把AI变成可问责、可管控的战略级基础设施服务。这需要强大的职责分离和实施一种智能扩展的理念，而不仅仅是简单扩容。
二、 建立职责分离，打造AI盈亏中心
我们必须把AI基础设施的管理提升为财务优先事项。这需要明确的分工：
基础设施团队完全专注于平台——确保安全性、管理分布式拓扑结构、把“每百万Token成本”压到极致；
数据科学团队则专注于业务价值与模型精度。
两边各尽其责，AI的账才能算得清、赚得到。
我称之为“AI盈亏中心”的这一框架，把资源选择变成直接撬动利润、确保合规的财务杠杆。多项研究指出，首席信息官们越来越多地被要求建立强有力的AI治理与成本控制框架，才能交付可量化的价值。
三、 从规模扩大转向规模智能优化
技术战略必须落地“Scale-Smart（智能扩展）”哲学：基于经济策略而非单纯负载，持续监控、分析、优化并部署模型。这需要深度智能，把模型需求与基础设施能力精准映射。运营范式之所以必须转变，是因为它直接决定了能否高效支撑当下最具变革性的两大创新落地：
SLM（小语言模型）
用企业专有数据精调的SLM，在特定任务上的准确率与上下文相关性远超通用大模型。这一举措不仅因为模型更小而省钱，还因为其更高的精度减少了昂贵的错误。多家机构报告显示，部署SLM的企业模型准确率更高、ROI（投资回报率）更快。Gartner预测，到2027年，特定任务专用SLM的使用频率将是通用LLM的三倍。
智能体工作流
下一代应用程序采用“智能体”架构：这意味着一次用户查询会触发多模型、多步骤。管理这种顺序多模型流，需要一个智能平台，该平台可以根据KV（键值）缓存距离来路由请求，并无缝执行自动预填充/解码拆分、闪存注意力、量化、推测性解码和模型切片等优化，这些优化可以在异构的GPU和CPU之间进行。简单来说就是：把延迟和成本砍到骨头里。
无论上述场景还是任何推理场景，要想把“每百万Token成本”降下两位数，只能靠统一平台：根据成本策略自动路由请求，并持续针对异构硬件调优。没有集中式管理（Centrally Managed）的推理栈，这件事根本做不到。
四、 解决当今AI推理服务的效率问题
传统“堆规模”思维——给训练留的大GPU集群直接复用到推理——正在失效，原因至少两条：
推理负载“尖峰+空闲”交替
训练是长跑，推理是百米冲刺兼摸鱼。用巨大集群来处理间歇式的请求，等于花兆瓦级电费养“闲人”。财务很快会提出艰难的问题：现在真正重要的不是理论吞吐量，而是“美元/百万Token”。Gartner调研显示，首席信息官们最头疼的就是生成式AI成本失控。我们要优化经济学，而不仅仅是理论性能。
部署格局“混合+边缘”是硬要求
金融、医疗等强监管场景，数据通常不能离开安全环境。推理必须在本地、数据边缘或专属机房完成，才能满足主权与驻留要求。试图通过通用云API端点强制关键任务工作负载往往无法满足这些严格的监管和安全要求，推动经过验证的企业模式向混合和边缘服务发展。再往下细看，硬件也是异构的——CPU、GPU、DPU和各类加速器，平台必须无缝统管。
五、 驾驭推理平台：首席信息官的基础设施级任务
统一平台不是要强制将所有内容都统一到一个模型上，而是为了建立治理层，让更广泛的模型、智能体、应用都能在安全、可管、经济的前提下落地。
从规模扩展到规模智能的转变，是技术领导者唯一能把散兵游勇变成正规军的抓手。AI的未来不取决于我们训了多少模型，而取决于我们从推理中获得的收益。
每位技术领导者的战略任务就是把自己升级为“平台主”兼“AI盈亏中心”的财务架构师。这种结构性变化确保数据科学团队可以继续以高速度创新，同时知道基础是安全、合规和成本优化的。
通过实施平台化并采用规模智能的方法，我们超越了不受控制的AI支出的“西部荒野”，获得了持久的、提高毛利率的竞争优势。首席信息官的选择很明确：继续为分散AI的飙升成本和混乱买单，或者立即着手打造AI盈亏中心，让推理成为企业长期盈利的引擎。
作者：Dante Malagrino（但丁·马拉格里诺）
译者：木青 编审：@lex
