导读：每个人都希望拥有一套既具备 AI 惊人速度，又能保持人类高质量输出的系统。然而，一味地砸钱购买最庞大、最昂贵的“前沿大模型”就能解决问题吗？SaaS 巨头 Zoho 的高管在近期的 CIO 100 峰会上给出了否定的答案：构建AI 智能体（Agentic AI），关键不在于大模型本身的火力，而在于你如何设计其外围架构。
[图片：(CIO 100 纽约领导力论坛活动现场，Foundry 提供)]
在构建高效的 AI 技术栈时，上下文（Context）才是真正的王者，而算力与规模绝非万能解药。
“更小、更智能、更安全——这是 Zoho 在内部部署 AI 时所押注的核心策略。”Zoho 销售与大客户管理负责人 Ricky Thakrar 在纽约的 CIO 100 领导力论坛上表示。
作为一名业务负责人，Thakrar 敏锐地指出，业务端渴望 AI 的高效率与人类的高质量完美结合，但这二者往往存在天然的矛盾。无论你进行多少次模型升级或烧多少钱，都无法直接弥合这一鸿沟。唯一的出路是——通过卓越的架构设计来破局。
Thakrar 将这一理念浓缩为一个极具实战指导意义的公式：
更小（Smaller）：停止在所有任务上倾泻最大的算力火力，大多数日常任务根本不需要“杀鸡用牛刀”。
更智能（Smarter）：包裹在模型外围的“系统”，其决策价值远大于模型本身。
更安全（Safer）：在错误即将固化的节点进行人工验证，而不是等灾难波及下游才去补救。
在 AI 赛道上胜出的企业，绝不是那些单纯部署了最大模型或最复杂架构的企业，而是那些明白“模型是简单的，真正的难点在于构建正确架构”的组织。
想要走对方向，企业必须将“上下文层（Context Layer）”置于最高优先级。
Thakrar 一针见血地指出：GPT、Claude 和 Gemini 等前沿模型（Frontier Models）之所以做得极其庞大，很大程度上是为了弥补上下文的缺失。因为大模型不了解你的用户、你的业务流程或历史记录，它只能依靠自身庞大的参数量去“硬推理”用户的真实意图。
相反，如果你能构建一个极度丰富的上下文层（例如引入 RAG技术），企业完全可以依靠更小、能耗更低的模型来处理工作负载。“智能，正在从模型本身，转移到包裹它的架构中。”
Zoho 早期曾部署过一个“客户流失管理智能体”。当客户订阅不再活跃时，该智能体会抓取会议记录、销售笔记等上下文，自动生成流失原因摘要并安排挽回电话。
“结果几周后，我的团队彻底不再信任这个智能体了，”Thakrar 坦言。“因为我们漏掉了一个致命的业务细节。”
在 Zoho 的 CRM 中，当客户将多个单品打包升级为“套餐”时，原来的单品状态会被标记为“非活跃”。这本是正常的业务升级，却被智能体误判为“客户流失”。虽然技术团队在 V2 版本修复了这个问题，但紧接着又出现了试用版转正式版时的误判问题。
由于缺乏销售经理脑中的“隐性上下文”（比如销售主动建议客户降级或换产品），智能体频繁误报，导致销售团队不得不重新花时间人工核查。这告诉我们一个深刻的教训：脱离了真实业务上下文的 AI，不仅无法提升生产力，反而会消耗团队的信任。
基于这些血泪经验，Zoho 得出结论：受约束、上下文丰富且确定性的架构，其表现永远优于那些直接硬套在碎片化系统上的昂贵大模型。这一切归结为三大支柱：
将工作负载精准分发给最合适的模型。只要给足上下文，一个廉价的、百亿参数级别的小模型就能完美搞定任务，根本不需要调用前沿大模型去“大炮打蚊子”。“我们发现，对于某些客户，使用一个 30 亿参数的小模型，就能帮他们节省 95% 的成本。”
所谓的“驾驭工程（Harness）”，就是围绕 LLM搭建的软件基础设施脚手架，这也是智能体与普通聊天机器人的本质区别。
模型只负责推理，而框架负责将模型与外部工具、系统内存、安全护栏以及执行环境连接起来，让 AI 真正“行动”起来。“在基准测试中，普通模型搭配卓越的框架，其结果完胜顶级大模型搭配劣质的框架。”
此外，必须区分工作流中的“确定性”与“非确定性”任务。机器擅长阅读、组织和验证（确定性）；而人类擅长判断、综合与决策（非确定性）。在非确定性节点引入“人类闭环（Human in the loop）”，让 AI 提供草案，让人类进行微调，这才是最高效的人机协同。
当一个智能体在业务中被验证有效后，企业就该停止为这项常规任务持续支付“前沿模型”的昂贵 API 费用了。
真正的专业化，是捕获内部业务专家的最佳判断逻辑，去微调（Fine-tune）一个开源的、开放权重（Open-weight）的小模型，并将其部署在企业自己的数据中心里。
“企业级 AI 的终极战略是：将代表着你核心知识产权与业务Know-How的‘编排层’，死死掌控在自己手里。企业的终极目标，应该是运行、训练并托管属于自己的模型。”
全文：更小、更智能、更安全：如何在正确的基础上构建AI 智能体
在上周于纽约举行的 CIO 100 领导力现场活动中，Zoho 的销售与大客户管理负责人分享了该软件提供商在部署高效的AI 智能体（Agentic AI）过程中所汲取的经验教训。
[图片： CIO 100 活动现场图]
在构建行之有效的 AI 技术栈时，上下文（Context）才是王者，而纯粹的模型能力并没有人们吹捧的那么神乎其神。
“更小、更智能、更安全——这是我们在内部部署 AI 时所押注的策略。”热门云端销售、营销和财务软件解决方案提供商 Zoho 的销售与大客户管理负责人 Ricky Thakrar 说道。
“我身处业务一线，因此我们的 CIO 和 IT 团队所做出的决策，会直接影响到我以及我团队的工作流与业务流程，”他补充道。
在上周的 CIO 100 领导力现场活动中，Thakrar 面向满座的技术领袖解释道，每家公司都渴望将 AI 生成的速度与人类工作的质量结合起来，尽管这两者在本质上是背道而驰的。无论投入多少资金或进行多少次模型升级，都无法填补这一鸿沟，唯一的出路是通过卓越的架构设计来破局。Thakrar 用一个简单的公式概括了这一理念：
更小（Smaller）：停止在每项任务上都部署最大火力的模型。许多任务根本不需要它。
更智能（Smarter）：包围在模型周围的系统，比模型本身起着更具决定性的作用。
更安全（Safer）：要在错误即将被固化的节点进行验证把关，而不仅仅是在错误流向下游后才去补救。
他指出，能在 AI 浪潮中胜出的组织，绝不是那些部署了最庞大、最强悍模型或最复杂架构的公司；而是那些领悟到“模型本身是简单的，构建正确的架构才是难点”的组织。这意味着企业必须认识到，最困难的要素，同时也是最大的差异化竞争优势，在于构建一个能够与智能体系统共同学习、产生复利效应的人类系统。
为了做到这一点，组织需要将“上下文层（Context Layer）”置于最高优先级。Thakrar 解释说，像 GPT 系列、Claude 和 Gemini 等前沿模型（Frontier Models）之所以做得那么大，主要是为了弥补缺失的上下文。在缺乏足够上下文的情况下，模型必须更费力地去推理和揣测用户的真实意图，因为它根本不知道用户的账户情况、业务流程或历史记录。而一个极其丰富的上下文层，能够让企业在规模更小、能耗更低的模型上完美运行工作负载。
“智能，正在从模型本身，转移到包裹着它的架构体系中，”他说道。
一、陡峭的学习曲线
Zoho 最早开发的 AI 智能体之一，是一个帮助大客户管理团队检测客户订阅流失风险的“流失管理智能体”。当某个客户的订阅变为非活跃状态时，该智能体会从备忘录、会议录音以及 Zoho 的数据丰富工具中收集上下文，随后生成一份关于账户流失潜在原因的摘要，并自动预约一次挽回电话。
“实际情况是，几个月后我拿到了这个已经嵌入 CRM 的流失智能体，但仅仅不到一周，我的团队就彻底不再信任它了，”Thakrar 坦言。“原因是我们忘记收集一个极其关键的数据点。”
在 Zoho 的 CRM 中，当客户打包购买一组产品时，该套餐会显示为一个单独的明细项。这意味着，客户之前单独购买的任何产品的状态，在被移入套餐时都会变更为“非活跃”。这根本不是流失，却被系统误判为了流失。Zoho 在该智能体的第二个版本中修复了这一缺陷。
紧接着新问题又出现了。许多潜在客户最初购买 Zoho 产品是作为试点或沙盒环境使用的。当这些客户从试点转为正式的生产环境时，他们会关闭试点版本。同样地，CRM 系统又将其记录为订阅失效。
“因为大家对 V2 版本抱有很高的期望，结果信任度再次崩塌了，”Thakrar 说道。
有时候，某款特定产品可能并不最适合某个客户，Thakrar 的团队会主动建议客户更换到另一款产品。这是刻意的业务调整，而非流失风险。
“你可能也经历过类似的故事：这个智能体听起来非常棒，它能快速执行任务并带来价值，但它唯独缺失了来自大客户经理大脑中的上下文。我们还有太多的业务拼图需要完善，”Thakrar 说道。“快一年过去了，我现在面临的问题是，我的团队依然不信任它。他们看到（智能体发出的流失警告信息）后，依然会亲自去翻查所有的背景资料，以确保 AI 给出的答案是正确的。”
尽管团队现在对潜在流失客户的把控度更高了，但承诺中的“生产力提升”却迟迟未能兑现，因为智能体必须努力去赚回由于缺乏上下文而丧失的团队信任。
“我今年的目标是，打造一段由 AI 辅助的、从销售端到账户管理端的无缝客户旅程。在这里，工作交接一尘不染，上下文信息如流水般顺畅，我们收集到的关于客户的每一条信息都被精准地加权、识别和引导，从而帮助销售团队赢下更多订单，”他说道。
Zoho 在智能体上的早期经验让他们坚信：受约束、上下文丰富且确定性的架构，其表现将始终碾压那些硬挂载在碎片化系统上的昂贵模型。这一切都归结为三大支柱：路由、编排框架与专业化。
二、路由 (Routing)
路由是指将工作负载精准发送给最适合该任务的模型。这需要在执行特定任务时提供充足的上下文，以便一个小型、廉价的模型就能轻松应对，而不需要调动庞大的推理算力去填补认知空白。
前沿模型极其昂贵，企业可能在几个月内就会烧光一整年的 Token 预算。但实际上，大多数任务完全可以由规模更小、更受约束的模型来处理，且成本只有前者的几分之一。
“你没必要在每一项任务上都给那些前沿大厂交‘过路费’，”他说道。“我们观察到，对于某些客户而言，使用一个 30 亿参数的模型，就能为他们节省 95% 的费用。”
三、驾驭工程/编排框架 (Harness)
AI 智能体驾驭工程框架（Harness）是围绕大语言模型（LLM）搭建的软件基础设施脚手架，这也是智能体与普通聊天机器人拉开本质差距的地方。它赋予了智能体执行任务（Act on tasks）的能力，而不仅仅是回应提示词。模型负责对问题进行推理并决定采取何种对策；而编排框架则负责将模型与执行这些对策所需的工具、系统、内存、安全护栏以及执行环境连接起来。这个术语在业界通常与“编排层（Orchestration layer）”互换使用。
“包围着模型运转的过程，其重要性远远超过了模型本身，”Thakrar 说道。
在基准测试中，即使是在一个性能较弱的模型上搭载卓越的编排框架，其产生的结果也要优于在一个极其庞大的模型上搭载劣质的编排框架。
Thakrar 指出，为了获得最佳结果，至关重要的一点是必须厘清特定工作负载中的“确定性”与“非确定性”要素，并将其融入架构设计中。机器能够读取、组织和验证数据，它们在“确定性任务”上表现优异。另一方面，人类在判断、综合与决策等“非确定性任务”上具有得天独厚的优势。
流程中的这些非确定性任务，正是 AI 智能体将“人类引入闭环（Human in the loop）”的绝佳介入点，Thakrar 将其称为“人类框架（Human harness）”。他以 Zoho 为销售团队构建的“利益相关者图谱智能体”为例：该智能体能够提取初次会议的上下文，结合第三方充实数据（如 LinkedIn 个人资料），权衡各种可能性，并对目标公司的利益相关者图谱做出有根据的推测。
“我们最初的目标是彻底把这项任务从人类工作流中消灭掉，”他说道。“（理想状态是）图谱自动生成，存入文件夹，你直接看就行了。”
但智能体很难捕捉到复杂的业务细微差别。在不同组织中，职位的真实含义往往大相径庭，而任何一场会议背后的政治博弈和人际动态，对于 AI 智能体来说都极难洞察。与其不断向智能体投喂数据，试图让它聪明到能够做出终极裁决；不如采用一种更简单、更高效的模式：由智能体生成一份草案，然后移交给人类进行修改，并由人类标注修改的原因。
Thakrar 表示，最终来看，该智能体依然为团队成员节省了大量时间，因为它生成的草案通常已经非常接近真相了；而人类的纠错，也通过注入更丰富的上下文，帮助模型变得越来越聪明。
四、专业化 (Specialization)
专业化是指将业务流程从“前沿模型的测试阶段”，平滑过渡到“更窄、更小模型的生产阶段”。一旦你证明了某个智能体能够出色地完成某项工作，你就应该停止为了完成这单项任务，而持续去支付“大师级工匠（前沿大模型）”的高昂出场费。
专业化的核心，是捕获内部主题专家（SME）的最佳判断逻辑和模式识别能力，从而构建一个开放权重（Open-weight）、开源、经过专属训练和微调的模型，并将其直接部署在企业自有的数据中心里。
“真正的企业级战略是：将代表着你们核心知识产权与业务知识的‘编排层’，死死保留在内部，”Thakrar 说道。“你绝对不想把这些核心资产托管在别人的模型上。企业里每个人的终极目标，都应该是能够运行、训练并托管属于自己的模型。”
AI 智能体(Agentic AI)：不同于只能“一问一答”的传统生成式 AI，智能体具备自主规划、使用外部工具（搜索、API 等）、并在环境中采取实际行动以达成复杂目标的能力。
前沿模型 (Frontier Models)：指目前处于技术最顶端、参数量极其庞大、具备最强通用推理能力的基础模型，如 OpenAI 的 GPT-4o、Anthropic 的 Claude 3.5 Opus、Google 的 Gemini 1.5 Pro。它们能力强大，但调用成本（API 费用）极为昂贵。
大语言模型 (LLM, Large Language Model)：通过海量文本数据训练的深度学习模型，是支撑 ChatGPT 等应用及 AI 智能体的大脑，负责理解自然语言并进行逻辑推理。
编排层 / 外围框架 (Harness / Orchestration Layer)：单纯的 LLM 只是一个只懂文字的“大脑”，而 Harness 则是为其装上的“手脚”和“工作流”。它负责连接数据库、设定安全规则（护栏）、路由任务以及接入企业内部 API，是决定 AI 能否在企业落地的关键架构。
RAG (检索增强生成)：虽然文中未直接使用此缩写，但提及的“上下文层 (Context Layer)”通常通过 RAG 技术实现。即在让大模型回答问题前，先从企业私有知识库中检索出相关的上下文资料一起“喂”给模型，从而避免模型产生幻觉，并使其回答更贴合企业实际。
