在关键节点将生成式人工智能插入工作流程可以最大限度地发挥其有效性，同时最小化成本。一些首席信息官对此充满热情；而另一些则持怀疑态度。
图源：Tirachard Kumtanom / Shutterstock
【睿观：生成式人工智能在工作流程中的应用前景广阔，但企业在实施过程中需要仔细规划，选择合适的应用场景，并注意成本控制和人机协同。通过合理应用生成式人工智能，企业可以实现效率提升和成本降低。
核心观点：在关键节点引入生成式人工智能，可以显著提升工作效率，同时最大程度地降低成本。
时机至关重要： 生成式人工智能应在需要时激活，以保证信息的实时性和相关性。
成本控制： 生成式人工智能的成本较高，因此需要合理规划，在必要时使用。
RAG技术： 检索增强生成（RAG）技术可以降低成本，提高生成质量。
广泛应用： 生成式人工智能可以应用于多个领域，如IT服务、客户服务、软件开发等。
人机协同： 人工智能应与人类协同工作，确保结果的准确性和可靠性。
以防万一： 生成式人工智能应作为一种备选方案，在需要时提供支持。
Just-in-time AI: 通过在恰当的时机激活AI，企业可以实现高效的资源利用，降低成本。
RAG技术: RAG技术通过减少对自定义模型训练的需求，降低了AI应用的成本。
人才需求: 预训练模型的出现降低了对高价数据科学人才的需求，企业只需将AI组件集成到应用程序中。
广泛应用场景: 从IT服务到客户服务，生成式AI在各个领域都有广泛的应用前景。
人机协同的重要性: 人工智能需要与人类协同工作，以确保结果的准确性和可靠性，并避免偏见和幻觉。
以防万一的策略: 生成式AI应作为一种备选方案，在需要时提供支持，以确保业务的连续性。】
就像几十年前日本的“看板”-Kanban techniques（是一种起源于日本的生产管理技术，主要用于制造业中实现高效的生产流程管理。Kanban/看板是一个日语词汇，字面意思是“信号卡”，在生产制造环境中，看板作为信号卡，通知上游工序继续生产。除非从下游获得看板信号，否则每个工序中的工人不准进行额外生产，这符合精益思想中的“拉动式生产”。）彻底改变了制造业一样，随着公司开始涉足生成式人工智能，类似“just-in-time（JIT，准时生产，是一种生产管理方法，主要用于减少库存、缩短生产周期、降低成本并提高生产效率。其核心思想是在需要的时候，按需要的量生产所需的产品，通过计划的制定和控制以及库存的管理，追求一种无库存或库存最小的生产系统。）”的方法也在带来回报。
“时机至关重要。你不想提前太多完成工作，因为你需要实时的背景信息。我们在恰当的时候激活人工智能。”金融服务公司TIAA（美国教师退休基金会，是一个为全美教师设立的退休养老基金体系，成立于1918年，总部位于纽约，主要服务于教育事业和非赢利性的组织，核心业务包括退休基金、养老基金和个人保险等。世界上最大的退休保险公司和重要的公共投资团体。）的首席运营、信息和数字官Sastry Durvasula（萨斯特里·杜尔瓦苏拉）说。
TIAA推出了一个生成式人工智能应用项目，在其内部被称为“Research Buddy/研究伙伴”，它根据需要从公开文件中为TIAA的资产管理部门Nuveen（是由美国教师退休基金TIAA全资拥有的投资管理公司，成立于1918年，拥有125年的历史。Nuveen管理着超过1.3万亿美元的资产，覆盖全球50多个国家和地区，为超过500万在职及退休员工提供服务。）收集相关的事实和见解。
“当研究分析师需要研究时，人工智能就会被激活。它接收分析师的输入，为分析师的问题提供答案，并生成报告。”Durvasula（杜尔瓦苏拉）解释说。
然而，及时性并不是运用just-in-time approach to AI（是一种动态调整计算资源的方法，是在人工智能领域中，特别是在机器学习模型训练和部署过程中，采用即时处理和优化的方法。这种方法的核心思想是在需要时才进行计算和处理，以减少资源浪费和提高效率。）的唯一原因。生成式人工智能处理的费用加重了砝码。“人工智能的成本可能高得惊人，而且并不总能以商业价值来证明。”Durvasula（杜尔瓦苏拉）指出。
一、并非总是如此
Forrester（弗雷斯特市场咨询，是一家独立的技术和市场研究公司，针对技术给业务和客户所带来的影响提供务实和具有前瞻性的建议。公司已经被公认为思想的领导者和可信赖的咨询商，通过所从事的研究、咨询、市场活动和高层对等交流计划，帮助那些全球性的企业用户建立起市场领导地位。）分析师Mike Gualtieri（迈克·瓜尔蒂耶里）即时方法很棒——但只是有时才有效。
“这是一个我经常听到的概念，但我不确定我是否同意人们的说法，”他说，并补充说大多数领导者对即时方法感兴趣，因为他们认为生成人工智能成本高昂。Gualtieri 说，它可能适用于低利润的客户互动，但对于涉及数百万美元的场合，调用生成人工智能的成本微不足道。
他断言道：“如果它花费你一百万美元，但却为你节省了一千万美元，那么成本就不应该成为你的阻碍。”
Gualtieri表示，IT 领导者应该知道成本在什么时候是影响 AI 工作负载的一个因素，何时不是。例如，由于他们通常使用预先训练的大型语言模型 (LLM)，因此大多数组织不会在基础设施和训练模型的成本上花费过多。尽管AI 人才价格昂贵，但使用预先训练的模型也使得高价数据科学人才变得没有必要。
这位分析师声称：“他们只需要他们的软件开发团队将（gen AI）组件整合到应用程序中，因此人才不再是限制因素。”
他说，使用检索增强生成(RAG)服务是降低 AI 成本的一种方法。RAG 提高了生成 AI 输出的质量和相关性，同时减少了对自定义模型训练的需求并控制了成本。（RAG即检索增强生成，是一种自然语言处理模型，旨在改进各种NLP任务的表现，包括问答、摘要生成等。）服务“供应商正在提供内置的 RAG 解决方案，因此企业无需自行构建。谷歌推出了一项 RAG 服务。您可以使用模型，然后在需要时在最后一刻注入内容，”Gualtieri 解释道。
然而，Gualtieri提出的最后一点总结了即时生成 AI 方法的价值主张：仅在必要时注入模型调用 — 并且在最后一刻。事实上，RAG 等技术已成为 AI 注入运营的最佳实践，对于开发和使用它们的团队来说，它们不仅可以实现最大的商业价值，还可以最大限度地减少目标用例和工作流程的 AI 负载。
此类技术使企业能够利用现成的、预先训练好的LLM，而无需针对特定数据集进一步训练它们，并通过 RAG 设计工作流程，强调软件开发工作，而不是更昂贵、更稀缺的数据科学人才。这是即时 AI 精神的一部分。
二、及时决策的生成式人工智能
一家公司推出了个全公司范围的生成式人工智能平台，旨在特定情况下加速工作流程。SAIC（Science Applications International Corporation，是一家主要从事政府和国防领域的技术解决方案和服务的公司。成立于1969年，总部位于美国弗吉尼亚州麦克莱恩，并在全球范围内设有多个办事处和研发中心。公司的主要业务包括信息技术、工程、科学和数据分析服务，特别是在政府和国防领域。其在大数据分析、人工智能和零信任网络方面具有丰富的专业知识和经验。）是一家服务于国防、太空、民用和情报市场的技术集成商，在2024年5月，它向所有24,000名员工推出了其在Microsoft Azure（是微软基于云计算的操作系统，主要目标是为开发者提供一个平台，帮助开发可运行在云服务器、数据中心、Web和PC上的应用程序。云计算的开发者能使用微软全球数据中心的储存、计算能力和网络基础服务。）和OpenAI（在美国成立的人工智能研究公司，核心宗旨在于“实现安全的通用人工智能，AGI”，使其有益于人类。OpenAI于2015年由一群科技领袖，包括山姆·阿尔特曼、彼得·泰尔、里德·霍夫曼和埃隆·马斯克等人创办。）平台上的Tenjin GPT。初始用例在整个组织的战略点上增强了工作流程。
例如，公司构建了一个聊天机器人，帮助员工处理IT服务事件，以及一个虚拟代理来为客户服务请求提供信息。Tenjin也被用于人工智能辅助软件开发、数据准备和可视化以及内容生成。SAIC也将其提供给自己的客户。
SAIC首席信息官Nathan Rogers（内森·罗杰斯）表示，Tenjin GPT是长期生成式人工智能战略的第一步。
“我们希望让人工智能进入更广泛的用户基础。我们最终将在整个公司拥有citizen developers（项目管理协会/PMI将公民开发人员定义为无需编码知识即可构建应用程序的人，但通常需要IT的支持。），他们能够在内部用例和我们的政府客户的决策关键时刻及时做出决策。”Rogers（罗杰斯）说。
三、这意味着什么？
一位IT负责人承认人工智能可能很昂贵，必须谨慎处理，但他质疑just-in-time这个标签是否合适。
“Just-in-time不太能引起我的共鸣。这更像是在正确的地方使用正确的技术，以减少对不必要资源的需求并管理成本和效率。这与我们所做的一切都是一样的，”技术分销商和解决方案提供商Avnet（安富利集团，财富500强公司，是全球最大的电子元件、计算机产品和嵌入技术分销商之一，服务于全球70多个国家的客户。安富利连接世界领先的技术提供商和超过10万的涵盖广泛领域的客户，并通过提供高性价比的增值服务和解决方案助力其合作伙伴取得成功。）的首席信息官Max Chan（马克斯·陈）说。
“然而，”他补充说，“[just-in-time]类比适用于生成式人工智能的高成本和高资源消耗。生成式人工智能和大型语言模型使用大量的计算周期，生成式人工智能并不是万能的。我们不想浪费不必要的周期且得不到结果，”Chan说，“[人工智能]必须非常有针对性。我们不是为了人工智能而做人工智能，而是在考虑它如何协助增长利润。”
关于生成式人工智能的just-in-time approach的另一个问题是，是否有可能human in the loop/HITL（人在回环/人在回圈/人机回圈等。具体来说就是设计某种机制让机器/算法和人互动协作来更好的处理某件事情。针对智能产品的设计而言，这个概念被引入所要解决的问题就是在算法准确率跟用户要求还有不小差距的情况下，将人引入到这个循环中，让人去处理算法拿不准的问题，通过修正、提供反馈、输入更多知识来弥补或改进算法，共同完成任务。在这个互动过程中让人和机器发挥各自的优势，相互增强。）以确保生成式人工智能的响应没有偏见或幻觉。根据整体工作流程的结构，HITL可能具有挑战性。
“当你有just-in-time AI时，你没有应用HITL的奢侈了。但这是一个可以解决的问题。必须事先完成。”TIAA的Durvasula（杜尔瓦苏拉）说。
这意味着要确保负责任的人工智能规则被嵌入到人工智能代理中后，才能在生产中部署。在TIAA的情况下，这也意味着让Nuveen分析师在Research Buddy结果被使用之前进行审查，这位首席信息官解释说。
四、Just-in-case/以防万一
对Durvasula（杜尔瓦苏拉）来说，“Just-in-case/以防万一”的概念也适用于Nuveen员工使用的由人工智能驱动的Research Buddy，它在恰当的时候生成报告，但仅在需要时。
“投资驱动的工作流应该是以防万一的。如果投资的专业人士需要，你需要有自己的见解。”此外，这位首席信息官补充说，“当你用大量的公共数据实时为投资专业人士提供服务时，你不能有很多延迟。个性化和自定义提示需要实时完成。”
虽然具有革命性，但生成式人工智能通常是逐步实施的，一点一点地改善操作、体验和结果。日本技术同样通过在许多地方削减少量时间和成本来彻底改变制造业。无论是just-in- time、Just-in-case/以防万一还是仅仅是plain smart（是指通过简化复杂信息，使其易于理解和使用的一种人工智能技术。这种技术利用先进的人工智能技术，将深奥的知识以简洁、易懂的方式传达给用户，帮助用户更好地理解和应用这些知识。），充分利用人工智能需要类似水平的思考和规划。
作者：Stan Gibson（斯坦·吉布森）
Stan Gibson（斯坦·吉布森）是一位屡获殊荣的技术编辑、作家和演说家，在信息技术领域拥有36年的经验。他曾是《eWeek/电子周刊》和《PC Week/电脑周刊》的执行编辑，目前是StanGibsonCommunications的负责人，他继续在IT领域各方面钻研并撰写文章。
译者：宝蓝
