代理型人工智能正通过自适应、自主的智能体重新定义企业自动化。但成功的关键在于编排、监督以及文化层面的准备就绪。

图源：iStock

“agent/代理、智能体”一词源自拉丁语中的“agere”或“agens”，意思是在得到另一方授权后能够产生某种效果的事物。在软件领域，智能体通常指代表用户或其他计算机程序运行的程序。这一概念源自20世纪70年代的一种并发计算模型。随着人工智能的出现，智能体还具备了诸如基本推理、自主性和协作性等额外特性。

在过去的几十年中，基于软件的自动化技术随着机器人技术和人工智能的进步而不断发展。企业逐渐采用了新的自动化范式——从简单的脚本和机器人程序到robotic process automation/RPA（机器人流程自动化）以及基于云的自动化平台。

如今，代理型人工智能——即具备自主性、适应性和推理能力的软件智能体——代表了该领域的前沿技术。然而，正如我们稍后将讨论的，现实世界中的应用情况仍然参差不齐。一些企业正在小规模试点“人工智能助手”原型，而另一些企业则在努力应对如何在多样化且复杂的业务流程中编排多个智能体的问题。最近出现的智能代理协议框架，如Anthropic公司的model context protocol/MCP（模型上下文协议）和谷歌的agent to agentA2A/（智能体到智能体）协议，正试图解决互操作性和集成功能问题，这为人工智能技术栈增添了新的层次。

本文将通过三个关键主题探讨了代理型人工智能在企业中的兴起：

1.真正的智能代理系统的核心特性。

2.设计半自主且强大的人工智能智能体所面临的挑战与解决方案。

3.将代理型人工智能集成到现有企业环境中的实用路径，尤其是那些受合规性或遗留系统限制的环境。

我们首先概述代理型人工智能的基本特征，包括Carnegie Mellon University（卡内基梅隆大学）研究人员最初提出的智能体特征集。然后我们将探讨设计和编排策略，讨论人工监督和治理问题，并列举实际案例来说明部署和扩展方法。

一、定义代理型人工智能（智能体）

代理型人工智能不仅仅是使用提示或简单的聊天机器人。在当前的人工智能时代，随着LLM（大型语言模型）的出现，以及最近的LRM（大型推理模型），人工智能智能体具有了更广泛的含义和应用。与执行预定义指令的传统软件不同，智能代理系统能够基于推理做出适应性、自主性的决策。它们不仅仅是为了实现特定目标而行动的软件实体。

代理型人工智能与早期解决方案的关键区别在于，它们除了具备基本推理和自主性之外，还能够进行适应性、自主性的决策，而不是像人工智能出现之前的智能体那样严格基于规则或由人类直接指导行动。

1.代理型人工智能的八大支柱

卡内基梅隆大学的研究人员曾提出了一组智能体应具备的理想特性，因为这些特性能够增强智能体在复杂环境中有效导航和辅助决策的能力。

• 任务驱动：智能体围绕明确的、由人类设定的目标来定位自身行动，例如“优化库存水平”或“自动核对月度财务报表”。

• 具备网络连接能力：智能体与数据库、APIs以及其他智能体进行交互，成为分布式系统的一部分。

• 半自主性：虽然智能体能够自行发起行动，但通常需要人类设定的约束条件以及人类的监督审批，在受监管或高风险的工作流程中尤其如此。

• 持久性：智能体能够长期持续运行，而非仅针对单个请求和行动存在。这种持久性是其能够监测变化并在无需反复干预的情况下持续运行的基础。

• 可靠性：智能体应能可靠地满足用户需求，从而赢得用户对其性能的信任。

• 主动性：除了被动处理查询外，智能代理系统应能够监测其所处环境，并主动发起行动、发出警报或推荐下一步行动，即便在未收到人类提示的情况下也能如此。

• 协作性：智能体被设计为能够协同工作，可以与其他智能体或人类协作，协调诸如数据共享、冲突解决、流程交接和共识决策等活动。智能体应不断从其所处环境中获取知识。

• 适应性与前瞻性：智能体可以利用新数据或新来源优化自身策略或模型，以提高准确性、效率或实现其他用户目标，包括那些最初可能未明确提出的目标。

二、企业设计与部署

在企业中应用代理型人工智能，从一开始就需要应对一系列架构和运营方面的挑战。虽然智能体有望带来变革性价值，但它们也会引入复杂性和风险，必须通过精心设计来降低这些风险。

我们将强调智能代理系统的风险和复杂性，并给出相应建议。

在软件抽象中，组件往往会带来复杂性，无论是云端的微服务，还是RPA中“过多的机器人程序” 都是如此。人工智能智能体引入了更为复杂的交互和协调层面。企业可能拥有各种各样面向用户的通用或专用智能体，甚至还包括面向开发者的智能体即服务这一类别。在诸如MCP和A2A这样的智能代理协议框架中，已经出现了这种功能的某种形式。这些框架与中间件类似，它们为工作流程提供了标准化的通信和集成方式，以及可重复使用的组件。

在过去几十年里，企业软件受益于分布式计算中不断发展的软件抽象层次。然而，这些框架也给遗留企业系统的集成和兼容性带来了挑战，就如同中间件所面临的情况一样（即一种复杂性权衡）。这种复杂性，再加上风险和安全方面的挑战，要求我们谨慎对待，并从多个维度设计防范措施。

1.智能体基础设施

对智能体部署的浓厚兴趣促使我们重新思考智能体基础设施的构建方式。在当前人工智能时代早期，智能代理应用更多是自行搭建，但企业软件的需求需要多层基础设施，以便可靠且大规模地构建和部署智能代理工作流程。一个典型的智能体基础设施应是一个分层架构，包括：

• 基础平台：基础模型、多智能体框架和可观测性层。

• 编排层：用于路由、智能体协调、状态持久化和任务管理的系统。

• 数据服务：特定于模型存储、数据提取、ETL（提取、转换、加载）等功能。

• 工具：浏览器自动化、用户界面集成、服务发现安全模块。

• 智能代理协议的使用：在智能体间通信和交互中，命名、发现、标准等方面必须有明确的定义。

我们将简要提及编排问题，然后重点关注所需的风险和安全防范措施。

2.智能体编排

编排对于管理众多智能体之间的协调至关重要。常见的架构包括：

• 分层架构（中心辐射式）：由一个“主” 智能体或监督智能体进行集中控制。

• 分布式架构（对等网络式）：智能体通过共享协议进行发现和协调。

• 混合模型：大多数企业需要将这两种方法结合使用。

3.风险与安全

任何由人工智能增强的自动化都可能面临数据误解、偏差、逻辑缺陷、过度自信的推测（统称为“hallucination/幻觉”）等风险，以及时间和上下文错误，还有诸如模型或提示投毒以及传统网络攻击等恶意行为。

此外，在监管严格的环境中，诸如医疗保健领域的HIPAA（《健康保险流通与责任法案》）、金融领域的SOX（《萨班斯-奥克斯利法案》）的情况下，企业要求具备可追溯性并保留审计线索。自主收集数据并据此采取行动的人工智能智能体，必须为每一项决策留下数字足迹：

• 可追溯的决策日志：如果智能体拒绝一张发票或标记一项可疑索赔，日志应说明其采取该行动的原因（决策推理逻辑的透明度）。

• 可控授权：在将低风险活动自动化交给智能体处理的同时，确保人类对高风险决策的控制权。

• 断路器机制：防止智能体在未经核实的情况下做出关键决策。

• 持续监控与强大的错误处理能力：包括在检测到问题时进行补偿性调整，或通过人工监督来实现。

• 数据治理：实施访问控制、匿名化策略和安全港措施，即便智能体交叉引用多个数据源时，也能确保合规性。

4.智能体监督——人工介入

虽然更高的自主性可以减少人工工作，但这也引发了关于安全性、可靠性和道德监督的问题。如果仅在特殊情况下才要求人类进行干预，那么当最终警报响起时，他们可能缺乏背景信息。在关键基础设施场景中，情境转换时仓促的人工干预可能会带来很大风险。

解决这一问题的策略包括：

• 定期“检查点”与设置人为干预环节：智能体在特定的关键节点暂停，以供人类审查，在金融或医疗保健等高风险领域，涉及弱势群体的情况下尤其如此。在这些高风险用例中，还可以插入额外的验证步骤。

• 保持操作员的参与度：工作的流畅性对于人类参与至关重要。仅靠仪表盘或通知让操作员了解正在进行的任务，即便无需他们干预，可能也不够。还需要通过培训和模拟场景来增强他们在人机混合工作流程中的技能、兴趣和专注力。

• 培训与文化意识培养：需要制定协议，对人类操作员进行定期培训，使其了解最新的人工智能知识和技能，将他们的反馈纳入错误处理机制，并让他们清楚了解系统的局限性，以免操作员过度放弃自身的控制权。

三、用例和早期经验教训

以下这些示例展示了代理型人工智能在哪些情况下可以实现工作流程自动化并辅助人力工作。

1.电网负荷平衡

场景：智能体实时监测多个州的电力需求、可再生能源输入和电网稳定性。

成果：通过自动负载分配和预测性维护，提高电网效率，减少停电次数并节省成本。

2.文档核对和处理

场景：智能体从多个ERP（）企业资源规划系统中获取数据，主动识别数据不匹配之处，并能够填写表格和纠正错误。只有在RAG（检索增强生成）审查无法解决问题时，人类才会介入。

成果：各机构通常能够看到更快的结案率和更少的人工错误，不过该智能体必须与多个数据平台集成。

3.客户支持和工单解决

场景：智能体对收到的咨询进行分类，根据现有的和不断完善的知识库进行分析，并将复杂案例转交给专业的人工客服。随着时间推移，智能体从已解决的工单中学习，以提高转接的准确性。

成果：实现更快的响应时间、更高的解决率和客户满意度指标——前提是针对不确定的咨询有可靠的备用方案。

4.供应链中的运营监控

场景：智能体监测货运数据，预测潜在的干扰因素（如天气事件、供应商延迟），并主动通知管理人员。

成果：减少停机时间，更灵活地重新安排计划，在涉及重新规划路线或更换供应商的最终决策时，有人工参与介入。

四、关键观察

在上述所有示例中，设置防范措施、进行监督以及发挥人类判断力的必要性十分明显。编排环节存在的差距所带来的风险，可能会导致相互矛盾或错误的结果。正如谷歌旗下DeepMind的Demis Hassibis（戴密斯·哈萨比斯）近期反复强调的，在一个复杂的编排流程中，多个智能体经过多个步骤运行时，即使模型中存在微小的错误率，也可能迅速累积放大。人工参与这个过程至关重要，然而，如果不了解人类的认知负荷，我们就会使人类处于容易导致人机协作出错的环境中。最后，文化接受度对于任何自动化而言都至关重要，智能代理人工智能也不例外。如果员工不接受，且对失业的担忧没有得到解决，那么组织拒绝采用这项技术的风险可能会很大。

五、挑战与未来发展方向

尽管小型概念验证项目看似前景乐观，但真正在企业范围内进行部署，需要强大的基础设施、标准化的工具包以及广泛的用户培训。重要的是，要认识到智能体具有非确定性的本质，它们可能采取不同的行动路径，这与传统基于规则的软件有所不同。纠正和改进智能代理的行为需要利用经过优化的数据进行多次迭代。此外，智能体基础设施还需要融入软件生命周期管理、版本控制、内置学习等实践，并明确制定治理和合规规则（特别是在受监管行业的应用中）。

当前的大语言（和推理）模型在模式匹配方面表现出色，但在处理逻辑或领域约束时可能会遇到困难。一种神经-符号混合模型——即通过一个符号推理模块来执行规则或知识图谱——可以在利用神经网络模型适应性优势的同时，提高智能体的可靠性。随着目前所欠缺的真正推理能力的发展，基于LLM/LRM（大语言模型/大推理模型）的智能代理系统将表现得更好。

目前，我们已经看到了设立监督委员会以及围绕“可信人工智能”制定新准则的呼声。在医疗保健或金融等行业，企业必须接受更严格的外部审计，这要求做到：

• 模型的透明度、可追溯性和可解释性：智能体为何提出这一建议？它能否记录并解释决策过程，并在受监管的用例中接受控制测试？

• 基于合规性的故障安全机制：如果异常情况超过预先设定的阈值，立即进行人工审查。

• 开展审计：明确控制措施，进行持续测试。

• 建立智能体责任框架：明确责任归属，包括为智能体购买潜在保险。

• 制定智能体框架的道德与合规准则。

• 制定智能体框架的质量保证标准和测试：包括基于场景的压力测试，类似于银行在监管检查中必须进行的测试。

六、培养就绪文化

代理型人工智能代表了企业自动化领域的一次变革性飞跃，其具备的能力超越了诸如RPA（机器人流程自动化）等传统基于规则的系统。在简单的规则驱动用例和真正的自主智能应用之间，商业领域存在着众多的应用场景。然而，成功部署不仅仅取决于先进的人工智能模型和智能体框架。企业必须培育一种就绪文化，其特点是乐于接受变革、拥有稳健的流程以及平衡的风险管理方法。通过精心整合智能代理人工智能，企业可以在保持道德和负责任治理的同时，释放新的效率和创新潜力。建议企业关注并落实以下方面：

• 强大的编排能力：通过建立全面的编排层来管理交互，避免“智能体蔓延”。部署“监督”智能体，确保无缝协调，并保持人工监督，以降低与自主决策相关的风险。

• 自适应安全和数据治理：随着智能体对敏感数据拥有更多自主权，诸如完善的审计跟踪、安全访问控制和持续合规检查等严格措施对于确保符合法规要求至关重要。

• 人工监督与参与：人类必须始终是整个过程不可或缺的一部分，这不仅是出于道德或法规方面的考虑，也是为了防止技能退化并确保责任落实。

• 迭代扩展：从有限的试点项目开始，仔细衡量成果后再进行扩展。这种方法可以降低风险，并促进利益相关者的支持。

• 制定明确准则的道德与合规框架。

• 行业标准：不仅涉及数据治理和安全，还包括智能代理能力和集成协议。

最终，代理型人工智能的成功取决于一种平衡的方法，即将创新与灵活性融入代理型人工智能，同时兼顾组织的就绪程度——包括文化、流程和风险承受能力。通过满足这些基本要求，企业能够挖掘这个新自动化时代的转型潜力，实现强大且负责任的治理。

作者：Shail Khiyara（沙伊尔·基雅拉）

Shail Khiyara（沙伊尔·基雅拉）是全球公认的人工智能和智能自动化领域的思想领袖、作家及主旨演讲人。他的见解曾在《Forbes/福布斯》、《WSJ Digital/华尔街日报》数字版、《Financial Times/金融时报》和《CIO/首席信息官》等媒体上发表。他在多家人工智能公司担任董事会成员，还是一些具有社会责任感的非营利企业的高级顾问。拥有二十多年行业经验的沙伊尔，曾领导多个行业基于人工智能的转型项目，在多家领先的智能自动化公司担任首席营销官和首席客户官，目前是SWARM Engineering公司的首席执行官。该公司的智能代理人工智能平台正在变革工业运营模式。他与人合著了《Intelligent Automation – Bridging the Gap between Business & Academia/智能自动化——弥合商业与学术界的差距》，最近还出版了亚马逊畅销书《Agentic AI in the Enterprise: Orchestration, Oversight and Practical Pathways to Value/企业中的智能代理人工智能：编排、监督与实现价值的实用路径》。基雅拉还是VOCAL（人工智能与自动化领域的客户之声）的创始人，这是一个汇聚了90多位财富500强企业领袖的全球智囊团，旨在加速人工智能的应用。作为人工智能普及的热情倡导者，他支持能够增强人类潜能、促进协作并推动变革的人工智能技术，而不是取代人类智慧的人工智能。

译者：宝蓝

【睿观：代理型人工智能正通过自主、适应性智能体革新企业自动化。然而，要成功释放其价值，关键在于有效的智能体编排、严格的人工监督与治理，以及组织层面的文化就绪。因此，企业必须审慎设计、迭代部署并培育接纳文化，方能在确保合规与安全的前提下，驾驭这一变革性技术。

金句：

代理型人工智能的成功，在于创新赋能与审慎治理的动态平衡。】