人工智能的“hallucinations（幻觉，指模型生成不基于实际数据或与现实显著不同的内容的现象。）”带来了重大的商业风险，但新型的护栏可以防止它们造成严重损害。减轻聊天机器人错误风险的最佳方法是使用常识。人工智能可能会很棒，但它需要在您的参与规则下运行，您想要定义它可以做的事情，也要定义它不能做的事情。

图源：ISTOCK / TIPPAPATT

根据一份VentureBeat（是报道变革性技术的领导者。通过行业领先的人工智能和游戏报道，帮助商业领袖做出更明智的决策。）的报告显示ChatGPT和其他生成式人工智能工具发布不到一年后，75%的受调查公司已经将它们投入使用。但是，随着新一代人工智能聊天机器人数量的增长，它们偶尔出现故障的风险也在增加——荒谬或不准确的输出或答案，这些输出或答案很难从工具所训练的大型语言模型（LLM）中筛选出来。

用人工智能的行话来说，它们被称为hallucinations（幻觉）。如果您在家里尝试生成式人工智能，它们不会带来大问题，但在向大量客户和员工部署新聊天机器人的企业组织中，只有一个人工智能错误就可以让公司被告上法庭。

去年春天，一名法官制裁了一家律师事务所，因为该律师事务所在一个聊天机器人起草的法律简报中用虚假的引用和引文引用了司法意见。该公司承认，其“因错误地相信仅凭一小部分技术就可以完成整个工作”。

当用于训练LLM（大型语言模型）的数据质量较差或不完整时，就会出现幻觉。大多数生成型人工智能平台的发生率在3%到8%之间。“聊天机器人几乎就像有机体，它们不断迭代，并吸收新的数据，”Freshworks（Freshworks制作易于使用的商业软件。解决多种复杂业务问题的现代SaaS解决方案的领先提供商。）的chief security architect（首席安全架构师）Steven Smith（史蒂文·史密斯）说，“您投入什么就得到什么。”

1.聊天机器人的失误

使用客户服务聊天机器人，发布不正确的建议或信息可能会有损本部门关键指标，如客户满意度；它们还可能在医疗保健或金融等高度复杂(和受监管)的行业造成混乱和潜在伤害。

在IT组织中，生成式人工智能故障会以其他方式造成严重破坏。聊天机器人可能会错误地分配服务票据，不准确地描述问题，或扰乱工作流程，并导致重大的系统性问题——导致数据泄露或重要资源分配不当——然后需要人工干预。

对于工程师来说，软件开发中使用的人工智能生成的代码可能包含安全漏洞或培训期间摄入的知识产权。人工智能系统还可以忽略只有开发者才能发现并解决的复杂错误或安全问题。

Smith（史密斯）说：“软件辅助很棒，但您想要阅读和理解它们给您的东西。如果您不知道代码在做什么，因为你相信它来自专家而盲目地将代码投入生产，并不比从StackExchange复制代码更安全。StackExchange是一个问答网站，曾经受到程序员搜索特定代码片段的青睐。”

2.最小化风险

许多公司都开始投资于降低风险。专家们认为，以下是一些最有效的策略。

部署内容筛选器。各种技术上的或基于政策上的护栏可以防止不适当的或有害的内容。例如，内容过滤器可以拒绝回答有关敏感问题或敏感主题的问题。在客户服务场景中，如果聊天机器人感到困惑或无法找到准确的答案，它应该迅速将询问交给人工操作员。

不断升级数据质量。在培训LLM（大型语言模型）时，IT团队应该验证数据，以确保它是高质量的、具备相关性和全面性。应定期审查训练数据，以防止“model drift（模型恒定偏移，是指在机器学习和数据科学领域中,训练好的模型在面对新的数据时逐渐失效或性能下降的现象。）”或由于基础数据模型随时间变化而导致的性能下降。

安全护栏。限制聊天机器人连接到第三方应用程序和服务的能力，消除了产生误导性、不准确或潜在破坏性数据的机会。以这种方式对聊天机器人进行沙箱的附带好处是提高性能(减少依赖性)，并增强那些至关重要的行业的合规性。

幻觉在今天可能是一个问题，但解决这个问题的研究正在进行中。为了提高准确性和可靠性，从建立更大的模型到让LLM（大型语言模型）自己进行事实核查，一切都在探索中。

Smith（史密斯）说，最终，减轻聊天机器人错误风险的最佳方法是使用常识。“人工智能可能会很棒，但它需要在您的参与规则下运行，”Smith（史密斯）说。“您想要定义它可以做的事情，也要定义它不能做的事情，并确保它在这些特定参数内运行。”

作者：Paul Gillin（保尔·吉林）

福建CIO网注：根据爱分析报告，AI Agent 场景价值大致分为体验类、降本类、增收类和变革类。变革类是指产生新的商业模式并带来新的业务收益，增收类则指增加现有收益，体验类和降本类则较为明确易懂。需要着重指出的是，尽管降低成本并增加收入以及完成变革是更大的价值所在，但在当前阶段，对于许多公司，例如金融行业的银行、保险和证券以及消费类企业，无论他们是品牌商还是零售商，只要他们面向C端用户，并且存在线上化业务，那么体验类价值的比重就会相当之高。