以下文章来源于CIOCDO ，作者CIO.com&睿信咨询

Miso.ai（Miso Robotics是一家初创公司，专门为快餐店和快餐类厨房开发自动化产品。Miso AI是Miso基于云的同名平台。）的联合创始人Lucky Gunasekara（拉齐·古纳塞卡拉）和Andy Hsieh（安迪·希塞尔）讨论了如何超越RAG（Retrieval Augmented Generation，即检索增强生成，是一种自然语言处理模型，旨在改进各种NLP任务的表现，包括问答、摘要生成等。）的基础知识来分解问题的背景和假设，这是企业级服务的关键。

图源：ROMAN SAMBORSKYI（图片上传者，可以译为用户ROMAN SAMBORSKYI，或者ROMAN SAMBORSKYI） / SHUTTERSTOCK

生成式人工智能作为一个界面提供了巨大的潜力，使用户能够以独特的方式查询自己的数据，以获得满足他们需求的答案。例如，作为查询助手，生成式人工智能工具可以帮助客户使用简单的问答更好地浏览广泛的产品知识库。

但在使用生成式人工智能回答有关数据的问题之前，首先需要评估所问的问题。

这是Miso.ai首席执行官兼联合创始人Lucky Gunasekara（拉齐·古纳塞卡拉）对当今开发生成人工智能工具的团队的建议。

Miso.ai是CIO.com和我们四个姐妹网站的Smart Answers/智能答案项目的供应商合作伙伴。Smart Answers使用生成式人工智能来回答有关发表在CIO.com和Foundry网站Computerworld版块、CSO版块、InfoWorld版块和Network World版块上的文章的相关问题。Miso.ai还为IDG（International Data Group，美国国际数据集团。是全世界最大的信息技术出版、研究、会展与风险投资公司。IDG公司2006年全球营业总收入达到28.4亿美元。IDG集团公司创建于1964年，总部设在美国波士顿。）的消费科技网站PCWorld、Macworld和TechHive建立了一个类似的Answers项目。

Gunasekara（古纳塞卡拉）说，大型语言模型“实际上比我们想象的要天真得多”。例如，如果被问到一个有强烈观点的问题，大型语言模型可能会去挑选支持该观点的数据，即使现有数据显示该观点是错误的。因此，如果被问到“为什么某项目失败了？”，大型语言模型可能会列出一连串项目失败的原因——即使它是成功的。这不是你希望面向公众的应用程序做的事情。

Gunasekara（古纳塞卡拉）指出，评估问题是在所谓的RAG信息检索和文本生成【RAG（Retrieval-Augmented Generation）程序是一种结合了信息检索（Retrieval）和文本生成（Generation）技术的自然语言处理系统。】应用程序中通常会遗漏的一个步骤。RAG应用程序应当将大型语言模型指向特定的数据体，并告诉它仅基于这些数据回答。

常见的应用程序通常遵循以下（稍微简化版）设置模式：

1.将现有数据分割成块，因为所有数据都太大，无法放入单个大型语言模型查询。

2.为每个块生成所谓的称为嵌入的内容，将该区块的语义表示为一串数字，并将其存储。根据数据更改的需要进行更新。

然后对每个问题：

1.生成嵌入。

2.使用基于嵌入的计算，找到与问题含义最相似的文本块。

3.将用户的问题输入大型语言模型，并根据最相关的块来回答。

【睿观：假设你有一个超级智能的图书馆管理员，这个管理员就是RAG应用程序——（Retrieval-Augmented Generation）程序是一种结合了信息检索（Retrieval）和文本生成（Generation）技术的自然语言处理系统。图书馆则是一个包含了海量信息的大数据库。然而这个图书馆太庞大了，即使是这个超级图书馆管理员也不可能一眼就看到所有书籍的内容。所以，为了更有效地帮助寻找信息，我们采取了以下几个步骤：

首先，我们把整个图书馆的书籍分成更易管理的一小块一小块（数据块），因为要是一次处理所有的书，即使是超级图书馆管理员也会不知所措。

接下来，为了让图书馆管理员更快地找到书籍，每一小块书籍都被魔法转化成了一个数字序列，这个过程就像是给每本书制作了一个特殊的"魔法摘要"（嵌入的内容）。这样，当需要某本书时，图书馆管理员就可以直接识别这些数字序列，而不是去翻阅每一页。

现在，当有人来到图书馆提出问题时，图书馆管理员首先将这个问题同样转换成一个"魔法摘要"。然后，这位管理员会用一个特殊的魔法探测器来找到和这个问题摘要最匹配的书籍摘要。

找到最相匹配的那一小块书籍之后，图书馆管理员便会把这块对应的书籍信息拿出来，再结合你的问题用他的超级大脑（大型语言模型）给出一个明智而准确的答案。这样的过程就是RAG应用程序工作的形象描述。

注：RAG（Retrieval-Augmented Generation）程序是一种结合了信息检索（Retrieval）和文本生成（Generation）技术的自然语言处理系统。在RAG系统中，大型语言模型（如GPT-3等）不是独立地生成回答，而是先查询一个外部的知识库以找到与用户问题相关的内容，然后基于这些内容生成回答。

让我们分步骤来解释一下RAG程序是如何工作的：

步骤 1：数据准备（检索）

• 将庞大的知识库（比如整个维基百科数据库）分割成小块（称为“文档”）。

• 为每个文档创建一个“嵌入表示”，它是文档内容的高度压缩的数值表现形式，并可以用来快速比较文档之间的相似性。

• 为保证及时性和准确性，根据外部数据变化更新这些嵌入表示。

步骤 2：问题处理（针对用户的问题执行检索过程）

• 当用户提出一个问题时，RAG程序也会为这个问题生成一个嵌入表示。

• 程序会在已经创建嵌入的知识库文档中寻找与问题嵌入最为相似的文档。这个过程叫做“检索”（Retrieval）。

• 找到一个或者多个与问题相关的文档之后，程序会将这些信息作为参考。

步骤 3：回答生成（创建回答）

• RAG程序会将用户的问题和检索到的相关文档作为输入送入大型语言模型。

• 使用大型语言模型的生成能力，以及目标是基于相关信息给出回答，RAG程序会生成用户询问的问题的回答。

所以说，RAG程序是一种智能化的问答系统，它通过结合最新的检索技术和大型预训练语言模型的生成能力，能够提供更为准确和丰富的回答。这种程序特别适合于那些需要大量背景知识的复杂问题的回答。】

Gunasekara（古纳塞卡拉）的团队采取了不同的方法，在搜索相关信息之前增加了一个步骤来检查问题。“我们先问这个假设是否正确，而不是直接问这个问题，”Miso首席技术官Andy Hsieh（安迪·希塞尔）解释说。

除了检查问题中固有的假设外，还有其他方法来增强RAG（信息检索和文本生成）渠道以帮助改进结果。Gunasekara（古纳塞卡拉）建议超越基础知识，特别是当从实验阶段转向有价值的生产解决方案时。

“人们非常强调‘建立一个矢量数据库，进行信息检索与文本生成设置，一切都会开箱即用。’”Gunasekara（古纳塞卡拉）说，“这是获得概念证明的好方法。但如果你需要做不会产生意外后果的企业级服务，那还需要联系上下文。”

这可能意味着使用除了文本语义之外的其他信号，如最近性和流行度。Gunasekara（古纳塞卡拉）指出，Miso正在一个烹饪网站上进行的另一个项目，解构了这个问题：“就准备派对而言最好的预制烘焙蛋糕是什么？”

“你需要分离出你真正需要的信息，”他说，“预制”蛋糕意味着它不需要马上上桌；“准备派对”意味着它需要为少数人服务。还有一个问题是，大型语言模型如何确定哪些食谱是“最好的”。这可能意味着使用其他网站数据，例如哪些食谱的流量最高、读者排名最高，或者获得了编辑推荐——所有这些都与查找和总结相关的文本块是分开的。

【睿观：想象你是一个主厨，你正准备为一个派对烘焙一些美味的蛋糕。你的美食图书馆里充满了各种各样的食谱，但并不是所有的食谱都适用于这个特殊的场合。某些食谱是预制的，它们像是你提前烤好的蛋糕，可以在需要时随时拿来装饰和食用。这些预制的蛋糕不需要现烤现卖，它们适合那些不要求现场烹饪的场合。而其他食谱则像是专为派对设计的，它们需要在派对现场制作，以满足少数宾客对于新鲜和个性化口味的需求。

现在，作为一个高级主厨，你需要决定哪些食谱能做出“最好的”蛋糕。这可能也取决于外面的世界对各种蛋糕的喜爱程度。你可能会考虑那些网路上被点赞最多、评论最佳、或者被烹饪网站编辑推荐的食谱。这就要求你不仅要在自己的食谱集中检索，还要获取外部的“排名”或“认证”，这些都代表了蛋糕的受欢迎程度和质量。

在这个例子中，你是使用大型语言模型的RAG程序，这个模型试图找到最符合用户需求的信息。食谱集代表的是可搜索的大型数据库，而“最好”的食谱类似于用户问题的最佳答案。从网络上收集食谱的受欢迎程度、读者评分和编辑推荐就像是外部知识源，帮助RAG程序评估和选择最合适的信息以回答用户的问题。所以，就像选择最佳食谱一样，RAG程序需要选择最相关且质量最高的信息来提供有质量的回答。】

Gunasekara（古纳塞卡拉）说：“把这些事情做好的神奇魔法是在这些背景线索中。”

虽然大型语言模型的质量是另一个重要因素，但Miso认为没有必要使用最高评级和最昂贵的商用大型语言模型。相反，Miso正在为一些客户项目微调基于Llama2（2023年7月19日，Meta AI已正式发布最新一代开源大模型。训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Llama 2也翻了一倍。Llama 2包含了70亿、130亿和700亿参数的模型。Meta宣布将与微软Azure进行合作，向其全球开发者提供基于Llama 2模型的云服务。同时Meta还将联手高通，让Llama 2能够在高通芯片上运行。）的模型，部分原因是为了降低成本，也因为一些客户不希望他们的数据泄露给第三方。Miso之所以这样做，也是因为Gunasekara（古纳塞卡拉）所说的“开源[大型语言模型]中正在形成剧变”。

“开源技术正在迎头赶上。”Hsieh（希塞尔）补充道，“开源模型已经非常接近于超过GPT-4（OpenAI为聊天机器人ChatGPT发布的语言模型）了。”

作者：Sharon Machlis（莎伦·马克利斯）

Sharon Machlis（莎伦·马克利斯）是Foundry（IDG，股份有限公司公司，发布包括Computerworld和InfoWorld在内的网站）的编辑数据和分析总监，她从事分析数据，编写内部工具代码，并撰写有关数据分析工具和技巧的文章。

译者：宝蓝  @lex