下载掌阅APP，畅读海量书库
立即打开
生成式AI是一类能够自主生成内容的人工智能模型，基于大量数据的学习，生成与输入相关的自然语言文本、图像甚至音频。近年来，生成式模型的进步推动了NLP、内容创作和AI助手等领域的快速发展。然而，生成式模型在处理实时信息和大规模知识查询上存在局限性，这正是RAG（检索增强生成）技术的切入点。
RAG通过结合生成式AI与信息检索，将外部知识动态引入生成过程，使得模型不仅能生成符合上下文的内容，还能够在需要时补充真实、最新的信息。它弥补了传统生成模型的缺陷，提升了生成内容的准确性和实用性。
本节将从生成式AI的核心概念切入，深入理解RAG的设计思想及其在知识检索和内容生成中的独特作用，为构建智能化RAG系统奠定基础。
生成式AI的核心在于利用深度学习模型，通过大量数据的学习，实现对自然语言、图像、音频等内容的生成。在自然语言处理领域，生成式模型通常是基于自回归或序列到序列的深度神经网络结构。自回归模型（如GPT系列）通过给定的文字逐字生成下一字，最终形成连贯的文本。而RNN（Recurrent Neural Network，循环神经网络）、LSTM（Long Short-Term Memory，长短期记忆网络）和Transformer等序列模型则实现了生成模型对上下文的理解与处理，使生成的内容能够符合特定语境和风格。
生成式AI依赖大规模的训练数据和丰富的参数来预测最优输出。Transformer架构因其在编码上下文信息方面的优势，成为生成模型的主流。模型通过“注意力机制”将句子中的词与其他词相关联，能够高效学习长序列信息，从而生成自然、流畅的语言。
接下来通过示例代码展示一个简化的文本生成过程，解释生成式AI的核心原理和工作机制。
本例使用Transformers库加载GPT-2模型进行文本生成。GPT-2模型通过自回归生成方式，在给定输入文本的情况下逐字生成下一字，最终形成一段完整的文本。
代码首先加载GPT-2模型和对应的分词器。GPT-2是一种生成式模型，具备自回归生成特性，依赖输入的前文逐步生成下一个单词，将输入文本prompt进行分词，并转换为模型可接受的张量格式，准备传入模型，调用模型的generate()方法生成文本，参数包括：
（1）max_length：设置生成文本的最大长度。
（2）do_sample：启用采样生成，允许模型从不同的可能选项中生成文本。
（3）temperature：设置“温度”参数，值越高，生成的内容越随机多样。
（4）top_k和top_p：控制生成的候选词选择范围，分别限制候选词数量和核采样范围。
生成的输出需要使用分词器解码为人类可读的文本，运行结果如下：
>> 生成的文本:
>> The future of artificial intelligence is likely to transform every aspect of our
lives, from healthcare to transportation. We will see advancements in personalized medicine,
autonomous vehicles, and more. However, there are also ethical challenges to address, such
as data privacy and the impact of AI on employment. As we move forward, it is crucial to...
（1）自回归生成：生成式模型采用自回归策略，逐词生成输出。输入文本作为提示，模型预测下一个单词，随后将新生成的词拼接到输入中，继续预测下一个单词。这种方式使生成的内容能够连贯和语义一致。
（2）注意力机制：Transformer模型中的注意力机制使模型在生成每个词时都能够参考前面的上下文，处理更长的依赖关系，从而生成富有语境的自然语言。
（3）采样策略：通过temperature、top_k和top_p等参数调整生成策略，可以控制生成文本的多样性和流畅度。在实际应用中，参数的选择可以平衡生成的文本质量和内容创新性。
（1）数据编码：输入文本编码为嵌入向量。
（2）自注意力计算：通过自注意力机制，计算输入序列中每个词与其他词的关系。
（3）前馈网络处理：将注意力机制的输出传递至前馈网络，提取高阶特征。
（4）多层堆叠：重复上述过程，通过层叠结构增强特征处理能力。
（5）自回归生成：在解码器中逐词生成，参考前文生成新词，直至完成生成。
生成式AI模型通过学习并积累大量文本模式，在生成新内容时能够自然地延续上下文内容，这一原理在各类文本生成应用中至关重要，生成式AI的基本架构如图2-1所示。
图2-1 生成式AI的基本架构图
而RAG模型在此基础上进一步引入了检索模块，使得模型可以实时获取最新的外部知识，有效弥补生成式AI的知识局限，为智能生成任务提供了强大的技术支持。
生成式AI架构基于自注意力机制和多层堆叠的Transformer结构，特别是自回归生成的解码器设计，形成了强大的自然语言生成能力。此架构不仅提升了模型的上下文理解能力，还使生成的文本自然流畅，成为现代生成式AI的核心支柱。
RAG是生成式AI的扩展，通过结合生成模型与检索模块，RAG大幅提升了生成内容的准确性和实时性。传统的生成式AI模型，尽管训练了大量数据，但其知识往往局限于训练时所学到的信息，对于新知识的更新能力不足。而RAG通过引入检索模块，可以实时从外部知识库中提取最新的相关内容，以补充生成模型的知识盲点。这种生成与检索的结合使得模型能够在生成内容的过程中动态引入外部知识，有效提升了对复杂问题的应对能力。
接下来通过两个代码示例展示如何利用检索模块为生成模型提供实时的知识支持，并演示检索与生成相结合的过程。
本例中，我们将通过简单的FAISS（用于向量检索）与GPT-2生成模型的结合来展示RAG的核心工作机制。这里的流程分为两个主要步骤：首先，将一组文档编码成向量并存储到FAISS数据库中，接着在用户查询时进行检索，将最相似的内容作为上下文提供给生成模型生成答案。
上述代码中，使用TfidfVectorizer将一组示例文档编码为向量，并将这些向量存储到FAISS索引中。在retrieve_document函数中，利用输入查询生成查询向量，从FAISS索引中找到与查询最相关的文档，将检索到的文档作为上下文，附加在用户查询前，形成提示词输入GPT-2模型中，生成对查询的回答。
运行结果如下：
>> 生成的回答:
>> 机器学习是人工智能的一个子领域，主要关注通过数据训练模型。它能够帮助计算机在没有明确编程的情况
下进行学习。
在该示例中，RAG利用检索模块获取了与查询最相关的文档内容，并将其作为上下文输入生成模型，从而生成更精准的回答。
本例展示如何使用RAG构建一个简易问答系统，检索外部文档库的信息并进行回答。此示例中增加了检索和生成的多轮交互，使模型可以根据上下文信息提供更细致的回答。
该实例构建一个包含多个示例文档的数据库，并将文档转换为向量存储到FAISS索引中，通过检索模块获取与问题最相关的文档，形成上下文，并将其附加到问题前传入生成模型中生成回答，在ask_question函数中，将检索到的上下文和用户问题组合形成提示词，使得模型可以结合检索内容生成更符合语境的回答。
运行结果如下：
>> 回答: >> 深度学习的应用包括图像识别、语音识别和自然语言处理等，推动了人工智能在各个领域的广泛应用。
通过检索与生成的结合，RAG能够为问答系统提供更准确、实时的信息支持。
在这两个示例中，RAG技术展示了其将生成模型与检索模块结合的优势。通过在生成过程中动态引入检索内容，RAG能够弥补生成模型的知识盲点，显著提升回答的准确性和实用性。掌握RAG的工作机制可以帮助开发者在智能问答、知识检索等复杂AI任务中构建更智能、更灵活的系统。
RAG与传统生成模型在结构设计、工作方式、数据利用等方面存在显著的区别。传统生成模型，如GPT系列，尽管训练了大量数据，拥有强大的语言生成能力，但在信息实时性、知识准确性方面存在不足。RAG通过结合信息检索模块，使生成模型在回答问题或生成内容时可以实时获取最新、最相关的外部知识，从而提高了内容的准确性和更新频率。
传统生成模型主要依赖于训练过程中获取的“静态知识”。在模型训练完毕后，其生成内容基本上限于当时的训练数据，无法随着时间推移自动更新。因此，传统生成模型对新知识的理解力有限，且生成内容难以适应实时变化的信息需求。这种静态的知识库导致传统生成模型在应对快速变化的知识环境时，生成内容的时效性和准确性较差。
相比之下，RAG架构引入了动态检索模块，能够在生成过程前或过程中从外部知识库中获取最新数据。RAG并非只依赖于模型内置的“记忆”，而是可以通过检索模块实时访问大量外部数据库、文档库等，从而在生成回答时获得新知识。这种动态的知识更新机制不仅拓展了RAG的知识边界，也使其适应更广泛的信息需求。
传统生成模型的架构通常基于自回归生成或序列到序列生成。模型接收一段输入后，通过逐步生成单词来构建输出序列。在生成过程中，模型的上下文参考主要来自输入内容和训练过程中积累的知识。然而，生成内容完全依赖于模型参数的分布和已有的内部知识，且模型的“记忆”容量受限于其训练数据和参数大小。因此，面对复杂、多样化的生成任务，传统模型的知识覆盖范围有限。
RAG通过生成模型与检索模块的结合，在生成过程中将外部检索到的内容作为上下文信息提供给生成模型。在RAG架构中，检索模块负责根据用户输入进行查询，找到与问题最相关的信息，这些信息被动态地加入生成提示词中。生成模型利用检索到的信息进行内容生成，从而在知识精准度和生成内容的多样性方面优于传统模型。这种“检索-生成”双重机制，不仅提升了系统的回答准确性，还显著增强了模型的知识覆盖范围。
传统生成模型的知识广度依赖于训练数据的规模和质量，但难以扩展至新知识和细节。训练大规模生成模型需要海量的标注数据及庞大的计算资源，且每次更新知识都需要重新训练或微调模型，耗费大量资源。此外，传统模型的深度知识在于其对句法和语义的理解能力，但在处理复杂的背景信息时，生成内容易偏向泛化，缺乏准确性。
RAG则通过外部检索模块显著扩展了模型的知识广度和准确性。检索模块可以灵活地从知识库、数据库、网页等不同来源获取数据，使得模型在面对多领域、专业化的知识需求时具有更高的适应性。RAG的知识广度不再局限于训练数据，而是随时随地调用最新的信息源，从而实现更加精准的生成任务。此外，RAG系统的检索模块还能根据需要获取更详细的背景信息，使生成模型能从外部资源中挖掘更深层次的知识。
传统生成模型的适应性较低，尤其在处理需要最新信息或专业知识的生成任务时，模型的回答往往不够精准，缺乏时效性。每当知识发生变化或需要引入新信息时，通常要重新训练或微调模型，成本高昂且耗时。这使得传统模型在需要频繁更新的应用场景中使用受限。
RAG通过检索模块提供了一种高效的适应方案，能够在不同场景中灵活调用外部数据，无须频繁地对生成模型进行重新训练。借助于实时检索，RAG在处理新兴知识或需要实时响应的任务中表现优异，具有较高的拓展性。此外，RAG模型可以在知识库中增加更多的专业性、时效性强的数据，使模型生成内容始终与实际应用保持一致。
传统生成模型通常需要大规模参数和复杂的架构，才能在大数据上进行训练，从而具备较好的生成效果。然而，这也导致其计算资源需求巨大，特别是在更新知识时需要重新训练或微调，导致整体成本高昂。此外，生成长文本或复杂内容时，传统生成模型的参数量和计算量迅速增加，影响性能和生成效率。
RAG的检索模块可以减少生成模型的依赖程度，优化资源使用。通过检索获取所需的信息后，RAG的生成模块主要负责将检索内容整合为流畅的语言输出。由于检索模块可以直接利用外部数据源，无须生成模型全部“记忆”这些知识，因此RAG的生成部分可以采用较为精简的模型，从而降低计算成本。此外，RAG的架构也便于分布式部署，使得检索和生成部分可以并行运行，提高系统的响应速度。
最后，本小节的函数、方法汇总如表2-1所示。
表2-1 本小节的函数、方法汇总表
（续表）
这些函数和方法涵盖RAG中检索与生成结合的核心功能，包括文本生成、向量化、检索模块创建及处理、异步编程和数据结构化处理等内容，有助于读者理解和实现RAG的工作机制。