检索增强生成

QWen 3.8 中英对照 Retrieval Augmented Generation (RAG) Retrieval Augmented Generation

检索增强生成（Retrieval Augmented Generation，RAG）是一种实用技术，用于克服大语言模型在处理长篇内容、事实准确性以及上下文感知方面的局限性。

Spring AI 通过提供模块化架构来支持 RAG，允许您自行构建自定义的 RAG 流程，或使用 Advisor API 提供的开箱即用的 RAG 流程。

备注

在 concepts 部分了解更多关于 Retrieval Augmented Generation 的内容。

顾问

Spring AI 通过 Advisor API 提供了对常见 RAG 流程的开箱即用支持。

要使用 QuestionAnswerAdvisor 或 VectorStoreChatMemoryAdvisor，需要在项目中添加 spring-ai-vector-store-advisor 依赖项：

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-vector-store-advisor</artifactId>
</dependency>

QuestionAnswerAdvisor

向量数据库存储 AI 模型未知的数据。当用户的问题被发送到 AI 模型时，QuestionAnswerAdvisor 会查询向量数据库，以获取与用户问题相关的文档。

向量数据库返回的结果会被追加到用户输入文本之后，为 AI 模型生成响应提供上下文信息。

假设你已经将数据加载到 VectorStore 中，通过向 ChatClient 提供一个 QuestionAnswerAdvisor 实例，即可执行检索增强生成（RAG）。

ChatResponse response = ChatClient.builder(chatModel)
        .build().prompt()
        .advisors(QuestionAnswerAdvisor.builder(vectorStore).build())
        .user(userText)
        .call()
        .chatResponse();

在此示例中，QuestionAnswerAdvisor 将在向量数据库中所有文档上执行相似度搜索。若要限制搜索的文档类型，SearchRequest 接受一种类 SQL 的过滤表达式，该表达式在所有 VectorStore 中均可移植。

在创建 QuestionAnswerAdvisor 时，可以配置该筛选器表达式，因此它始终适用于所有 ChatClient 请求；也可以在运行时按请求提供。

以下是如何创建一个 QuestionAnswerAdvisor 实例，其中阈值为 0.8，并返回前 6 个结果。

var qaAdvisor = QuestionAnswerAdvisor.builder(vectorStore)
        .searchRequest(SearchRequest.builder().similarityThreshold(0.8d).topK(6).build())
        .build();

动态过滤表达式

使用 FILTER_EXPRESSION 顾问上下文参数在运行时更新 SearchRequest 的过滤表达式：

ChatClient chatClient = ChatClient.builder(chatModel)
    .defaultAdvisors(QuestionAnswerAdvisor.builder(vectorStore)
        .searchRequest(SearchRequest.builder().build())
        .build())
    .build();

// Update filter expression at runtime
String content = this.chatClient.prompt()
    .user("Please answer my question XYZ")
    .advisors(a -> a.param(QuestionAnswerAdvisor.FILTER_EXPRESSION, "type == 'Spring'"))
    .call()
    .content();

FILTER_EXPRESSION 参数允许您根据提供的表达式动态过滤搜索结果。

自定义模板

QuestionAnswerAdvisor 使用默认模板，利用检索到的文档来增强用户的问题。你可以通过 .promptTemplate() 构建器方法提供自己的 PromptTemplate 对象来自定义此行为。

备注

此处提供的 PromptTemplate 用于自定义 advisor 如何合并检索到的上下文与用户查询。这与在 ChatClient 本身上配置 TemplateRenderer（使用 .templateRenderer()）不同，后者影响的是 advisor 运行之前初始用户/系统提示内容的渲染。有关客户端级别模板渲染的更多详情，请参阅ChatClient 提示模板。

自定义的 PromptTemplate 可以使用任意 TemplateRenderer 实现（默认情况下，它基于 StringTemplate 引擎使用 StPromptTemplate）。关键要求是模板必须包含以下两个占位符：

• 一个 query 占位符，用于接收用户的问题。

• 一个 question_answer_context 占位符，用于接收检索到的上下文。

PromptTemplate customPromptTemplate = PromptTemplate.builder()
    .renderer(StTemplateRenderer.builder().startDelimiterToken('<').endDelimiterToken('>').build())
    .template("""
            <query>

            Context information is below.

			---------------------
			<question_answer_context>
			---------------------

			Given the context information and no prior knowledge, answer the query.

			Follow these rules:

			1. If the answer is not in the context, just say that you don't know.
			2. Avoid statements like "Based on the context..." or "The provided information...".
            """)
    .build();

    String question = "Where does the adventure of Anacletus and Birba take place?";

    QuestionAnswerAdvisor qaAdvisor = QuestionAnswerAdvisor.builder(vectorStore)
        .promptTemplate(customPromptTemplate)
        .build();

    String response = ChatClient.builder(chatModel).build()
        .prompt(question)
        .advisors(qaAdvisor)
        .call()
        .content();

备注

QuestionAnswerAdvisor.Builder.userTextAdvise() 方法已弃用，建议改用 .promptTemplate() 以实现更灵活的自定义。

RetrievalAugmentationAdvisor

Spring AI 包含一个 RAG 模块库，您可以使用它来构建自己的 RAG 流程。RetrievalAugmentationAdvisor 是一个 Advisor，它基于模块化架构，为最常见的 RAG 流程提供了开箱即用的实现。

要使用 RetrievalAugmentationAdvisor，需要在项目中添加 spring-ai-rag 依赖项：

<dependency>
   <groupId>org.springframework.ai</groupId>
   <artifactId>spring-ai-rag</artifactId>
</dependency>

顺序 RAG 流程

朴素 RAG

Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
                .similarityThreshold(0.50)
                .vectorStore(vectorStore)
                .build())
        .build();

String answer = chatClient.prompt()
        .advisors(retrievalAugmentationAdvisor)
        .user(question)
        .call()
        .content();

默认情况下，RetrievalAugmentationAdvisor 不允许检索到的上下文为空。当这种情况发生时，它会指示模型不回答用户查询。您可以按以下方式允许空的上下文。

Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
                .similarityThreshold(0.50)
                .vectorStore(vectorStore)
                .build())
        .queryAugmenter(ContextualQueryAugmenter.builder()
                .allowEmptyContext(true)
                .build())
        .build();

String answer = chatClient.prompt()
        .advisors(retrievalAugmentationAdvisor)
        .user(question)
        .call()
        .content();

VectorStoreDocumentRetriever 接受一个 FilterExpression，用于根据元数据过滤搜索结果。你可以在实例化 VectorStoreDocumentRetriever 时提供该表达式，也可以通过 FILTER_EXPRESSION 顾问上下文参数在运行时按请求提供。

Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
        .documentRetriever(VectorStoreDocumentRetriever.builder()
                .similarityThreshold(0.50)
                .vectorStore(vectorStore)
                .build())
        .build();

String answer = chatClient.prompt()
        .advisors(retrievalAugmentationAdvisor)
        .advisors(a -> a.param(VectorStoreDocumentRetriever.FILTER_EXPRESSION, "type == 'Spring'"))
        .user(question)
        .call()
        .content();

有关更多信息，请参阅 VectorStoreDocumentRetriever。

高级 RAG

Advisor retrievalAugmentationAdvisor = RetrievalAugmentationAdvisor.builder()
        .queryTransformers(RewriteQueryTransformer.builder()
                .chatClientBuilder(chatClientBuilder.build().mutate())
                .build())
        .documentRetriever(VectorStoreDocumentRetriever.builder()
                .similarityThreshold(0.50)
                .vectorStore(vectorStore)
                .build())
        .build();

String answer = chatClient.prompt()
        .advisors(retrievalAugmentationAdvisor)
        .user(question)
        .call()
        .content();

您还可以使用 DocumentPostProcessor API 对检索到的文档进行后处理，然后再将其传递给模型。例如，您可以使用该接口根据文档与查询的相关性对检索到的文档进行重排序，移除不相关或冗余的文档，或者压缩每个文档的内容以减少噪声和冗余。

模块

Spring AI 实现了受论文 “Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks” 中详述的模块化概念启发的模块化 RAG 架构。

检索前操作

Pre-Retrieval 模块负责处理用户查询，以实现尽可能最佳的检索结果。

查询转换

一个用于转换输入查询的组件，使其在检索任务中更加有效，以应对查询格式不佳、术语模糊、复杂词汇或不支持的语言等挑战。

important

在使用 QueryTransformer 时，建议将 ChatClient.Builder 配置为较低的 temperature（例如 0.0），以确保获得更具确定性且更准确的结果，从而提升检索质量。大多数聊天模型的默认 temperature 对于最佳的查询转换而言通常过高，会导致检索效果下降。

压缩查询转换器

CompressionQueryTransformer 利用大语言模型将对话历史和后续查询压缩为一个独立的查询，该查询能够捕捉对话的核心内容。

当对话历史较长且后续查询与对话上下文相关时，该 transformer 非常有用。

Query query = Query.builder()
        .text("And what is its second largest city?")
        .history(new UserMessage("What is the capital of Denmark?"),
                new AssistantMessage("Copenhagen is the capital of Denmark."))
        .build();

QueryTransformer queryTransformer = CompressionQueryTransformer.builder()
        .chatClientBuilder(chatClientBuilder)
        .build();

Query transformedQuery = queryTransformer.transform(query);

该组件使用的提示词可以通过在构建器中提供的 promptTemplate() 方法进行自定义。

RewriteQueryTransformer

RewriteQueryTransformer 利用大语言模型对用户查询进行重写，从而在查询目标系统（例如向量存储或网络搜索引擎）时获得更好的结果。

当用户查询冗长、含糊不清或包含可能影响搜索结果质量的无关信息时，该 transformer 很有用。

Query query = new Query("I'm studying machine learning. What is an LLM?");

QueryTransformer queryTransformer = RewriteQueryTransformer.builder()
        .chatClientBuilder(chatClientBuilder)
        .build();

Query transformedQuery = queryTransformer.transform(query);

该组件使用的提示词可以通过 builder 中提供的 promptTemplate() 方法进行自定义。

TranslationQueryTransformer

TranslationQueryTransformer 利用大型语言模型将查询翻译为嵌入模型支持的目标语言，该嵌入模型用于生成文档嵌入。如果查询已经是目标语言，则原样返回。如果查询的语言未知，同样原样返回。

当嵌入模型在特定语言上训练，而用户查询属于不同语言时，该 transformer 非常有用。

Query query = new Query("Hvad er Danmarks hovedstad?");

QueryTransformer queryTransformer = TranslationQueryTransformer.builder()
        .chatClientBuilder(chatClientBuilder)
        .targetLanguage("english")
        .build();

Query transformedQuery = queryTransformer.transform(query);

该组件使用的提示词可通过构建器中提供的 promptTemplate() 方法进行自定义。

查询扩展

一个用于将输入查询扩展为查询列表的组件，通过提供替代的查询表述，或将复杂问题分解为更简单的子查询，来解决查询格式不佳等挑战。

MultiQueryExpander

MultiQueryExpander 使用大型语言模型将查询扩展为多种语义多样化的变体，以捕捉不同的视角。这有助于检索额外的上下文信息，并提高找到相关结果的可能性。

MultiQueryExpander queryExpander = MultiQueryExpander.builder()
    .chatClientBuilder(chatClientBuilder)
    .numberOfQueries(3)
    .build();
List<Query> queries = queryExpander.expand(new Query("How to run a Spring Boot app?"));

默认情况下，MultiQueryExpander 会将原始查询包含在扩展后的查询列表中。你可以通过构建器中的 includeOriginal 方法禁用此行为。

MultiQueryExpander queryExpander = MultiQueryExpander.builder()
    .chatClientBuilder(chatClientBuilder)
    .includeOriginal(false)
    .build();

该组件使用的提示词可通过构建器中提供的 promptTemplate() 方法进行自定义。

检索

检索模块负责查询向量存储等数据系统，并检索最相关的文档。

文档搜索

负责从底层数据源（如搜索引擎、向量存储、数据库或知识图谱）中检索 Documents 的组件。

VectorStoreDocumentRetriever

VectorStoreDocumentRetriever 用于从向量数据库中检索与输入查询在语义上相似的文档。它支持基于元数据、相似度阈值和 top-k 结果进行过滤。

DocumentRetriever retriever = VectorStoreDocumentRetriever.builder()
    .vectorStore(vectorStore)
    .similarityThreshold(0.73)
    .topK(5)
    .filterExpression(new FilterExpressionBuilder()
        .eq("genre", "fairytale")
        .build())
    .build();
List<Document> documents = retriever.retrieve(new Query("What is the main character of the story?"));

过滤表达式可以是静态的，也可以是动态的。对于动态过滤表达式，你可以传递一个 Supplier。

DocumentRetriever retriever = VectorStoreDocumentRetriever.builder()
    .vectorStore(vectorStore)
    .filterExpression(() -> new FilterExpressionBuilder()
        .eq("tenant", TenantContextHolder.getTenantIdentifier())
        .build())
    .build();
List<Document> documents = retriever.retrieve(new Query("What are the KPIs for the next semester?"));

你也可以通过 Query API 使用 FILTER_EXPRESSION 参数提供针对特定请求的过滤表达式。如果同时提供了请求特定的过滤表达式和检索器特定的过滤表达式，则请求特定的过滤表达式优先生效。

Query query = Query.builder()
    .text("Who is Anacletus?")
    .context(Map.of(VectorStoreDocumentRetriever.FILTER_EXPRESSION, "location == 'Whispering Woods'"))
    .build();
List<Document> retrievedDocuments = documentRetriever.retrieve(query);

Document Join

用于将基于多个查询和多个数据源检索到的文档合并为单个文档集合的组件。在合并过程中，它还可以处理重复文档和倒数排名策略。

ConcatenationDocumentJoiner

ConcatenationDocumentJoiner 通过拼接来自多个查询和多个数据源的检索文档，将它们合并为单一的文档集合。对于重复的文档，保留首次出现的实例。每个文档的得分保持不变。

Map<Query, List<List<Document>>> documentsForQuery = ...
DocumentJoiner documentJoiner = new ConcatenationDocumentJoiner();
List<Document> documents = documentJoiner.join(documentsForQuery);

检索后操作

检索后模块负责处理检索到的文档，以实现尽可能最佳的生成效果。

文档后处理

一个用于基于查询对检索到的文档进行后处理的组件，旨在解决诸如“迷失在中间（lost-in-the-middle）”、模型上下文长度限制，以及减少检索信息中的噪声和冗余等问题。

例如，可以根据查询的相关性对文档进行排序，移除不相关或冗余的文档，或者压缩每个文档的内容以减少噪声和冗余。

代

生成模块负责基于用户查询和检索到的文档生成最终响应。

查询增强

一个用于通过额外数据增强输入查询的组件，适用于为大语言模型提供回答用户查询所需的必要上下文。

ContextualQueryAugmenter

ContextualQueryAugmenter 会利用所提供文档中的内容上下文数据来增强用户查询。

QueryAugmenter queryAugmenter = ContextualQueryAugmenter.builder().build();

默认情况下，ContextualQueryAugmenter 不允许检索到的上下文为空。当这种情况发生时，它会指示模型不要回答用户的查询。

您可以启用 allowEmptyContext 选项，以便在检索到的上下文为空时，模型仍能生成响应。

QueryAugmenter queryAugmenter = ContextualQueryAugmenter.builder()
        .allowEmptyContext(true)
        .build();

此组件使用的提示词可通过 builder 中提供的 promptTemplate() 和 emptyContextPromptTemplate() 方法进行自定义。

本节概述

📄️ETL 管道

提取、转换和加载（ETL）框架是 Retrieval Augmented Generation（RAG）用例中数据处理的支柱。