千帆聊天

DeepSeek V3 中英对照 QianFan QianFan Chat

Spring AI 支持来自 QianFan 的各种 AI 语言模型。你可以与 QianFan 语言模型进行交互，并基于 QianFan 模型创建多语言对话助手。

前提条件

你需要创建一个 API 来访问 QianFan 语言模型。

在 QianFan 注册页面 创建一个账户，并在 API Keys 页面 生成 token。Spring AI 项目定义了一个名为 spring.ai.qianfan.api-key 和 spring.ai.qianfan.secret-key 的配置属性。你应该将其设置为从 API Keys 页面 获取的 API Key 和 Secret Key 的值。导出环境变量是设置该配置属性的一种方式：

export SPRING_AI_QIANFAN_API_KEY=<INSERT API KEY HERE>
export SPRING_AI_QIANFAN_SECRET_KEY=<INSERT SECRET KEY HERE>

shell

添加仓库和 BOM

Spring AI 工件发布在 Maven Central 和 Spring Snapshot 仓库中。请参考 Repositories 部分，将这些仓库添加到你的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参考 依赖管理 部分，将 Spring AI BOM 添加到你的构建系统中。

自动配置

Spring AI 为 QianFan Chat Client 提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-qianfan-spring-boot-starter</artifactId>
</dependency>

xml

或者添加到你的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-qianfan-spring-boot-starter'
}

groovy

提示

请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀，用于配置 QianFan Chat 客户端的重试机制。

属性	描述	默认值
spring.ai.retry.max-attempts	最大重试次数。	10
spring.ai.retry.backoff.initial-interval	指数退避策略的初始休眠时间。	2 秒
spring.ai.retry.backoff.multiplier	退避间隔乘数。	5
spring.ai.retry.backoff.max-interval	最大退避时间。	3 分钟
spring.ai.retry.on-client-errors	如果为 false，抛出 NonTransientAiException，并且不会对 4xx 客户端错误代码进行重试	false
spring.ai.retry.exclude-on-http-codes	不应触发重试的 HTTP 状态码列表（例如抛出 NonTransientAiException）。	空
spring.ai.retry.on-http-codes	应触发重试的 HTTP 状态码列表（例如抛出 TransientAiException）。	空

连接属性

前缀 spring.ai.qianfan 用作属性前缀，允许你连接到 QianFan。

属性	描述	默认值
spring.ai.qianfan.base-url	连接的 URL	api.qianfan.chat
spring.ai.qianfan.api-key	API 密钥	-
spring.ai.qianfan.secret-key	密钥	-

配置属性

前缀 spring.ai.qianfan.chat 是用于配置 QianFan 聊天客户端实现的属性前缀。

属性	描述	默认值
spring.ai.qianfan.chat.enabled	启用 QianFan 聊天客户端。	true
spring.ai.qianfan.chat.base-url	可选，覆盖 spring.ai.qianfan.base-url 以提供聊天特定的 URL。	api.qianfan.chat
spring.ai.qianfan.chat.api-key	可选，覆盖 spring.ai.qianfan.api-key 以提供聊天特定的 API 密钥。	-
spring.ai.qianfan.chat.secret-key	可选，覆盖 spring.ai.qianfan.secret-key 以提供聊天特定的密钥。	-
spring.ai.qianfan.chat.options.model	这是要使用的 QianFan 聊天模型。	abab5.5-chat（abab5.5s-chat、abab5.5-chat 和 abab6-chat 指向最新的模型版本）
spring.ai.qianfan.chat.options.maxTokens	生成聊天完成时的最大令牌数。输入令牌和生成令牌的总长度受模型上下文长度的限制。	-
spring.ai.qianfan.chat.options.temperature	用于控制生成完成内容的明显创造性的采样温度。较高的值会使输出更加随机，而较低的值会使结果更加集中和确定性。不建议在同一个完成请求中同时修改温度和 top_p，因为这两个设置的交互难以预测。	0.7
spring.ai.qianfan.chat.options.topP	温度采样的替代方法，称为核采样，其中模型考虑具有 top_p 概率质量的令牌结果。因此，0.1 表示仅考虑构成前 10% 概率质量的令牌。通常建议更改此值或温度，但不要同时更改两者。	1.0
spring.ai.qianfan.chat.options.presencePenalty	介于 -2.0 和 2.0 之间的数字。正值会根据新令牌是否出现在文本中对其进行惩罚，从而增加模型讨论新主题的可能性。	0.0f
spring.ai.qianfan.chat.options.frequencyPenalty	介于 -2.0 和 2.0 之间的数字。正值会根据新令牌在文本中的现有频率对其进行惩罚，从而降低模型重复相同内容的可能性。	0.0f
spring.ai.qianfan.chat.options.stop	模型将停止生成由 stop 指定的字符，目前仅支持单个停止词，格式为 ["stop_word1"]	-

备注

你可以为 ChatClient 实现覆盖通用的 spring.ai.qianfan.base-url、spring.ai.qianfan.api-key 和 spring.ai.qianfan.secret-key。如果设置了 spring.ai.qianfan.chat.base-url、spring.ai.qianfan.chat.api-key 和 spring.ai.qianfan.chat.secret-key 属性，它们将优先于通用属性。如果你想为不同的模型和不同的模型端点使用不同的 QianFan 账户，这将非常有用。

提示

所有以 spring.ai.qianfan.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定请求的运行时选项来覆盖。

运行时选项

QianFanChatOptions.java 提供了模型的配置选项，例如使用的模型、温度（temperature）、频率惩罚（frequency penalty）等。

在启动时，默认选项可以通过 QianFanChatModel(api, options) 构造函数或 spring.ai.qianfan.chat.options.* 属性进行配置。

在运行时，你可以通过在 Prompt 调用中添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认模型和 temperature 参数：

ChatResponse response = chatClient.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        QianFanChatOptions.builder()
            .model(QianFanApi.ChatModel.ERNIE_Speed_8K.getValue())
            .temperature(0.5)
        .build()
    ));

java

提示

除了特定于模型的 QianFanChatOptions 之外，你还可以使用一个可移植的 ChatOptions 实例，该实例通过 ChatOptionsBuilder#builder() 创建。

示例控制器

创建一个新的 Spring Boot 项目，并将 spring-ai-qianfan-spring-boot-starter 添加到你的 pom（或 gradle）依赖中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 QianFan Chat 客户端：

spring.ai.qianfan.api-key=YOUR_API_KEY
spring.ai.qianfan.secret-key=YOUR_SECRET_KEY
spring.ai.qianfan.chat.options.model=ernie_speed
spring.ai.qianfan.chat.options.temperature=0.7

application.properties

提示

将 api-key 和 secret-key 替换为你的 QianFan 凭证。

这将创建一个 QianFanChatModel 实现，你可以将其注入到你的类中。以下是一个使用聊天客户端进行文本生成的简单 @Controller 类的示例。

@RestController
public class ChatController {

    private final QianFanChatModel chatClient;

    @Autowired
    public ChatController(QianFanChatModel chatClient) {
        this.chatClient = chatClient;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatClient.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return this.chatClient.stream(prompt);
    }
}

java

手动配置

QianFanChatModel 实现了 ChatClient 和 StreamingChatClient，并使用 低层级的 QianFanApi 客户端 连接到 QianFan 服务。

将 spring-ai-qianfan 依赖添加到你的项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-qianfan</artifactId>
</dependency>

xml

或添加到你的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-qianfan'
}

groovy

提示

请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

接下来，创建一个 QianFanChatModel 并使用它进行文本生成：

var qianFanApi = new QianFanApi(System.getenv("QIANFAN_API_KEY"), System.getenv("QIANFAN_SECRET_KEY"));

var chatClient = new QianFanChatModel(this.qianFanApi, QianFanChatOptions.builder()
                .model(QianFanApi.ChatModel.ERNIE_Speed_8K.getValue())
                .temperature(0.4)
                .maxTokens(200)
                .build());

ChatResponse response = this.chatClient.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> streamResponse = this.chatClient.stream(
    new Prompt("Generate the names of 5 famous pirates."));

java

QianFanChatOptions 提供了聊天请求的配置信息。QianFanChatOptions.Builder 是一个流式的选项构建器。

低级 QianFanApi 客户端

QianFanApi 提供了一个轻量级的 Java 客户端，用于访问 QianFan API。

以下是一个简单的代码片段，展示了如何以编程方式使用该 API：

String systemMessage = "Your name is QianWen";

QianFanApi qianFanApi =
    new QianFanApi(System.getenv("QIANFAN_API_KEY"), System.getenv("QIANFAN_SECRET_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = this.qianFanApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), this.systemMessage, QianFanApi.ChatModel.ERNIE_Speed_8K.getValue(), 0.7, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = this.qianFanApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), this.systemMessage, QianFanApi.ChatModel.ERNIE_Speed_8K.getValue(), 0.7, true));

java

请参考 QianFanApi.java 的 JavaDoc 以获取更多信息。

QianFanApi 示例

• QianFanApiIT.java 测试提供了一些如何使用轻量级库的通用示例。