Moonshot AI 聊天

DeepSeek V3 中英对照 Moonshot AI Moonshot AI Chat

Spring AI 支持来自 Moonshot AI 的各种 AI 语言模型。你可以与 Moonshot AI 语言模型进行交互，并基于 Moonshot 模型创建一个多语言对话助手。

先决条件

你需要使用 Moonshot 创建一个 API 来访问 Moonshot AI 语言模型。首先在 Moonshot AI 注册页面 创建一个账户，并在 API Keys 页面 生成一个 token。Spring AI 项目定义了一个名为 spring.ai.moonshot.api-key 的配置属性，你应该将其设置为从 API Keys 页面 获取的 API Key 值。导出环境变量是设置该配置属性的一种方式：

export SPRING_AI_MOONSHOT_API_KEY=<INSERT KEY HERE>

shell

添加仓库和 BOM

Spring AI 构件已发布在 Maven Central 和 Spring Snapshot 仓库中。请参考仓库部分，将这些仓库添加到您的构建系统中。

为了帮助管理依赖，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致的 Spring AI 版本。请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建系统中。

自动配置

Spring AI 为 Moonshot 聊天模型提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-moonshot-spring-boot-starter</artifactId>
</dependency>

xml

或者到你的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-moonshot-spring-boot-starter'
}

groovy

:::提示
请参阅 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。
:::

聊天属性

重试属性

前缀 spring.ai.retry 用作属性前缀，允许你为 Moonshot AI Chat 模型配置重试机制。

属性	描述	默认值
spring.ai.retry.max-attempts	最大重试次数。	10
spring.ai.retry.backoff.initial-interval	指数退避策略的初始休眠时间。	2 秒
spring.ai.retry.backoff.multiplier	退避间隔乘数。	5
spring.ai.retry.backoff.max-interval	最大退避时间。	3 分钟
spring.ai.retry.on-client-errors	如果为 false，抛出 NonTransientAiException，并且不对 4xx 客户端错误代码尝试重试。	false
spring.ai.retry.exclude-on-http-codes	不应触发重试的 HTTP 状态码列表（例如抛出 NonTransientAiException）。	空
spring.ai.retry.on-http-codes	应触发重试的 HTTP 状态码列表（例如抛出 TransientAiException）。	空

连接属性

前缀 spring.ai.moonshot 用作属性前缀，允许你连接到 Moonshot。

属性	描述	默认值
spring.ai.moonshot.base-url	连接的 URL	api.moonshot.cn
spring.ai.moonshot.api-key	API 密钥	-

配置属性

前缀 spring.ai.moonshot.chat 是用于配置 Moonshot 聊天模型实现的属性前缀。

属性	描述	默认值
spring.ai.moonshot.chat.enabled	启用 Moonshot 聊天模型。	true
spring.ai.moonshot.chat.base-url	可选，覆盖 spring.ai.moonshot.base-url 以提供聊天特定的 URL	-
spring.ai.moonshot.chat.api-key	可选，覆盖 spring.ai.moonshot.api-key 以提供聊天特定的 API 密钥	-
spring.ai.moonshot.chat.options.model	这是要使用的 Moonshot 聊天模型	moonshot-v1-8k（moonshot-v1-8k、moonshot-v1-32k 和 moonshot-v1-128k 指向最新的模型版本）
spring.ai.moonshot.chat.options.maxTokens	聊天生成中生成的最大 token 数。输入 token 和生成 token 的总长度受模型上下文长度的限制。	-
spring.ai.moonshot.chat.options.temperature	用于控制生成内容的表观创造性的采样温度。较高的值会使输出更加随机，而较低的值会使结果更加集中和确定性。不建议在同一生成请求中同时修改温度和 top_p，因为这两个设置的交互难以预测。	0.7
spring.ai.moonshot.chat.options.topP	温度采样的替代方法，称为核采样，模型考虑具有 top_p 概率质量的 token 的结果。因此，0.1 表示只考虑构成前 10% 概率质量的 token。通常建议修改此值或温度，但不要同时修改两者。	1.0
spring.ai.moonshot.chat.options.n	为每个输入消息生成多少个聊天生成选项。请注意，您将根据所有选项中生成的 token 数量收费。默认值为 1，且不能大于 5。特别是当温度非常小且接近 0 时，我们只能返回 1 个结果。如果此时 n 已设置且大于 1，服务将返回非法输入参数错误（invalid_request_error）	1
spring.ai.moonshot.chat.options.presencePenalty	介于 -2.0 和 2.0 之间的数字。正值根据新 token 是否出现在文本中来进行惩罚，增加模型讨论新主题的可能性。	0.0f
spring.ai.moonshot.chat.options.frequencyPenalty	介于 -2.0 和 2.0 之间的数字。正值根据新 token 在文本中的现有频率来进行惩罚，减少模型重复相同内容的可能性。	0.0f
spring.ai.moonshot.chat.options.stop	最多 5 个序列，API 将在生成更多 token 时停止。每个字符串不得超过 32 字节	-

备注

你可以为 ChatModel 实现覆盖通用的 spring.ai.moonshot.base-url 和 spring.ai.moonshot.api-key。如果设置了 spring.ai.moonshot.chat.base-url 和 spring.ai.moonshot.chat.api-key 属性，它们将优先于通用属性。这在你想为不同模型和不同模型端点使用不同的 Moonshot 账户时非常有用。

提示

所有以 spring.ai.moonshot.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定请求的运行时选项来覆盖。

运行时选项

MoonshotChatOptions.java 提供了模型配置选项，例如使用的模型、温度（temperature）、频率惩罚（frequency penalty）等。

在启动时，默认选项可以通过 MoonshotChatModel(api, options) 构造函数或 spring.ai.moonshot.chat.options.* 属性进行配置。

在运行时，你可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，要为特定请求覆盖默认模型和温度参数：

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        MoonshotChatOptions.builder()
            .model(MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue())
            .temperature(0.5)
        .build()
    ));

java

提示

除了特定于模型的 MoonshotChatOptions 之外，你还可以使用可移植的 ChatOptions 实例，该实例通过 ChatOptionsBuilder#builder() 创建。

示例控制器（自动配置）

创建一个新的 Spring Boot 项目，并将 spring-ai-moonshot-spring-boot-starter 添加到你的 pom（或 gradle）依赖中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 Moonshot Chat 模型：

spring.ai.moonshot.api-key=YOUR_API_KEY
spring.ai.moonshot.chat.options.model=moonshot-v1-8k
spring.ai.moonshot.chat.options.temperature=0.7

application.properties

:::提示
将 api-key 替换为你的 Moonshot 凭证。
:::

这将创建一个 MoonshotChatModel 实现，你可以将其注入到你的类中。下面是一个简单的 @Controller 类示例，它使用聊天模型进行文本生成。

@RestController
public class ChatController {

    private final MoonshotChatModel chatModel;

    @Autowired
    public ChatController(MoonshotChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        var prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}

java

手动配置

MoonshotChatModel 实现了 ChatModel 和 StreamingChatModel，并使用 低级 Moonshot API 客户端 连接到 Moonshot 服务。

将 spring-ai-moonshot 依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-moonshot</artifactId>
</dependency>

xml

或添加到你的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-moonshot'
}

groovy

:::提示
请参考依赖管理部分，将 Spring AI BOM 添加到你的构建文件中。
:::

接下来，创建一个 MoonshotChatModel 并使用它进行文本生成：

var moonshotApi = new MoonshotApi(System.getenv("MOONSHOT_API_KEY"));

var chatModel = new MoonshotChatModel(this.moonshotApi, MoonshotChatOptions.builder()
                .model(MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue())
                .temperature(0.4)
                .maxTokens(200)
                .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> streamResponse = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));

java

MoonshotChatOptions 提供了聊天请求的配置信息。MoonshotChatOptions.Builder 是一个流式的选项构建器。

低级 Moonshot Api 客户端

MoonshotApi 为 Moonshot AI API 提供了一个轻量级的 Java 客户端。

以下是一个简单的代码片段，展示了如何以编程方式使用 API：

MoonshotApi moonshotApi =
    new MoonshotApi(System.getenv("MOONSHOT_API_KEY"));

ChatCompletionMessage chatCompletionMessage =
    new ChatCompletionMessage("Hello world", Role.USER);

// Sync request
ResponseEntity<ChatCompletion> response = this.moonshotApi.chatCompletionEntity(
    new ChatCompletionRequest(List.of(this.chatCompletionMessage), MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue(), 0.7, false));

// Streaming request
Flux<ChatCompletionChunk> streamResponse = this.moonshotApi.chatCompletionStream(
        new ChatCompletionRequest(List.of(this.chatCompletionMessage), MoonshotApi.ChatModel.MOONSHOT_V1_8K.getValue(), 0.7, true));

java

请参考 MoonshotApi.java 的 JavaDoc 获取更多信息。

MoonshotApi 示例

• MoonshotApiIT.java 测试提供了一些如何使用轻量级库的通用示例。

• MoonshotApiToolFunctionCallIT.java 测试展示了如何使用底层 API 调用工具函数。