跳到主要内容

Anthropic 3 聊天

DeepSeek V3 中英对照 Anthropic 3 Anthropic 3 Chat

Anthropic Claude 是一系列基础 AI 模型，可用于多种应用场景。对于开发者和企业，您可以通过 API 访问并直接在 Anthropic 的 AI 基础设施 上进行构建。

Spring AI 支持 Anthropic 的 Messaging API，用于同步和流式文本生成。

提示

Anthropic 的 Claude 模型也可以通过 Amazon Bedrock Converse 使用。Spring AI 提供了专门的 Amazon Bedrock Converse Anthropic 客户端实现。

先决条件​

你需要在 Anthropic 门户上创建一个 API 密钥。在 Anthropic API 仪表板 上创建一个账户，并在 获取 API 密钥 页面上生成 API 密钥。Spring AI 项目定义了一个名为 spring.ai.anthropic.api-key 的配置属性，你应该将其设置为从 anthropic.com 获取的 API Key 的值。导出环境变量是设置该配置属性的一种方式：

export SPRING_AI_ANTHROPIC_API_KEY=<INSERT KEY HERE>
shell

添加仓库和 BOM​

Spring AI 构件发布在 Maven Central 和 Spring Snapshot 仓库中。请参考 Repositories 部分，将这些仓库添加到你的构建系统中。

为了帮助管理依赖项，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用的 Spring AI 版本一致。请参阅 依赖管理 部分，将 Spring AI BOM 添加到你的构建系统中。

自动配置​

Spring AI 提供了对 Anthropic Chat Client 的 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 或 Gradle build.gradle 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-anthropic-spring-boot-starter</artifactId>
</dependency>
xml
提示

请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。

聊天属性​

重试属性​

前缀 spring.ai.retry 用作属性前缀，允许你配置 Anthropic 聊天模型的重试机制。

属性描述默认值
spring.ai.retry.max-attempts最大重试次数。10
spring.ai.retry.backoff.initial-interval指数退避策略的初始休眠时间。2 秒
spring.ai.retry.backoff.multiplier退避间隔乘数。5
spring.ai.retry.backoff.max-interval最大退避时间。3 分钟
spring.ai.retry.on-client-errors如果为 false，则抛出 NonTransientAiException，并且对于 4xx 客户端错误代码不尝试重试。false
spring.ai.retry.exclude-on-http-codes不应触发重试的 HTTP 状态码列表（例如抛出 NonTransientAiException）。空
spring.ai.retry.on-http-codes应触发重试的 HTTP 状态码列表（例如抛出 TransientAiException）。空

:::注意
目前重试策略不适用于流式 API。
:::

连接属性​

前缀 spring.ai.anthropic 用作属性前缀，允许你连接到 Anthropic。

属性描述默认值
spring.ai.anthropic.base-url连接的 URLapi.anthropic.com
spring.ai.anthropic.versionAnthropic API 版本2023-06-01
spring.ai.anthropic.api-keyAPI 密钥-
spring.ai.anthropic.beta-version启用新的/实验性功能。如果设置为 max-tokens-3-5-sonnet-2024-07-15，输出 tokens 限制将从 4096 增加到 8192 tokens（仅适用于 claude-3-5-sonnet）。tools-2024-04-04

配置属性​

前缀 spring.ai.anthropic.chat 是一个属性前缀，用于配置 Anthropic 的聊天模型实现。

属性描述默认值
spring.ai.anthropic.chat.enabled启用 Anthropic 聊天模型。true
spring.ai.anthropic.chat.options.model这是要使用的 Anthropic 聊天模型。支持：claude-3-5-sonnet-20241022、claude-3-opus-20240229、claude-3-sonnet-20240229、claude-3-haiku-20240307 以及旧版 claude-2.1、claude-2.0 和 claude-instant-1.2 模型。claude-3-opus-20240229
spring.ai.anthropic.chat.options.temperature用于控制生成完成内容的明显创造性的采样温度。较高的值将使输出更加随机，而较低的值将使结果更加集中和确定性。不建议在同一完成请求中同时修改温度和 top_p，因为这两个设置的交互难以预测。0.8
spring.ai.anthropic.chat.options.max-tokens在聊天完成中生成的最大 token 数。输入 token 和生成 token 的总长度受模型上下文长度的限制。500
spring.ai.anthropic.chat.options.stop-sequence自定义文本序列，这些序列将导致模型停止生成。我们的模型通常会在自然完成其回合时停止，这将导致响应 stop_reason 为 "end_turn"。如果你希望模型在遇到自定义文本字符串时停止生成，可以使用 stop_sequences 参数。如果模型遇到其中一个自定义序列，响应 stop_reason 值将为 "stop_sequence"，并且响应 stop_sequence 值将包含匹配的停止序列。-
spring.ai.anthropic.chat.options.top-p使用核心采样。在核心采样中，我们计算所有选项的累积分布，按概率降序排列，并在达到 top_p 指定的特定概率时将其截断。你应该更改温度或 top_p，但不能同时更改两者。仅推荐用于高级用例。通常只需要使用温度。-
spring.ai.anthropic.chat.options.top-k仅从每个后续 token 的前 K 个选项中进行采样。用于去除“长尾”低概率响应。了解更多技术细节。仅推荐用于高级用例。通常只需要使用温度。-
spring.ai.anthropic.chat.options.toolNames工具名称列表，用于在单个提示请求中启用工具调用。具有这些名称的工具必须存在于 toolCallbacks 注册表中。-
spring.ai.anthropic.chat.options.toolCallbacks注册到 ChatModel 的工具回调。-
spring.ai.anthropic.chat.options.internal-tool-execution-enabled如果为 false，Spring AI 将不会在内部处理工具调用，而是将它们代理给客户端。然后由客户端负责处理工具调用，将它们分派到适当的函数，并返回结果。如果为 true（默认值），Spring AI 将在内部处理函数调用。仅适用于支持函数调用的聊天模型true
(已弃用 - 已替换为 toolNames) spring.ai.anthropic.chat.options.functions函数名称列表，用于在单个提示请求中启用函数调用。具有这些名称的函数必须存在于 functionCallbacks 注册表中。-
(已弃用 - 已替换为 toolCallbacks) spring.ai.anthropic.chat.options.functionCallbacks注册到 ChatModel 的工具函数回调。-
(已弃用 - 已替换为 internal-tool-execution-enabled 的否定) spring.ai.anthropic.chat.options.proxy-tool-calls如果为 true，Spring AI 将不会在内部处理函数调用，而是将它们代理给客户端。然后由客户端负责处理函数调用，将它们分派到适当的函数，并返回结果。如果为 false（默认值），Spring AI 将在内部处理函数调用。仅适用于支持函数调用的聊天模型false
提示

所有以 spring.ai.anthropic.chat.options 为前缀的属性都可以在运行时通过在 Prompt 调用中添加特定请求的运行时选项来覆盖。

运行时选项​

AnthropicChatOptions.java 提供了模型配置，例如使用的模型、温度（temperature）、最大 token 数量等。

在启动时，默认选项可以通过 AnthropicChatModel(api, options) 构造函数或 spring.ai.anthropic.chat.options.* 属性进行配置。

在运行时，你可以通过在 Prompt 调用中添加新的、特定于请求的选项来覆盖默认选项。例如，要为特定请求覆盖默认的模型和温度参数：

ChatResponse response = chatModel.call(
    new Prompt(
        "Generate the names of 5 famous pirates.",
        AnthropicChatOptions.builder()
            .model("claude-2.1")
            .temperature(0.4)
        .build()
    ));
java
提示

除了特定于模型的 AnthropicChatOptions 之外，你还可以使用一个可移植的 ChatOptions 实例，该实例可以通过 ChatOptionsBuilder#builder() 创建。

工具/函数调用​

你可以将自定义的 Java 工具注册到 AnthropicChatModel 中，让 Anthropic Claude 模型智能地选择输出一个包含参数的 JSON 对象，以调用一个或多个已注册的函数。这是一种强大的技术，能够将 LLM 的能力与外部工具和 API 连接起来。了解更多关于 Anthropic 函数调用 的信息。

多模态​

多模态（Multimodality）指的是模型能够同时理解并处理来自多种来源信息的能力，这些来源包括文本、PDF、图像、数据格式等。

图片​

目前，Anthropic Claude 3 支持 images 的 base64 源类型，以及 image/jpeg、image/png、image/gif 和 image/webp 媒体类型。更多信息请查看 Vision 指南。Anthropic Claude 3.5 Sonnet 还支持 application/pdf 文件的 pdf 源类型。

Spring AI 的 Message 接口通过引入 Media 类型来支持多模态 AI 模型。该类型包含消息中媒体附件的数据和信息，使用 Spring 的 org.springframework.util.MimeType 和一个 java.lang.Object 来存储原始媒体数据。

以下是从 AnthropicChatModelIT.java 中提取的一个简单代码示例，展示了用户文本与图像的结合。

byte[] imageData = new ClassPathResource("/multimodal.test.png").getContentAsByteArray();

var userMessage = new UserMessage("Explain what do you see on this picture?",
        List.of(new Media(MimeTypeUtils.IMAGE_PNG, this.imageData)));

ChatResponse response = chatModel.call(new Prompt(List.of(this.userMessage)));

logger.info(response.getResult().getOutput().getContent());
java

它接受 multimodal.test.png 图像作为输入：

多模态测试图像

连同文本消息“解释你在这张图片上看到了什么？”，并生成类似以下的响应：

The image shows a close-up view of a wire fruit basket containing several pieces of fruit.
...

PDF​

从 Sonnet 3.5 开始，提供了 PDF 支持（测试版）。使用 application/pdf 媒体类型将 PDF 文件附加到消息中：

var pdfData = new ClassPathResource("/spring-ai-reference-overview.pdf");

var userMessage = new UserMessage(
        "You are a very professional document summarization specialist. Please summarize the given document.",
        List.of(new Media(new MimeType("application", "pdf"), pdfData)));

var response = this.chatModel.call(new Prompt(List.of(userMessage)));
java

示例控制器​

创建 一个新的 Spring Boot 项目，并将 spring-ai-anthropic-spring-boot-starter 添加到你的 pom（或 gradle）依赖中。

在 src/main/resources 目录下添加一个 application.properties 文件，以启用和配置 Anthropic 聊天模型：

spring.ai.anthropic.api-key=YOUR_API_KEY
spring.ai.anthropic.chat.options.model=claude-3-5-sonnet-latest
spring.ai.anthropic.chat.options.temperature=0.7
spring.ai.anthropic.chat.options.max-tokens=450
application.properties

:::提示
将 api-key 替换为您的 Anthropic 凭证。
:::

这将创建一个 AnthropicChatModel 实现，你可以将其注入到你的类中。以下是一个简单的 @Controller 类示例，它使用该聊天模型进行文本生成。

@RestController
public class ChatController {

    private final AnthropicChatModel chatModel;

    @Autowired
    public ChatController(AnthropicChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", this.chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return this.chatModel.stream(prompt);
    }
}
java

手动配置​

AnthropicChatModel 实现了 ChatModel 和 StreamingChatModel，并使用 低级 AnthropicApi 客户端 连接到 Anthropic 服务。

将 spring-ai-anthropic 依赖项添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-anthropic</artifactId>
</dependency>
xml

或者到你的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-anthropic'
}
groovy
提示

请参考依赖管理部分，将 Spring AI BOM 添加到你的构建文件中。

接下来，创建一个 AnthropicChatModel 并使用它进行文本生成：

var anthropicApi = new AnthropicApi(System.getenv("ANTHROPIC_API_KEY"));

var chatModel = new AnthropicChatModel(this.anthropicApi,
        AnthropicChatOptions.builder()
            .model("claude-3-opus-20240229")
            .temperature(0.4)
            .maxTokens(200)
        .build());

ChatResponse response = this.chatModel.call(
    new Prompt("Generate the names of 5 famous pirates."));

// Or with streaming responses
Flux<ChatResponse> response = this.chatModel.stream(
    new Prompt("Generate the names of 5 famous pirates."));
java

AnthropicChatOptions 提供了聊天请求的配置信息。AnthropicChatOptions.Builder 是一个流式的选项构建器。

低层级 AnthropicApi 客户端​

AnthropicApi 提供了一个轻量级的 Java 客户端，用于与 Anthropic Message API 进行交互。

以下类图展示了 AnthropicApi 聊天接口及其构建模块：

AnthropicApi Chat API 图表

AnthropicApi 事件模型

以下是一个简单的代码片段，展示了如何以编程方式使用 API：

AnthropicApi anthropicApi =
    new AnthropicApi(System.getenv("ANTHROPIC_API_KEY"));

AnthropicMessage chatCompletionMessage = new AnthropicMessage(
        List.of(new ContentBlock("Tell me a Joke?")), Role.USER);

// Sync request
ResponseEntity<ChatCompletionResponse> response = this.anthropicApi
    .chatCompletionEntity(new ChatCompletionRequest(AnthropicApi.ChatModel.CLAUDE_3_OPUS.getValue(),
            List.of(this.chatCompletionMessage), null, 100, 0.8, false));

// Streaming request
Flux<StreamResponse> response = this.anthropicApi
    .chatCompletionStream(new ChatCompletionRequest(AnthropicApi.ChatModel.CLAUDE_3_OPUS.getValue(),
            List.of(this.chatCompletionMessage), null, 100, 0.8, true));
java

请参阅 AnthropicApi.java 的 JavaDoc 以获取更多信息。

低级 API 示例​

章节摘要​