OCI GenAI Cohere Chat
OCI GenAI 服务 提供按需模型或专用 AI 集群的生成式 AI 聊天功能。
OCI 聊天模型页面 和 OCI 生成式 AI Playground 提供了有关在 OCI 上使用和托管聊天模型的详细信息。
先决条件
你需要一个有效的 Oracle Cloud Infrastructure (OCI) 账户才能使用 OCI GenAI Cohere Chat 客户端。该客户端提供四种不同的连接方式，包括使用用户和私钥的简单认证、工作负载身份认证、实例主体认证或 OCI 配置文件认证。
添加仓库和 BOM
Spring AI 的构件发布在 Maven Central 和 Spring Snapshot 仓库中。请参考 Artifact Repositories 部分，将这些仓库添加到你的构建系统中。
为了帮助进行依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用一致版本的 Spring AI。请参考 Dependency Management 部分，将 Spring AI BOM 添加到您的构建系统中。
自动配置
Spring AI 的自动配置和 starter 模块的 artifact 名称已发生重大变更。请参阅升级说明以获取更多信息。
Spring AI 为 OCI GenAI Cohere Chat Client 提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-oci-genai</artifactId>
</dependency>
或到你的 Gradle build.gradle 构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-starter-model-oci-genai'
}
请参考 依赖管理 部分，将 Spring AI BOM 添加到你的构建文件中。
聊天属性
Connection Properties
前缀 spring.ai.oci.genai 是用于配置连接到 OCI GenAI 的属性前缀。
| 属性 | 描述 | 默认值 |
|---|---|---|
| spring.ai.oci.genai.authenticationType | 用于向 OCI 进行身份验证的类型。可以是 file、instance-principal、workload-identity 或 simple。 | file |
| spring.ai.oci.genai.region | OCI 服务区域。 | us-chicago-1 |
| spring.ai.oci.genai.tenantId | OCI 租户 OCID，使用 simple 身份验证时需要。 | - |
| spring.ai.oci.genai.userId | OCI 用户 OCID，使用 simple 身份验证时需要。 | - |
| spring.ai.oci.genai.fingerprint | 私钥指纹，使用 simple 身份验证时需要。 | - |
| spring.ai.oci.genai.privateKey | 私钥内容，使用 simple 身份验证时需要。 | - |
| spring.ai.oci.genai.passPhrase | 可选的私钥口令，当使用 simple 身份验证且私钥受口令保护时需要。 | - |
| spring.ai.oci.genai.file | OCI 配置文件路径。使用 file 身份验证时需要。 | <user’s home directory>/.oci/config |
| spring.ai.oci.genai.profile | OCI 配置文件名称。使用 file 身份验证时需要。 | DEFAULT |
| spring.ai.oci.genai.endpoint | 可选的 OCI GenAI 端点。 | - |
配置属性
聊天自动配置的启用和禁用现在通过前缀为 spring.ai.model.chat 的顶层属性进行配置。要启用，请设置 spring.ai.model.chat=oci-genai（默认已启用）。要禁用，请设置 spring.ai.model.chat=none（或任何不匹配 oci-genai 的值）。此更改是为了允许多个模型的配置。
前缀 spring.ai.oci.genai.cohere.chat 是用于配置 OCI GenAI Cohere Chat 的 ChatModel 实现的属性前缀。
| 属性 | 描述 | 默认值 |
|---|---|---|
| spring.ai.model.chat | 启用 OCI GenAI Cohere 聊天模型。 | oci-genai |
| spring.ai.oci.genai.cohere.chat.enabled (已无效) | 启用 OCI GenAI Cohere 聊天模型。 | true |
| spring.ai.oci.genai.cohere.chat.options.model | 模型 OCID 或端点 | - |
| spring.ai.oci.genai.cohere.chat.options.compartment | 模型 compartment OCID。 | - |
| spring.ai.oci.genai.cohere.chat.options.servingMode | 要使用的模型服务模式。可以是 on-demand 或 dedicated。 | on-demand |
| spring.ai.oci.genai.cohere.chat.options.preambleOverride | 覆盖聊天模型的提示前缀 | - |
| spring.ai.oci.genai.cohere.chat.options.temperature | 推理温度 | - |
| spring.ai.oci.genai.cohere.chat.options.topP | Top P 参数 | - |
| spring.ai.oci.genai.cohere.chat.options.topK | Top K 参数 | - |
| spring.ai.oci.genai.cohere.chat.options.frequencyPenalty | 值越高，将减少重复的 token，输出会更随机。 | - |
| spring.ai.oci.genai.cohere.chat.options.presencePenalty | 值越高，鼓励生成包含未使用过 token 的输出。 | - |
| spring.ai.oci.genai.cohere.chat.options.stop | 将终止补全生成的文本序列列表。 | - |
| spring.ai.oci.genai.cohere.chat.options.documents | 用于聊天上下文的文档列表。 | - |
所有以 spring.ai.oci.genai.cohere.chat.options 为前缀的属性，都可以通过在 Prompt 调用中添加特定于请求的 运行时选项 在运行时进行覆盖。
运行时选项
OCICohereChatOptions.java 提供了模型配置，例如要使用的模型、temperature、frequency penalty 等。
启动时，可以通过 OCICohereChatModel(api, options) 构造函数或 spring.ai.oci.genai.cohere.chat.options.* 属性来配置默认选项。
在运行时，你可以通过在 Prompt 调用中添加新的、特定于请求的选项来覆盖默认选项。例如，为特定请求覆盖默认的模型和 temperature：
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OCICohereChatOptions.builder()
.model("my-model-ocid")
.compartment("my-compartment-ocid")
.temperature(0.5)
.build()
));
示例控制器
创建 一个新的 Spring Boot 项目，并在你的 pom（或 gradle）依赖中添加 spring-ai-starter-model-oci-genai。
在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 OCI GenAI Cohere 聊天模型：
spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid
请将 file、compartment 和 model 替换为您的 OCI 账户中的相应值。
这将创建一个 OCICohereChatModel 实现，您可以将其注入到您的类中。以下是一个简单的 @Controller 类示例，该类使用聊天模型进行文本生成。
@RestController
public class ChatController {
private final OCICohereChatModel chatModel;
@Autowired
public ChatController(OCICohereChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}
手动配置
OCICohereChatModel 实现了 ChatModel，并使用 OCI Java SDK 连接到 OCI GenAI 服务。
将 spring-ai-oci-genai 依赖项添加到项目的 Maven pom.xml 文件中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-oci-genai</artifactId>
</dependency>
或到你的 Gradle build.gradle 构建文件。
dependencies {
implementation 'org.springframework.ai:spring-ai-oci-genai'
}
请参考 依赖管理 部分，将 Spring AI BOM 添加到你的构建文件中。
接下来，创建一个 OCICohereChatModel 并将其用于文本生成：
var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");
ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
CONFIG_FILE,
"DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
.region(Region.valueOf("us-chicago-1"))
.build(authProvider);
var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
.model(MODEL_ID)
.compartment(COMPARTMENT_ID)
.servingMode("on-demand")
.build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
OCICohereChatOptions 提供了聊天请求的配置信息。OCICohereChatOptions.Builder 是一个流畅的选项构建器。