OCI GenAI Cohere 聊天
OCI GenAI 服务 提供按需模型或专用 AI 集群的生成式 AI 聊天功能。
OCI 聊天模型页面 和 OCI 生成式 AI 游乐场 提供了关于在 OCI 上使用和托管聊天模型的详细信息。
先决条件
你需要一个活跃的 Oracle Cloud Infrastructure (OCI) 账户来使用 OCI GenAI Cohere 聊天客户端。该客户端提供了四种不同的连接方式，包括使用用户和私钥的简单身份验证、工作负载身份、实例主体或 OCI 配置文件身份验证。
添加仓库和 BOM
Spring AI 构件已发布在 Maven Central 和 Spring Snapshot 仓库中。请参考 Repositories 部分，将这些仓库添加到您的构建系统中。
为了帮助进行依赖管理，Spring AI 提供了一个 BOM（物料清单），以确保在整个项目中使用的 Spring AI 版本一致。请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建系统中。
自动配置
Spring AI 为 OCI GenAI Cohere Chat Client 提供了 Spring Boot 自动配置。要启用它，请将以下依赖项添加到项目的 Maven pom.xml 文件中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-oci-genai-spring-boot-starter</artifactId>
</dependency>
或到你的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-oci-genai-spring-boot-starter'
}
请参考依赖管理部分，将 Spring AI BOM 添加到您的构建文件中。
聊天属性
连接属性
spring.ai.oci.genai 前缀是用于配置连接到 OCI GenAI 的属性前缀。
| 属性 | 描述 | 默认值 |
|---|---|---|
| spring.ai.oci.genai.authenticationType | 在 OCI 上进行身份验证时使用的身份验证类型。可以是 file、instance-principal、workload-identity 或 simple。 | file |
| spring.ai.oci.genai.region | OCI 服务区域。 | us-chicago-1 |
| spring.ai.oci.genai.tenantId | OCI 租户 OCID，在使用 simple 身份验证时使用。 | - |
| spring.ai.oci.genai.userId | OCI 用户 OCID，在使用 simple 身份验证时使用。 | - |
| spring.ai.oci.genai.fingerprint | 私钥指纹，在使用 simple 身份验证时使用。 | - |
| spring.ai.oci.genai.privateKey | 私钥内容，在使用 simple 身份验证时使用。 | - |
| spring.ai.oci.genai.passPhrase | 可选的私钥密码短语，在使用 simple 身份验证且私钥受密码保护时使用。 | - |
| spring.ai.oci.genai.file | OCI 配置文件路径。在使用 file 身份验证时使用。 | <用户主目录>/.oci/config |
| spring.ai.oci.genai.profile | OCI 配置文件名称。在使用 file 身份验证时使用。 | DEFAULT |
| spring.ai.oci.genai.endpoint | 可选的 OCI GenAI 终端节点。 | - |
配置属性
前缀 spring.ai.oci.genai.chat.cohere 是用于配置 OCI GenAI Cohere Chat 的 ChatModel 实现的属性前缀。
| 属性 | 描述 | 默认值 |
|---|---|---|
| spring.ai.oci.genai.chat.cohere.enabled | 启用 OCI GenAI Cohere 聊天模型。 | true |
| spring.ai.oci.genai.chat.cohere.options.model | 模型 OCID 或端点 | - |
| spring.ai.oci.genai.chat.cohere.options.compartment | 模型分区 OCID。 | - |
| spring.ai.oci.genai.chat.cohere.options.servingMode | 使用的模型服务模式。可以是 on-demand 或 dedicated。 | on-demand |
| spring.ai.oci.genai.chat.cohere.options.preambleOverride | 覆盖聊天模型的提示前导文本 | - |
| spring.ai.oci.genai.chat.cohere.options.temperature | 推理温度 | - |
| spring.ai.oci.genai.chat.cohere.options.topP | Top P 参数 | - |
| spring.ai.oci.genai.chat.cohere.options.topK | Top K 参数 | - |
| spring.ai.oci.genai.chat.cohere.options.frequencyPenalty | 较高的值会减少重复的 token，输出将更加随机。 | - |
| spring.ai.oci.genai.chat.cohere.options.presencePenalty | 较高的值会鼓励生成使用未使用过的 token 的输出。 | - |
| spring.ai.oci.genai.chat.cohere.options.stop | 用于结束生成完成的文本序列列表。 | - |
| spring.ai.oci.genai.chat.cohere.options.documents | 用于聊天上下文的文档列表。 | - |
所有以 spring.ai.oci.genai.chat.cohere.options 为前缀的属性都可以在运行时通过在 Prompt 调用中添加请求特定的运行时选项来覆盖。
运行时选项
OCICohereChatOptions.java 提供了模型的配置选项，例如使用的模型、温度（temperature）、频率惩罚（frequency penalty）等。
在启动时，默认选项可以通过 OCICohereChatModel(api, options) 构造函数或 spring.ai.oci.genai.chat.cohere.options.* 属性进行配置。
在运行时，你可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如，要覆盖特定请求的默认模型和温度：
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OCICohereChatOptions.builder()
.model("my-model-ocid")
.compartment("my-compartment-ocid")
.temperature(0.5)
.build()
));
示例控制器
创建一个新的 Spring Boot 项目，并将 spring-ai-oci-genai-spring-boot-starter 添加到你的 pom（或 gradle）依赖中。
在 src/main/resources 目录下添加一个 application.properties 文件，以启用并配置 OCI GenAI Cohere 聊天模型：
spring.ai.oci.genai.authenticationType=file
spring.ai.oci.genai.file=/path/to/oci/config/file
spring.ai.oci.genai.cohere.chat.options.compartment=my-compartment-ocid
spring.ai.oci.genai.cohere.chat.options.servingMode=on-demand
spring.ai.oci.genai.cohere.chat.options.model=my-chat-model-ocid
:::提示
将 file、compartment 和 model 替换为你在 OCI 账户中的值。
:::
这将创建一个 OCICohereChatModel 实现，你可以将其注入到你的类中。以下是一个简单的 @Controller 类的示例，该类使用聊天模型进行文本生成。
@RestController
public class ChatController {
private final OCICohereChatModel chatModel;
@Autowired
public ChatController(OCICohereChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
var prompt = new Prompt(new UserMessage(message));
return chatModel.stream(prompt);
}
}
手动配置
OCICohereChatModel 实现了 ChatModel 接口，并使用 OCI Java SDK 连接到 OCI GenAI 服务。
将 spring-ai-oci-genai 依赖项添加到项目的 Maven pom.xml 文件中：
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-oci-genai</artifactId>
</dependency>
或者到你的 Gradle build.gradle 构建文件中。
dependencies {
implementation 'org.springframework.ai:spring-ai-oci-genai'
}
:::提示
请参考依赖管理部分，将 Spring AI BOM 添加到你的构建文件中。
:::
接下来，创建一个 OCICohereChatModel 并使用它进行文本生成：
var CONFIG_FILE = Paths.get(System.getProperty("user.home"), ".oci", "config").toString();
var COMPARTMENT_ID = System.getenv("OCI_COMPARTMENT_ID");
var MODEL_ID = System.getenv("OCI_CHAT_MODEL_ID");
ConfigFileAuthenticationDetailsProvider authProvider = new ConfigFileAuthenticationDetailsProvider(
CONFIG_FILE,
"DEFAULT"
);
var genAi = GenerativeAiInferenceClient.builder()
.region(Region.valueOf("us-chicago-1"))
.build(authProvider);
var chatModel = new OCICohereChatModel(genAi, OCICohereChatOptions.builder()
.model(MODEL_ID)
.compartment(COMPARTMENT_ID)
.servingMode("on-demand")
.build());
ChatResponse response = chatModel.call(
new Prompt("Generate the names of 5 famous pirates."));
OCICohereChatOptions 提供了聊天请求的配置信息。OCICohereChatOptions.Builder 是一个流式选项构建器。