跳到主要内容

OpenAI 文本转语音 (TTS)

DeepSeek V3 中英对照 OpenAI OpenAI Text-to-Speech (TTS)

引言​

Audio API 提供了基于 OpenAI 的 TTS（文本转语音）模型的语音端点，使用户能够：

  • 叙述一篇书面博客文章。

  • 以多种语言生成口语音频。

  • 使用流媒体技术提供实时音频输出。

先决条件​

  1. 创建一个 OpenAI 账户并获取 API 密钥。你可以在 OpenAI 注册页面 注册，并在 API 密钥页面 生成 API 密钥。

  2. 将 spring-ai-openai 依赖项添加到项目的构建文件中。更多信息请参考 依赖管理 部分。

自动配置​

Spring AI 为 OpenAI 的文本转语音（Text-to-Speech）客户端提供了 Spring Boot 自动配置。要启用此功能，请将以下依赖项添加到你的项目 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
xml

或者添加到你的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai-spring-boot-starter'
}
groovy
提示

请参考 依赖管理 部分，将 Spring AI BOM 添加到您的构建文件中。

语音属性​

连接属性​

前缀 spring.ai.openai 用作属性前缀，允许你连接到 OpenAI。

属性描述默认值
spring.ai.openai.base-url连接的 URLapi.openai.com
spring.ai.openai.api-keyAPI 密钥-
spring.ai.openai.organization-id可选，您可以指定用于 API 请求的组织。-
spring.ai.openai.project-id可选，您可以指定用于 API 请求的项目。-

:::提示
对于属于多个组织（或通过其旧版用户 API 密钥访问其项目）的用户，您可以选择指定哪个组织和项目用于 API 请求。这些 API 请求的使用将计入指定组织和项目的使用量。
:::

配置属性​

前缀 spring.ai.openai.audio.speech 用作属性前缀，允许你配置 OpenAI 文本转语音客户端。

属性描述默认值
spring.ai.openai.audio.speech.base-url连接的 URLapi.openai.com
spring.ai.openai.audio.speech.api-keyAPI 密钥-
spring.ai.openai.audio.speech.organization-id可选，指定用于 API 请求的组织。-
spring.ai.openai.audio.speech.project-id可选，指定用于 API 请求的项目。-
spring.ai.openai.audio.speech.options.model使用的模型 ID。目前仅支持 tts-1。tts-1
spring.ai.openai.audio.speech.options.voice用于 TTS 输出的语音。可用选项包括：alloy、echo、fable、onyx、nova 和 shimmer。alloy
spring.ai.openai.audio.speech.options.response-format音频输出的格式。支持的格式包括 mp3、opus、aac、flac、wav 和 pcm。mp3
spring.ai.openai.audio.speech.options.speed语音合成的速度。可接受的范围为 0.25（最慢）到 4.0（最快）。1.0
备注

你可以覆盖通用的 spring.ai.openai.base-url、spring.ai.openai.api-key、spring.ai.openai.organization-id 和 spring.ai.openai.project-id 属性。如果设置了 spring.ai.openai.audio.speech.base-url、spring.ai.openai.audio.speech.api-key、spring.ai.openai.audio.speech.organization-id 和 spring.ai.openai.audio.speech.project-id 属性，它们将优先于通用属性。这在你想为不同模型和不同模型端点使用不同的 OpenAI 账户时非常有用。

:::提示
所有以 spring.ai.openai.image.options 为前缀的属性都可以在运行时被覆盖。
:::

运行时选项​

OpenAiAudioSpeechOptions 类提供了在进行文本转语音请求时使用的选项。在启动时，将使用 spring.ai.openai.audio.speech 指定的选项，但你可以在运行时覆盖这些选项。

例如：

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .model("tts-1")
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", this.speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(this.speechPrompt);
java

手动配置​

将 spring-ai-openai 依赖添加到项目的 Maven pom.xml 文件中：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>
xml

或者在你的 Gradle build.gradle 构建文件中：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
groovy

:::提示
请参考 依赖管理 部分，将 Spring AI BOM 添加到你的构建文件中。
:::

接下来，创建一个 OpenAiAudioSpeechModel：

var openAiAudioApi = new OpenAiAudioApi(System.getenv("OPENAI_API_KEY"));

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(this.openAiAudioApi);

var speechOptions = OpenAiAudioSpeechOptions.builder()
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

var speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", this.speechOptions);
SpeechResponse response = this.openAiAudioSpeechModel.call(this.speechPrompt);

// Accessing metadata (rate limit info)
OpenAiAudioSpeechResponseMetadata metadata = this.response.getMetadata();

byte[] responseAsBytes = this.response.getResult().getOutput();
java

实时音频流​

Speech API 提供了对使用分块传输编码（chunk transfer encoding）的实时音频流的支持。这意味着在生成完整文件并使其可访问之前，音频就可以开始播放。

var openAiAudioApi = new OpenAiAudioApi(System.getenv("OPENAI_API_KEY"));

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(this.openAiAudioApi);

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .speed(1.0f)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Today is a wonderful day to build something people love!", this.speechOptions);

Flux<SpeechResponse> responseStream = this.openAiAudioSpeechModel.stream(this.speechPrompt);
java

示例代码​