跳到主要内容
版本:2.0.7

Pulsar Functions

Doubao 中英对照 Pulsar Functions

目录

Spring for Apache Pulsar 为 Pulsar IO(连接器)和 Pulsar Functions 提供基础支持,它们允许用户定义由 sources、processors 和 sinks 组成的流处理管道。sources 和 sinks 由 Pulsar IO(连接器) 建模,processors 由 Pulsar Functions 表示。

备注

由于连接器只是特殊的 function,为简单起见,我们将 source、sink 和 function 统称为“Pulsar Functions”。

前置条件

熟悉度——读者应对 Pulsar IO 和 Pulsar Functions 有所了解。如果不是这样,阅读它们的入门指南可能会有帮助。

特性已启用——要使用这些特性,必须启用并配置 Apache Pulsar 中的 function 支持(默认禁用)。内置连接器可能还需要安装到 Pulsar 集群上。

更多细节请参阅 Pulsar IO 和 Pulsar Functions 文档。

1. Pulsar Function 管理​

框架提供了 PulsarFunctionAdministration 组件来管理 Pulsar function。当你使用 Pulsar Spring Boot starter 时,会得到自动配置的 PulsarFunctionAdministration。

默认情况下,应用程序尝试连接位于 localhost:8080 的本地 Pulsar 实例。不过,由于它利用的是已配置的 PulsarAdministration,可用的客户端选项(包括认证)请参阅 Pulsar 管理客户端。额外的配置选项可通过 spring.pulsar.function.* 应用属性获得。

2. 自动 Function 管理​

在应用程序启动时,框架会查找应用程序上下文中的所有 PulsarFunction、PulsarSink 和 PulsarSource bean。对于每个 bean,相应的 Pulsar function 会被创建或更新。根据 function 类型、function 配置以及 function 是否已存在,调用相应的 API。

备注

PulsarFunction、PulsarSink 和 PulsarSource bean 分别是对 Apache Pulsar 配置对象 FunctionConfig、SinkConfig 和 SourceConfig 的简单封装。由于受支持的连接器数量众多(且其配置各不相同),框架不尝试创建一个配置属性层次结构来镜像各种 Apache Pulsar 连接器。相反,由用户负责提供完整的配置对象,然后框架使用所提供的配置来处理管理(创建/更新)。

在应用程序关闭时,所有在启动期间被处理过的 function 都会执行其停止策略,要么保持不动,要么停止,要么从 Pulsar 服务器删除。

3. 限制​

3.1. 无魔法 Pulsar Functions​

Pulsar function 和自定义连接器由自定义应用程序代码表示(例如 java.util.Function)。没有魔法支持来自动注册自定义代码。虽然这会很棒,但它存在一些技术挑战,尚未实现。因此,由用户负责确保 function(或自定义连接器)在 function 配置中指定的位置可用。例如,如果 function 配置的 jar 值为 ./some/path/MyFunction.jar,则 function jar 文件必须存在于指定路径。

3.2. 名称标识符​

function 配置中的 name 属性用作标识符,以判断 function 是否已存在,从而决定执行更新还是创建操作。因此,如果希望更新 function,不应修改该名称。

4. 配置​

4.1. Pulsar Function 归档​

每个 Pulsar function 都由一个实际的归档(例如 jar 文件)表示。归档路径通过 source 和 sink 的 archive 属性以及 function 的 jar 属性指定。

以下规则决定路径的“类型”:

  • 当路径以 (file|http|https|function|sink|source):// 开头时,该路径是 URL
  • 当路径以 builtin:// 开头时,该路径是 内置的(指向所提供的开箱即用连接器之一)
  • 否则该路径是 本地的

创建/更新操作期间发生的动作取决于路径“类型”,如下所示:

  • 当路径是 URL 时,内容由服务器下载
  • 当路径是 内置的 时,内容在服务器上已可用
  • 当路径是 本地的 时,内容上传到服务器

4.2. 内置 Source 和 Sink​

Apache Pulsar 开箱即用地提供许多 source 和 sink 连接器,也称为内置连接器。要使用内置连接器,只需将 archive 设置为 builtin://<connector-type>(例如 builtin://rabbit)。

5. 自定义 function​

关于如何开发和打包自定义 function 的细节,请参阅 Pulsar 文档。不过,从较高层面来看,要求如下:

  • 代码使用 Java 8
  • 代码实现 java.util.Function 或 org.apache.pulsar.functions.api.Function
  • 打包为 uber jar

function 构建并打包完成后,有多种方式可使其用于 function 注册。

5.1. file://​

jar 文件可以上传到服务器,然后在 function 配置的 jar 属性中通过 file:// 引用。

5.2. local​

jar 文件可以保留在本地,然后在 function 配置的 jar 属性中通过本地路径引用。

5.3. http://​

jar 文件可以通过 HTTP 服务器提供,然后在 function 配置的 jar 属性中通过 http(s):// 引用。

5.4. function://​

jar 文件可以上传到 Pulsar 包管理器,然后在 function 配置的 jar 属性中通过 function:// 引用。

6. 示例​

以下是一些示例,展示如何配置 PulsarSource bean,从而让 PulsarFunctionAdministration 自动创建后端 Pulsar source 连接器。

@Bean
PulsarSource rabbitSource() {
Map<String, Object> configs = new HashMap<>();
configs.put("host", "my.rabbit.host");
configs.put("port", 5672);
configs.put("virtualHost", "/");
configs.put("username", "guest");
configs.put("password", "guest");
configs.put("queueName", "test_rabbit");
configs.put("connectionName", "test-connection");
SourceConfig sourceConfig = SourceConfig.builder()
.tenant("public")
.namespace("default")
.name("rabbit-test-source")
.archive("builtin://rabbitmq")
.topicName("incoming_rabbit")
.configs(configs).build();
return new PulsarSource(sourceConfig, null);
}

下一个示例与前一个相同,只是它使用 Spring Boot 自动配置的 RabbitProperties 来减轻配置负担。当然,这要求应用程序使用启用了 Rabbit 自动配置的 Spring Boot。

@Bean
PulsarSource rabbitSourceWithBootProps(RabbitProperties props) {
Map<String, Object> configs = new HashMap<>();
configs.put("host", props.determineHost());
configs.put("port", props.determinePort());
configs.put("virtualHost", props.determineVirtualHost());
configs.put("username", props.determineUsername());
configs.put("password", props.determinePassword());
configs.put("queueName", "test_rabbit");
configs.put("connectionName", "test-connection");
SourceConfig sourceConfig = SourceConfig.builder()
.tenant("public")
.namespace("default")
.name("rabbit-test-source")
.archive("builtin://rabbitmq")
.topicName("incoming_rabbit")
.configs(configs).build();
return new PulsarSource(sourceConfig, null);
}
提示

更完整的示例请参阅使用 Pulsar Functions 的示例流管道示例应用。