Pulsar Functions
目录
Spring for Apache Pulsar 为 Pulsar IO(连接器)和 Pulsar Functions 提供基础支持,它们允许用户定义由 sources、processors 和 sinks 组成的流处理管道。sources 和 sinks 由 Pulsar IO(连接器) 建模,processors 由 Pulsar Functions 表示。
由于连接器只是特殊的 function,为简单起见,我们将 source、sink 和 function 统称为“Pulsar Functions”。
1. Pulsar Function 管理
框架提供了 PulsarFunctionAdministration 组件来管理 Pulsar function。当你使用 Pulsar Spring Boot starter 时,会得到自动配置的 PulsarFunctionAdministration。
默认情况下,应用程序尝试连接位于 localhost:8080 的本地 Pulsar 实例。不过,由于它利用的是已配置的 PulsarAdministration,可用的客户端选项(包括认证)请参阅 Pulsar 管理客户端。额外的配置选项可通过 spring.pulsar.function.* 应用属性获得。
2. 自动 Function 管理
在应用程序启动时,框架会查找应用程序上下文中的所有 PulsarFunction、PulsarSink 和 PulsarSource bean。对于每个 bean,相应的 Pulsar function 会被创建或更新。根据 function 类型、function 配置以及 function 是否已存在,调用相应的 API。
PulsarFunction、PulsarSink 和 PulsarSource bean 分别是对 Apache Pulsar 配置对象 FunctionConfig、SinkConfig 和 SourceConfig 的简单封装。由于受支持的连接器数量众多(且其配置各不相同),框架不尝试创建一个配置属性层次结构来镜像各种 Apache Pulsar 连接器。相反,由用户负责提供完整的配置对象,然后框架使用所提供的配置来处理管理(创建/更新)。
在应用程序关闭时,所有在启动期间被处理过的 function 都会执行其停止策略,要么保持不动,要么停止,要么从 Pulsar 服务器删除。
3. 限制
3.1. 无魔法 Pulsar Functions
Pulsar function 和自定义连接器由自定义应用程序代码表示(例如 java.util.Function)。没有魔法支持来自动注册自定义代码。虽然这会很棒,但它存在一些技术挑战,尚未实现。因此,由用户负责确保 function(或自定义连接器)在 function 配置中指定的位置可用。例如,如果 function 配置的 jar 值为 ./some/path/MyFunction.jar,则 function jar 文件必须存在于指定路径。
3.2. 名称标识符
function 配置中的 name 属性用作标识符,以判断 function 是否已存在,从而决定执行更新还是创建操作。因此,如果希望更新 function,不应修改该名称。
4. 配置
4.1. Pulsar Function 归档
每个 Pulsar function 都由一个实际的归档(例如 jar 文件)表示。归档路径通过 source 和 sink 的 archive 属性以及 function 的 jar 属性指定。
以下规则决定路径的“类型”:
- 当路径以
(file|http|https|function|sink|source)://开头时,该路径是 URL - 当路径以
builtin://开头时,该路径是 内置的(指向所提供的开箱即用连接器之一) - 否则该路径是 本地的
创建/更新操作期间发生的动作取决于路径“类型”,如下所示:
- 当路径是 URL 时,内容由服务器下载
- 当路径是 内置的 时,内容在服务器上已可用
- 当路径是 本地的 时,内容上传到服务器
4.2. 内置 Source 和 Sink
Apache Pulsar 开箱即用地提供许多 source 和 sink 连接器,也称为内置连接器。要使用内置连接器,只需将 archive 设置为 builtin://<connector-type>(例如 builtin://rabbit)。
5. 自定义 function
关于如何开发和打包自定义 function 的细节,请参阅 Pulsar 文档。不过,从较高层面来看,要求如下:
- 代码使用 Java 8
- 代码实现
java.util.Function或org.apache.pulsar.functions.api.Function - 打包为 uber jar
function 构建并打包完成后,有多种方式可使其用于 function 注册。
5.1. file://
jar 文件可以上传到服务器,然后在 function 配置的 jar 属性中通过 file:// 引用。
5.2. local
jar 文件可以保留在本地,然后在 function 配置的 jar 属性中通过本地路径引用。
5.3. http://
jar 文件可以通过 HTTP 服务器提供,然后在 function 配置的 jar 属性中通过 http(s):// 引用。
5.4. function://
jar 文件可以上传到 Pulsar 包管理器,然后在 function 配置的 jar 属性中通过 function:// 引用。
6. 示例
以下是一些示例,展示如何配置 PulsarSource bean,从而让 PulsarFunctionAdministration 自动创建后端 Pulsar source 连接器。
@Bean
PulsarSource rabbitSource() {
Map<String, Object> configs = new HashMap<>();
configs.put("host", "my.rabbit.host");
configs.put("port", 5672);
configs.put("virtualHost", "/");
configs.put("username", "guest");
configs.put("password", "guest");
configs.put("queueName", "test_rabbit");
configs.put("connectionName", "test-connection");
SourceConfig sourceConfig = SourceConfig.builder()
.tenant("public")
.namespace("default")
.name("rabbit-test-source")
.archive("builtin://rabbitmq")
.topicName("incoming_rabbit")
.configs(configs).build();
return new PulsarSource(sourceConfig, null);
}
下一个示例与前一个相同,只是它使用 Spring Boot 自动配置的 RabbitProperties 来减轻配置负担。当然,这要求应用程序使用启用了 Rabbit 自动配置的 Spring Boot。
@Bean
PulsarSource rabbitSourceWithBootProps(RabbitProperties props) {
Map<String, Object> configs = new HashMap<>();
configs.put("host", props.determineHost());
configs.put("port", props.determinePort());
configs.put("virtualHost", props.determineVirtualHost());
configs.put("username", props.determineUsername());
configs.put("password", props.determinePassword());
configs.put("queueName", "test_rabbit");
configs.put("connectionName", "test-connection");
SourceConfig sourceConfig = SourceConfig.builder()
.tenant("public")
.namespace("default")
.name("rabbit-test-source")
.archive("builtin://rabbitmq")
.topicName("incoming_rabbit")
.configs(configs).build();
return new PulsarSource(sourceConfig, null);
}
更完整的示例请参阅使用 Pulsar Functions 的示例流管道示例应用。