跳到主要内容
版本:2.0.7

空载荷与 “Tombstone” 记录的日志压缩

Doubao 中英对照 Null Payloads and Log Compaction of 'Tombstone' Records

使用日志压缩时,你可以发送和接收带 null 载荷的消息,以标识某个键的删除。你也可能因其他原因收到 null 值,例如反序列化器在无法反序列化某个值时可能返回 null。

生产空载荷​

要使用 PulsarTemplate 发送 null 载荷,可以使用 fluent API,将 null 传入 newMessage() 方法的 value 参数,例如:

pulsarTemplate
.newMessage(null)
.withTopic("my-topic")
.withSchema(Schema.STRING)
.withMessageCustomizer((mb) -> mb.key("key:1234"))
.send();
备注

发送 null 值时,你必须指定 schema 类型,因为系统无法从 null 载荷判断消息类型。

消费空载荷​

对于 @PulsarListener 和 @PulsarReader,null 载荷会根据其消息参数的类型传入监听方法,如下所示:

参数类型传入的值
基本类型null
用户自定义类型null
org.apache.pulsar.client.api.Message<T>非 null 的 Pulsar 消息,其 getValue() 返回 null
org.springframework.messaging.Message<T>非 null 的 Spring 消息,其 getPayload() 返回 PulsarNull
List<X>非 null 的列表,其元素(X)为上述类型之一并相应处理(即基本类型元素为 null 等)
org.apache.pulsar.client.api.Messages<T>非 null 的 Pulsar 消息容器,其中消息的 getValue() 返回 null
important

当传入的值为 null 时(即使用基本类型或用户自定义类型的单条记录监听器),你必须使用带 required = false 的 @Payload 参数注解。

important

当使用 Spring 的 org.springframework.messaging.Message 作为你的监听载荷类型时,其泛型类型信息必须足够宽,以接受 Message<PulsarNull>(例如 Message、Message<?> 或 Message<Object>)。这是因为 Spring Message 不允许其 payload 为 null,而是使用 PulsarNull 占位符。

如果是压缩日志中的 tombstone 消息,通常你还需要 key,以便应用程序能够判断是哪个键被“deleted”。以下示例展示了这样一种配置:

@PulsarListener(
topics = "my-topic",
subscriptionName = "my-topic-sub",
schemaType = SchemaType.STRING)
void myListener(
@Payload(required = false) String msg,
@Header(PulsarHeaders.KEY) String key) {
...
}
备注

@PulsarReader 尚不支持 @Header 参数,因此它在日志压缩场景中用处不大。