跳到主要内容
版本:4.1.1

空载荷与 'Tombstone' 记录的日志压缩

Doubao 中英对照 Null Payloads and Log Compaction of 'Tombstone' Records

当你使用 日志压缩 时,可以发送和接收载荷为 null 的消息,以标识某个键的删除。

你也可能因其他原因接收到 null 值,例如当某个 Deserializer 无法反序列化某个值时可能返回 null。

要使用 KafkaTemplate 发送 null 载荷,你可以将 null 传入 send() 方法的 value 参数。一个例外是 send(Message<?> message) 变体。由于 spring-messaging 的 Message<?> 不能具有 null 载荷,你可以使用一种名为 KafkaNull 的特殊载荷类型,框架便会发送 null。为方便起见,提供了静态的 KafkaNull.INSTANCE。

当你使用消息监听容器时,接收到的 ConsumerRecord 的 value() 为 null。

要配置 @KafkaListener 以处理 null 载荷,你必须使用带有 required = false 的 @Payload 注解。如果这是一条针对已压缩日志的 tombstone 消息,你通常还需要键,以便应用程序能确定是哪个键被 "deleted"。以下示例展示了这样一种配置:

@KafkaListener(id = "deletableListener", topics = "myTopic")
public void listen(@Payload(required = false) String value, @Header(KafkaHeaders.RECEIVED_KEY) String key) {
// value == null represents key deletion
}

当你使用带有多个 @KafkaHandler 方法的类级 @KafkaListener 时,需要一些额外配置。具体来说,你需要一个带有 KafkaNull 载荷的 @KafkaHandler 方法。以下示例展示了如何配置这样一个方法:

@KafkaListener(id = "multi", topics = "myTopic")
static class MultiListenerBean {

@KafkaHandler
public void listen(String cat) {
...
}

@KafkaHandler
public void listen(Integer hat) {
...
}

@KafkaHandler
public void delete(@Payload(required = false) KafkaNull nul, @Header(KafkaHeaders.RECEIVED_KEY) int key) {
...
}

}

请注意,参数是 null,而不是 KafkaNull。

提示
important

此特性需要使用 KafkaNullAwarePayloadArgumentResolver,框架在使用默认 MessageHandlerMethodFactory 时会配置它。当使用自定义 MessageHandlerMethodFactory 时,请参阅 向 @KafkaListener 添加自定义 HandlerMethodArgumentResolver。