必要的参数

  • bootstrap.servers

该参数为 broker 地址,不需要全部都填,因为 kafka 会从当前 broker 中获取其他 broker 信息。不过为了某个 broker 挂掉,一般填多个 broker 地址

  • key.serializer

消息 key 如何序列化

  • value.serializer

消息内容如何序列化

示例代码

Properties properties = new Properties();

properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092");

properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

生产者拦截器

在消息发送前,对消息进行处理,该动作发生在序列化器分区器之前。

实现 org.apache.kafka.clients.producer.ProducerInterceptor 接口,即可自定义拦截器

介绍一下接口定义的方法

  • ProducerRecord<K, V> onSend(ProducerRecord<K, V> record)

在消息发送之前,可以对消息进行处理

  • void onAcknowledgement(RecordMetadata metadata, Exception exception

消息被应答之前或者消息发送失败时被调用

  • void close()

producer 被关闭时,会调用

kafka 允许配置拦截器链,多个拦截器用 , 号隔开即可。

properties.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, TestProducerInterceptor.class.getName() + "," + TestProducerInterceptor2.class.getName());

序列化

序列化发生在分区器之前
实现 org.apache.kafka.common.serialization.StringSerializer 接口即可自定义序列化

介绍一下接口定义的方法

  • void configure(Map<String, ?> configs, boolean isKey)

StringSerializer 实现中,用于设置编码

  • byte[] serialize(String topic, String data)

定义如何序列化

  • void close()

producer 关闭时,被调用

分区器

实现 org.apache.kafka.clients.producer.Partitioner 即可自定义分区器

kafka 可按 key 进行哈希(MurmurHash2),将消息发往同一个分区。如果未指定 key,那么将会把消息发往随机的一个分区。

介绍一下接口定义的方法

  • int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster)

定义发往哪个分区;具体的实现可参考DefaultPartitioner

  • void close()

producer 关闭时,被调用

与 RocketMQ 异同

  1. kafka 一致,rocketMQ 允许生产者将消息发送到指定的 'partition' 中
  2. rocketMQ 没有 序列化器 的概念。消息内容由 rocketMQ 自行序列化
  3. 从个人目前的使用情况,rocketMQ 也没有提供类似 拦截器 概念
  4. rocketMQ 提供了 hock 以此在消息发送前,和消息发送后,对消息进行处理

例如:

DefaultMQProducer producer = new DefaultMQProducer("default");

producer.getDefaultMQProducerImpl().registerSendMessageHook(new SendMessageHook() {
    @Override
    public String hookName() {
        return null;
    }

    @Override
    public void sendMessageBefore(SendMessageContext context) {

    }

    @Override
    public void sendMessageAfter(SendMessageContext context) {

    }
});

心无私天地宽
513 声望22 粉丝