【大数据实践】Kafka生产者编程（5）——ProducerConfig详解（下）

前言

上一篇文章【大数据实践】Kafka生产者编程（4）——ProducerConfig详解（上）中，对kafka producer的相关配置项进行了部分介绍，在本文章中，将继续完成剩下配置项的介绍。

ProducerConfig类

buffer.memory

重要性：高
类型：Long
默认值：33554432字节，即32M

producer可以用于缓存等待发送到服务端的消息记录的缓冲区大小，当消息记录发送到缓冲区的速度大于传输到server的速度，那么等待发送的消息记录将会放在缓冲区，缓冲区如果满了，那么producer会阻塞max.block.ms指定的毫秒数，超过该毫秒数时，将抛出异常。

注意：该缓冲区的大小设置与整个producer需要使用到的producer大体一致，但是要注意并不是所有的缓冲区都是用来存放待发送的records的，比如还有一部分用于压缩数据（当压缩数据的选项开启），还有一部分用于维护in-flight（正在发送）的请求列表。

retry.backoff.ms

重要性：低
类型：Long
默认值：100毫秒

当一个producer到指定的partition的请求request失败时，在重连之前，需要等待的毫秒数。这是为了避免在某些失败的场景下，过于密集地重复发送请求。

compression.type

重要性：高
类型：String
默认值："none"

producer对数据使用的压缩类型，包括：

• none：无压缩类型
• gzip
• snappy
• lz4

producer在压缩数据时，是对所有batches的数据一起进行压缩，而不是一个batch一个batch压缩，所以，一次压缩的batches越多，压缩率越高，压缩效果越好。

metrics.sample.window.ms

重要性：低
类型：Long
默认值：30000毫秒，即30秒

计算度量样本的时间窗口，度量用于kafka监控。

metrics.num.samples

重要性：低
类型：int
默认值：2

维护用于计算度量metrics的样本数量。

metrics.recording.level

重要性：低
类型：String
默认值：info

用于metrics的最高纪录等级。

metric.reporters

重要性：低
类型：List
默认值：Collections.emptyList()

被作为metrics reporter的类的列表，这些类都实现了接口org.apache.kafka.common.metrics.MetricsReporter，因此当有新的metric生成时，这些reporters类都可以接收到通知。通常都会包含JmxReporter类，以用于注册JMX统计。

JMX（Java Management Extensions）

kafka使用jmx调取kafka broker的内部数据，来监控一些敏感的数据。

JMX相关资料：

从零开始玩转JMX(一)——简介和Standard MBean
从零开始玩转JMX(二)——Condition
从零开始玩转JMX(三)——Model MBean
从零开始玩转JMX(四)——Apache Commons Modeler & Dynamic MBean

max.in.flight.requests.per.connection

重要性：低
类型：int
默认值：5

在单个连接中，producer客户端在阻塞之前，可以允许未被确认的最大请求数，即当一个连接中未被确认的请求数超过了该设置，那么该producer客户端将会阻塞。注意：如果该值设置得比1大，当出现发送失败的情况，且retries配置项又开启时，那么存在消息被重新排序的风险。

retries

重要性：低
类型：int
默认值：0，表示不重试

当该值被设置成大于0时，客户端会重新发送消息，并且记录发送失败的错误。注意，该重试配置项和客户端因收到错误而重发是一样的。当retries配置项大于0，且max.in.flight.requests.per.connection配置项的值大于1时，存在将重试记录重新排序的风险，也就是说，消息记录的顺序可能会被打乱。原因是：当两个batch被发送到同一个partition时，如果第一个失败，而第二个成功，那么第一个会被重试，此时第二个batch就排在前面了。

key.serializer

重要性：高
类型：Class
默认值：无

消息记录key的序列化类。

value.serializer

重要性：高
类型：Class
默认值：无

消息记录中value的序列化类。

connections.max.idle.ms

重要性：中
类型：Long
默认值：540000毫秒，即9分钟

如果一个连接空闲时间超过该配置值，那么该连接将会被关闭。

partitioner.class

重要性：中
类型：Class
默认值：无

计算消息记录要分配到哪个partitioner的类。在前面的文章【大数据实践】Kafka生产者编程（3）——Interceptor & Partitioner中，对partitioner有详细讲解。

interceptor.classes

重要性：低
类型：List
默认值： Collections.emptyList()

拦截链，在前面的文章【大数据实践】Kafka生产者编程（3）——Interceptor & Partitioner有详细讲解。

enable.idempotence

重要性：低
类型：Boolean
默认值：false

是否使用幂等性。如果设置为true，表示producer将确保每一条消息都恰好有一份备份；如果设置为false，则表示producer因发送数据到broker失败重试使，可能往数据流中写入多分重试的消息。

注意：如果使用idempotence，即enable.idempotence为true，那么要求配置项max.in.flight.requests.per.connection的值必须小于或等于5；配置项retries的值必须大于0；acks配置项必须设置为all。如果这些值没有被用户明确地设置，那么系统将自动选择合适的值。如果设置的值不合适，那么会抛出ConfigException异常。

transaction.timeout.ms

重要性：低
类型：Int
默认值：60000毫秒，即60秒

在主动中止（aborting）一个事务transaction之前，事务协调员（transaction coordinator）最多等待的最长时间——为了让producer更新事务状态。如果该值大于kafka broker中设置的transaction.max.timeout.ms配置项的值，那么producer 的请求将因为InvalidTransactionTimeout错误而失败。

transactional.id

重要性：低
类型：String
默认值：null，表示transactions不能被使用

配置TransactionalId，用于事务的递交（delivery）。该配置项可以为跨多个producer的session提供可靠性语义，因为它可以保证在开始一个新的事务之前，使用相同事务ID（TransactionalId)的事务一定会完成。

注意：如果配置了transactional.id的值，那么必须配置enable.idempotence为true。在发布环境中，事务要求一个kafka集群必须有最少3个brokers（推荐设置）。在开发环境中，可以通过调整broker的配置项transaction.state.log.replication.factor来进行调整，以方便开发。

小结

终于将producer的各个配置项过了一遍，通常我们需要关注的大概都是重要性为高的配置项。从上面的配置项中，我们也了解到一些新的概念，比如度量（metrics），事务transactions等。这些概念可能会在接下来的文章中进行讲解。