阅读量:121
Kafka生产者关键配置参数分类及说明
一、核心必填参数（生产者启动基础）
- bootstrap.servers：Kafka集群Broker地址列表（格式：
host1:port1,host2:port2），用于生产者初始化时建立与集群的连接。建议配置至少2个Broker地址，避免单点故障。 - key.serializer：消息Key的序列化器类（如
org.apache.kafka.common.serialization.StringSerializer），用于将Key对象转换为字节数组。必须与Broker端配置一致，否则会导致反序列化失败。 - value.serializer：消息Value的序列化器类（如
org.apache.kafka.common.serialization.StringSerializer），功能同key.serializer，用于Value对象的序列化。
二、可靠性保障参数（确保消息不丢失）
- acks：消息持久化确认机制，决定生产者等待Broker确认的副本数量。可选值：
0（不等待，性能最高但可能丢失数据）、1（等待Leader副本确认，默认，平衡可靠性与性能）、all（等待所有ISR副本确认，可靠性最高）。 - retries：消息发送失败后的重试次数（默认
0，即不重试）。建议设置为Integer.MAX_VALUE（无限重试），并结合delivery.timeout.ms（请求超时时间）避免无限阻塞。 - enable.idempotence：是否启用幂等性（默认
false）。开启后（设为true），生产者会自动去重，保证同一分区内的消息不会重复发送。需配合acks=all和retries>0使用，是实现“精确一次”语义的基础。 - max.in.flight.requests.per.connection：单个Broker连接上未确认的请求数量（默认
5）。若启用幂等性，建议设为1，避免乱序（幂等性依赖请求顺序）。
三、性能优化参数（提升吞吐量与效率）
- linger.ms：消息在缓冲区中的等待时间（默认
0，即立即发送）。增大该值（如5-100ms）可以让生产者等待更多消息填满批次，提高批量发送效率，但会增加消息延迟。 - batch.size：单个批次的大小阈值（默认
16KB）。增大该值（如32KB-1MB）可以容纳更多消息，减少网络请求次数，提升吞吐量，但会占用更多内存。 - buffer.memory：生产者缓冲区的总内存大小（默认
32MB）。用于存储待发送的消息批次，若生产速度远大于发送速度，可适当增大该值（如64MB-128MB），避免因缓冲区满导致阻塞。 - compression.type：消息压缩算法（默认
none，即不压缩）。可选值：gzip（高压缩比，但CPU消耗大）、snappy（平衡压缩比与速度）、lz4（更快的压缩速度）、zstd（高压缩比且速度快）。压缩可减少网络带宽占用，适合带宽有限场景。
四、高级配置（满足特殊需求）
- partitioner.class：分区策略类（默认
org.apache.kafka.clients.producer.internals.DefaultPartitioner，采用Key哈希或轮询策略）。若需要自定义分区逻辑（如按业务维度分区），可实现Partitioner接口并指定该参数。 - request.timeout.ms：生产者等待Broker响应的超时时间（默认
30秒）。若超过该时间未收到响应，生产者会重试或抛出异常。需根据网络状况调整，避免因超时设置过短导致频繁重试。 - max.block.ms：生产者阻塞的最长时间（默认
60秒）。当缓冲区满或元数据（Topic/分区信息）不可用时，生产者会阻塞，超过该时间则抛出TimeoutException。需根据应用场景调整，避免长时间阻塞。