kafka——生产者与消费者细化配置

1 、生产者详细配置

#kafka-producer配置，官网=>https://kafka.apache.org/documentation/#producerconfigs
#集群地址
spring.kafka.producer.bootstrap-servers=192.168.199.128:9092,192.168.199.128:9093,192.168.199.128:9094
#指定创建信息nio-buffer缓冲区大小约1M
spring.kafka.producer.buffer-memory=1024000
#累计约1M条就发发送，必须小于缓冲区大小，否则报错无法分配内存（减少IO次数，过大则延时高，瞬间IO大）
spring.kafka.producer.batch-size=1024000
#默认0ms立即发送，不修改则上两条规则相当于无效（这个属性时个map列表，producer的其它配置也配置在这里，详细↑官网，这些配置会注入给KafkaProperties这个配置bean中，供#spring自动配置kafkaTemplate这个对象时使用）
spring.kafka.producer.properties.linger.ms=1000
#kafkaTempalte可以发送对象类型的消息，系列化为json，一般使用默认的string序列化器（对象则手动手动转为json）
spring.kafka.producer.value-serializer=org.springframework.kafka.support.serializer.JsonSerializer
#发送确认机制:acks=all或-1：leader会等待所有ISR中的follower同步完成的ack才commit(保证ISR副本都有数据leader才commit，吞吐率降低),acks=0：partition leader不会等待任何ISR中副本的commit（可能会有数据丢失，吞吐高），acks=1 kafka会把这条消息写到本地日志文件中
spring.kafka.producer.acks=1
#发送失败重试次数
spring.kafka.producer.retries=3

2 、消费者详细配置

#kafka-consumer配置，官网=>https://kafka.apache.org/documentation/#producerconfigs
spring.kafka.consumer.bootstrap-servers=192.168.199.128:9092,192.168.199.128:9093,192.168.199.128:9094
#消费组ID
spring.kafka.consumer.group-id=test-group
#当未初始化消费组偏移量或没找到是怎么办？自动偏移量重置到最早的earlist（这个值会导致新加入的消费者去消费较久以前最开始的大量信息）,最新的latest（新消费者消费最新消息）,还是none或其它值报错
spring.kafka.consumer.auto-offset-reset=latest
#一次最大拉取多少条消息，太多处理消息压力大，太少则IO过于频繁；这个配置需要额外培养一个批量工厂bean，并在@KafkaListener注解指定这个批量工厂{@Link https://www.jianshu.com/p/5370fff55cff}
spring.kafka.consumer.max-poll-records=10
#自动提交consumer已消费的消息offset周期,周期过大，重启后可能重复消费较多已消费但offset未提交的消息,kafka scala程序有个定时任务来提交offset
spring.kafka.consumer.auto-commit-interval=1000ms
#仅在不开启上述周期性自动确认，配置其他的ack-mode才有效，如下累计10次消费才进行一次commit以修改消息消费者在该partition的offset
spring.kafka.consumer.enable-auto-commit=false
#计数模式，还是计时模式，手动ack模式等，配合ack-count一起配置
spring.kafka.listener.ack-mode=count_time
spring.kafka.listener.ack-count=10
#消费者的其它属性，类似producer，也是一个map
#spring.kafka.consumer.properties.XXX=YYY

最后

以上就是陶醉板凳为你收集整理的kafka——生产者与消费者细化配置的全部内容，希望文章能够帮你解决kafka——生产者与消费者细化配置所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。