kafka consumer相关文档阅读

This commit is contained in:
2023-11-20 00:27:59 +08:00
parent 828b7848cc
commit e4d198c890

View File

@@ -362,6 +362,19 @@ kafka中的分区策略通过`partition.assignment.strategy`参数来进行配
>
> 在使用Sticky策略时即使某台实例宕机再平衡后存活实例被分配的分区仍然不会变只是会将宕机实例负责的分区在存活实例之间尽可能均衡的分配
##### offset
在kafka集群中会保存各个分区的消费情况将分区针对每个消费者组的偏移量存储在__consumer_offsets主题中。默认情况下__consumer_offsets采用key/value的形式来存储数据key为`groupid+topic+分区号`,value则是当前offset的值。
每个一段时间kafka就会对该topic进行压缩。
> #### kafka offset自动提交
> kafka默认开启了自动提交功能在使用kafka时可以专注消费的业务逻辑
>
> 自动提交相关参数如下:
> - `enable.auto.commit`:自动提交是否开启该参数默认值为true
> - `auto.commit.interval.ms`:自动提交默认的间隔时间为5s
>
> 在开启自动提交时每次消费者调用poll接口时都会检查是否距离上次提交的时间间隔已超过5s若超过则执行自动提交逻辑。