kafka consumer相关文档阅读
This commit is contained in:
@@ -362,6 +362,19 @@ kafka中的分区策略通过`partition.assignment.strategy`参数来进行配
|
|||||||
>
|
>
|
||||||
> 在使用Sticky策略时,即使某台实例宕机,再平衡后存活实例被分配的分区仍然不会变,只是会将宕机实例负责的分区在存活实例之间尽可能均衡的分配
|
> 在使用Sticky策略时,即使某台实例宕机,再平衡后存活实例被分配的分区仍然不会变,只是会将宕机实例负责的分区在存活实例之间尽可能均衡的分配
|
||||||
|
|
||||||
|
##### offset
|
||||||
|
在kafka集群中,会保存各个分区的消费情况,将分区针对每个消费者组的偏移量存储在__consumer_offsets主题中。默认情况下,__consumer_offsets采用key/value的形式来存储数据,key为`groupid+topic+分区号`,value则是当前offset的值。
|
||||||
|
|
||||||
|
每个一段时间,kafka就会对该topic进行压缩。
|
||||||
|
|
||||||
|
> #### kafka offset自动提交
|
||||||
|
> kafka默认开启了自动提交功能,在使用kafka时可以专注消费的业务逻辑
|
||||||
|
>
|
||||||
|
> 自动提交相关参数如下:
|
||||||
|
> - `enable.auto.commit`:自动提交是否开启,该参数默认值为true
|
||||||
|
> - `auto.commit.interval.ms`:自动提交默认的间隔时间为5s
|
||||||
|
>
|
||||||
|
> 在开启自动提交时,每次消费者调用poll接口时,都会检查是否距离上次提交的时间间隔已超过5s,若超过则执行自动提交逻辑。
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user