Kafka实战
0 人感兴趣 · 13 次引用
- 最新
- 推荐
kafka 实战】分区重分配可能出现的问题和排查问题思路
在这之前如果你比较了解分区重分配的原理的话,下面的可能更好理解;推荐你阅读一下下面几篇文章(如果你点不进去说明我还没有发布)
图解 Kafka 的 RecordBatch 结构
我们之前有讲过生产者的ProducerBatch, 这个RecordBatch跟ProducerBatch的区别是什么呢？ RecordBatch是在ProducerBatch里面的一个专门存放消息的对象, 除此之外ProducerBatch还有其他相关属性,例如还有重试、回调等等相关属性。
图解 KafkaConsumer SyncGroupRequest 请求流程
当我们JoinGroup完成之后, 消费者客户端收到了Response, 然后就会立马发起SyncGroupRequest 相关代码如下
Kafka 消费者 JoinGroupRequest 流程解析
当我们启动消费者客户端的时候, 会向协调器 coordinator 发起一个 JoinGroup的请求,表示要加入消费组中。 这个发起请求的地方在 AbstractCoordinator#sendJoinGroupRequest
【kafka 原理】消费者提交已消费的偏移量
那在上一篇文章中我们了解了 消费者偏移量__consumer_offsets_,知道了 消费者在消费了消息之后会把消费的offset 更新到以 名称为__consumer_offsets_的内置Topic中; 每个消费组都有维护一个当前消费组的offset; 那么就会有以下疑问
【kafka 原理】Kafka 生产者 (分区策略和 ACK 应答机制)
分区策略 分区原因 方便再集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了; 可以提高并发,因为可以以partition为单位读写
图解 Kafka 中的数据采集和统计机制
在讲解kafka限流机制之前 我想先讲解一下Kafka中的数据采集和统计机制你会不会好奇,kafka监控中,那些数据都是怎么计算出来的比如下图这些指标
多图详解 kafka 生产者消息发送过程
KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。例如 ：分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器 、元信息更新器、启动发送请求的后台线程
图解 Kafka 的服务端的网络通信模型
Kafka网络模型使用的是什么线程模型？ 什么是ControllerPlane(控制器面板)，什么是DataPlane(数据面板)？ Kafka整个请求流程是什么样子的 与Kafka网络通信相关的配置。
【kafka 运维】(附教学视频) 数据迁移、分区副本重分配、跨路径迁移、副本扩缩容
日常运维、问题排查 滴滴开源LogiKM一站式Kafka监控与管控平台
【kafka 实战】分区重分配可能出现的问题和排查问题思路 (生产环境实战, 干货!!! 非常干!!! 建议收藏)
生产环境实战问题排查+解决方案+ 排查思路
