华为架构师亲手操刀,世界五百强都在用的 kafka 也就那么回事
有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。
发展到现在,Apache Kafka 无疑是很成功的,Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余,但是实际生产中还有很多不允许丢数据的场景存在。针对这类场景是否有新的技术和框架出现?
答案就是:kafka
kafka 学习思维导图
自 2010 年 12 月份开源以来,经过市场的厮杀和淘汰已经成为 Apache 的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。
但是市场上系统学习 kafka 的资料真的太少了,今天分享的这份 kafka 资料由华为架构师亲手操刀,内容涵盖源码到实战,堪称一绝,后面附自己整理的 kafka 由基础到架构的面试题
Kafka 源码解析与实战
kafka 入门简介
Kafka 诞生的背景
Kafka 在 L inkedIn 内部的应用
Kafka 的主要设计目标
为什么使用消息系统
Kafka 的架构
Kafka 的基本组成
Kafka 的拓扑结构
Kafka 内部的通信协议
Broker 概述
Broker 的启动
Broker 内部的模块组成
Broker 的基本模块
SocketServer
KafkaRequestHandlerPool
3KafkaApis
KafkaHealthcheck
Broker 的控制管理模块
KafkaController 的选举策略
KafkaController 的初始化
Topic 的分区状态转换机制
Topic 分区的领导者副本选举策略
Topic 分区的副本状态转换机制
KafkaController 内部的监听器
Kafka 集群的负载均衡流程
Kafka 集群的 Topi 删除流程
KafkaController 的通信模块
Topic 的管理工具
kafka-topics.sh
kaka-earsisspartions.shs.h
kafeprererepiecaelecion.sa
生产者
设计原则
示例代码
模块组成
发送模式
消费者
简单消费者
高级消费者
Kafka 的典型应用
Kafka 和 Storm 的集成
Kafka 和 ELK 的集成
Kafka 和 Hadoop 的集成
Kafka 和 Spark 的集成
Kafka 的综合实例
安防大数据的主要应用
Kafka 在安防整体解决方案中的角色
典型业务
下面是我整理出的一些 kafka 面试题,不妨先看看问题,自己先尝试回答一下,再看答案。看看自己掌握得如何了,在这里我只会展示问题【有需要的可以-->点击这里即可获取我的资料笔记<--- 即可】
kafka 面试问题解析(先自己思考,答案加微信:mxj94670 获取)
Kafka 基础篇
1.Kafka 的用途有哪些?使用场景如何?
2.Kafka 中的 ISR、AR 又代表什么? ISR 的伸缩又指什么
3.Kafka 中的 HW、LEO. LSO. LW 等分别代表什么?
4.Kafka 中是怎么体现消息顺序性的?
5.Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
6.Kafka 生产者客户端的整体结构是什么样子的?
7.Kafka 生产者客户端中使用了几个线程来处理?分别是什么?
8.Kafka 的旧版 Scala 的消费者客户端的设计有什么缺陷?
9.“消费者中的消费者个数如果超过 topic 的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么 hack 的手段?
10.有哪些情形会造成重复消费?
12.KafkaConsumer 是非线程安全的,那么怎么样实现多线程消费?
14.当你使用 kafka-topics.sh 创建(删除)了一个 topic 之后,Kafka 背后会执行什么逻辑?
15.topic 的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?
16.topic 的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?
17.创建 topic 时如何选择合适的分区数?
Kakfa 进阶篇
1.Kafka 目前有哪些内部 topic,它们都有什么特征?各自的作用又是什么?
2.优先副本是什么?它有什么特殊的作用?
3.Kafka 有哪几处地方有分区分配的概念?简述大致的过程及原理
4.简述 Kafka 的日志目录结构
5.Kafka 中有那些索引文件?
6.如果我指定了一个 offset,Kafka 怎么查找到对应的消息?
7.如果我指定了一-个 timestamp,Kafka 怎么查找到对应的消息?
8.聊一聊你对 Kafka 的 Log Retention 的理解
9.聊一一聊你对 Kafka 的 Log Compaction 的理解
10.聊一 -聊你对 Kafka 底层存储的理解
11 聊一聊 Kafka 的延时操作的原理
12 聊一聊 Kafka 控制器的作用
13.Kafka 的旧版 Scala 的消费者客户端的设计有什么缺陷?
上 14.消费再均衡的原理是什么? (提示:消费者协调器和消费组协调器)
15.Kafka 中的幕等是怎么实现的?
Kafka 高级篇
1.Kafka 中的事务是怎么实现的?
2.失效副本是指什么?有那些应对措施?
3.多副本下,各个副本中的 HW 和 LEO 的演变过程
4.Kafka 在可靠性方面做了哪些改进? ( HW, LeaderEpoch )
5.为什么 Kafka 不支持读写分离?
6.Kafka 中的延迟队列怎么实现
7.Kafka 中怎么实现死信队列和重试队列?
8.Kafka 中怎么做消息审计?
9.Kafka 中怎么做消息轨迹?
10 怎么计算 Lag ? (注意 read. uncommitted 和 read. committed 状态..
11.Kafka 有哪些指标需要着重关注?
12.Kafka 的那些设计让它有如此高的性能?
13.零拷贝技术
最近工作中呢,频频用到消息中心,包括异步转同步的功能,分布式收集日志信息等功能,在面试中也常会问到候选人关于消息中心的知识点,但大多数程序员,尤其是工作两三年的,虽然平时工作中都有用到消息中心,但都总是不能够说明白其中的原理。【有需要的可以-->点击这里即可获取我的资料笔记<--- 即可】
评论