写点什么

华为架构师亲手操刀,世界五百强都在用的 kafka 也就那么回事

作者:程序知音
  • 2022-10-19
    湖南
  • 本文字数:1994 字

    阅读完需:约 1 分钟


有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。

发展到现在,Apache Kafka 无疑是很成功的,Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余,但是实际生产中还有很多不允许丢数据的场景存在。针对这类场景是否有新的技术和框架出现?

答案就是:kafka



kafka 学习思维导图

自 2010 年 12 月份开源以来,经过市场的厮杀和淘汰已经成为 Apache 的顶级子项目。它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。

但是市场上系统学习 kafka 的资料真的太少了,今天分享的这份 kafka 资料由华为架构师亲手操刀,内容涵盖源码到实战,堪称一绝,后面附自己整理的 kafka 由基础到架构的面试题

Kafka 源码解析与实战

kafka 入门简介

  • Kafka 诞生的背景

  • Kafka 在 L inkedIn 内部的应用

  • Kafka 的主要设计目标

  • 为什么使用消息系统



Kafka 的架构

  • Kafka 的基本组成

  • Kafka 的拓扑结构

  • Kafka 内部的通信协议



Broker 概述

  • Broker 的启动

  • Broker 内部的模块组成



Broker 的基本模块

  •  SocketServer

  •  KafkaRequestHandlerPool

  • 3KafkaApis

  •  KafkaHealthcheck



Broker 的控制管理模块

  •  KafkaController 的选举策略

  •  KafkaController 的初始化

  •  Topic 的分区状态转换机制

  • Topic 分区的领导者副本选举策略

  • Topic 分区的副本状态转换机制

  •  KafkaController 内部的监听器

  •  Kafka 集群的负载均衡流程

  •  Kafka 集群的 Topi 删除流程

  • KafkaController 的通信模块



Topic 的管理工具

  •  kafka-topics.sh

  •  kaka-earsisspartions.shs.h

  • kafeprererepiecaelecion.sa



生产者

  • 设计原则

  • 示例代码

  •  模块组成

  • 发送模式



消费者

  • 简单消费者

  • 高级消费者



Kafka 的典型应用

  •  Kafka 和 Storm 的集成

  • Kafka 和 ELK 的集成

  • Kafka 和 Hadoop 的集成

  •  Kafka 和 Spark 的集成



Kafka 的综合实例

  • 安防大数据的主要应用

  •  Kafka 在安防整体解决方案中的角色

  •  典型业务



下面是我整理出的一些 kafka 面试题,不妨先看看问题,自己先尝试回答一下,再看答案。看看自己掌握得如何了,在这里我只会展示问题【有需要的可以-->点击这里即可获取我的资料笔记<--- 即可

kafka 面试问题解析(先自己思考,答案加微信:mxj94670 获取)

Kafka 基础篇

  • 1.Kafka 的用途有哪些?使用场景如何?

  • 2.Kafka 中的 ISR、AR 又代表什么? ISR 的伸缩又指什么

  • 3.Kafka 中的 HW、LEO. LSO. LW 等分别代表什么?

  • 4.Kafka 中是怎么体现消息顺序性的?

  • 5.Kafka 中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?

  • 6.Kafka 生产者客户端的整体结构是什么样子的?

  • 7.Kafka 生产者客户端中使用了几个线程来处理?分别是什么?

  • 8.Kafka 的旧版 Scala 的消费者客户端的设计有什么缺陷?

  • 9.“消费者中的消费者个数如果超过 topic 的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么 hack 的手段?


  • 10.有哪些情形会造成重复消费?

  • 12.KafkaConsumer 是非线程安全的,那么怎么样实现多线程消费?

  • 14.当你使用 kafka-topics.sh 创建(删除)了一个 topic 之后,Kafka 背后会执行什么逻辑?

  • 15.topic 的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?


  • 16.topic 的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?

  • 17.创建 topic 时如何选择合适的分区数?



Kakfa 进阶篇

  • 1.Kafka 目前有哪些内部 topic,它们都有什么特征?各自的作用又是什么?

  • 2.优先副本是什么?它有什么特殊的作用?

  • 3.Kafka 有哪几处地方有分区分配的概念?简述大致的过程及原理

  • 4.简述 Kafka 的日志目录结构

  • 5.Kafka 中有那些索引文件?

  • 6.如果我指定了一个 offset,Kafka 怎么查找到对应的消息?

  • 7.如果我指定了一-个 timestamp,Kafka 怎么查找到对应的消息?

  • 8.聊一聊你对 Kafka 的 Log Retention 的理解

  • 9.聊一一聊你对 Kafka 的 Log Compaction 的理解

  • 10.聊一 -聊你对 Kafka 底层存储的理解

  • 11 聊一聊 Kafka 的延时操作的原理

  • 12 聊一聊 Kafka 控制器的作用

  • 13.Kafka 的旧版 Scala 的消费者客户端的设计有什么缺陷?

  • 上 14.消费再均衡的原理是什么? (提示:消费者协调器和消费组协调器)

  • 15.Kafka 中的幕等是怎么实现的?



Kafka 高级篇

  • 1.Kafka 中的事务是怎么实现的?

  • 2.失效副本是指什么?有那些应对措施?

  • 3.多副本下,各个副本中的 HW 和 LEO 的演变过程

  • 4.Kafka 在可靠性方面做了哪些改进? ( HW, LeaderEpoch )

  • 5.为什么 Kafka 不支持读写分离?

  • 6.Kafka 中的延迟队列怎么实现

  • 7.Kafka 中怎么实现死信队列和重试队列?

  • 8.Kafka 中怎么做消息审计?

  • 9.Kafka 中怎么做消息轨迹?

  • 10 怎么计算 Lag ? (注意 read. uncommitted 和 read. committed 状态..

  • 11.Kafka 有哪些指标需要着重关注?

  • 12.Kafka 的那些设计让它有如此高的性能?

  • 13.零拷贝技术



最近工作中呢,频频用到消息中心,包括异步转同步的功能,分布式收集日志信息等功能,在面试中也常会问到候选人关于消息中心的知识点,但大多数程序员,尤其是工作两三年的,虽然平时工作中都有用到消息中心,但都总是不能够说明白其中的原理。【有需要的可以-->点击这里即可获取我的资料笔记<--- 即可


用户头像

程序知音

关注

还未添加个人签名 2022-06-25 加入

还未添加个人简介

评论

发布
暂无评论
华为架构师亲手操刀,世界五百强都在用的kafka也就那么回事_Java_程序知音_InfoQ写作社区