写点什么

超详细:这份全网首发的 Kafka 技术手册,从基础到实战一应俱全!

作者:收到请回复
  • 2022 年 9 月 17 日
    湖南
  • 本文字数:1998 字

    阅读完需:约 7 分钟

什么是 Kafka?

Kafka 通常用于实时流数据架构,以提供实时分析。

Kafka 正在爆炸式增长。超过三分之一的财富 500 强企业都使用 Kafka。这些公司包括十大旅游公司,十大银行中的七家,十大保险公司中的八家,十大电信公司中的九家,以及更多。LinkedIn,微软和 Netflix 每天使用 Kafka(1,000,000,000,000)处理万亿级的消息。Kafka 用于实时数据流,收集大数据或进行实时分析(或两者兼而有之)。Kafka 与内存微服务一起使用以提供可靠性,它可用于向 CEP(复杂事件流系统)和 IoT / IFTTT 式自动化系统提供事件。

为什么选择 Kafka?

Kafka 通常用于实时流式数据体系结构以提供实时分析。由于 Kafka 是一个快速,可扩展,耐用和容错的发布、订阅消息传递系统,Kafka 被用于 JMS,RabbitMQ 和 AMQP 可能因为数量和响应速度而不被考虑的情况。Kafka 具有更高的吞吐量,可靠性和复制特性,使其适用于跟踪服务呼叫(跟踪每个呼叫)或跟踪传统 MOM 可能不被考虑的物联网传感器数据。

Who 在使用 Kafka?

许多处理大量数据的大公司使用 Kafka。

  • LinkedIn 起源于它,用它来跟踪活动数据和运营指标。

  • Twitter 使用它作为 Storm 的一部分来提供流处理基础设施。

  • Square 使用 Kafka 作为消息总线,将所有系统事件转移到各种 Square 数据中心(日志,自定义事件,度量标准等),输出到 Splunk,Graphite(仪表板)以及 Esper-like / CEP 警报系统。

  • Spotify,Uber,Tumbler,Goldman Sachs,PayPal,Box,Cisco,CloudFlare 和 Netflix 等公司也使用这种方法。

kafka 知识导图

第一部分:初识 Kafka

通过这一部分的学习,你可以学习一下内容:

  • 知道 Kafka 基本原理,了解关键术语概念

  • 可以使用 Kafka 进行消息系统开发

  • 通过 Java 语言来使用 Kafka 进行消息收发

内容涵盖:(特性 + 使用场景 + 技术优势 + 适应人群 + 概念详解 + 安装与配置 + Java 第一个程序 + 服务端常用参数配置 + 总结



第二部分:生产者详解

通过这一部分的学习,你可以学习一下内容:

  • 深入学习 Kafka 数据生产大致流程

  • 如何创建并使用 Kafka 生产者

  • Kafka 生产者常用配置

内容涵盖:(消息发送 + 发送原理剖析 + 其他生产者参数 + 总结



第三部分:消费者详解

通过这一部分的学习,你可以学习一下内容:

  • 深入学习 Kafka 数据消费大致流程

  • 如何创建并使用 Kafka 消费者

  • Kafka 消费者常用配置

内容涵盖:(概念入门 + 消息接收 + 总结



第四部分:主题

通过这一部分的学习,你可以学习一下内容:

  • 深入学习 Kafka 主题的管理

  • KafkaAdminClient 应用

内容涵盖:(管理 + 增加分区 + 分区副本的分配 + 其他主题参数配置 + KafkaAdminClient 应用 + 总结


第五部分:分区

通过这一部分的学习,你可以学习一下内容:

  • 深入学习 Kafka 分区的管理

  • 包括:优先副本的选举、分区重新分配等

内容涵盖:(副本机制 + 分区 Leader 选举 + 分区重新分配 + 修改副本因子 + 分区分配策略 + 总结


第六部分:Kafka 存储

通过这一部分的学习,你可以学习一下内容:

  • 在完成 Kafka 应用开发的基础上,知道文件存储机制

  • Kafka 为什么使用磁盘作为存储介质

  • 分析文件存储格式

  • 快速检索消息

内容涵盖:(存储结构概述 + 日志索引 + 日志清理 + 磁盘存储优势 + 总结


第七部分:稳定性

通过这一部分的学习,你可以学习一下内容:

  • 深入学习 Kafka 在保证高性能、高吞吐的同时通过各种机制来保证高可用性

内容涵盖:(幂等性 + 事务 + 控制器 + 可靠性保证 + 一致性保证 + 消息重复的场景及解决方案 + __consumer_offsets + 总结


第八部分:高级应用

通过这一部分的学习,你可以学习一下内容:

  • 作为运维人员掌握命令行工具

  • 使用 Connect 进行流信息处理

  • 掌握延迟消息、流式处理等

  • Kafka 和 SpringBoot 整合

内容涵盖:(命令行工具 + 数据管道 Connect + 流式处理 Spark + SpringBoot Kafka + 消息中间件选型对比 + 总结


第九部分:集群管理

通过这一部分的学习,你可以学习一下内容:

  • 熟悉 Kafka 集群管理相关内容

  • 配置与调优

内容涵盖:(集群的特点 + 集群的能力 + 集群使用场景 + 集群搭建 + 多集群同步 + 总结


第十部分:监控

通过这一部分的学习,你可以学习一下内容:

  • 知道 Kafka 的监控体系

  • 掌握 JMX 监控指标

  • 数据异动实时提醒

内容涵盖:(监控度量指标 + broker 监控指标 + 主题分区监控 + 生产者监控指标 + 消费者监控指标 + Kafka Eagle + 总结


写在最后

在当前的趋势下,Kafka 被越来越多的互联网独角兽企业所器重,在业务中的使用也越来越多!那么,我们就是说不一定要熟练,但是至少要学会怎么用。这样在业务中自己的能力不断地提升,才有底气和老板、和 HR 谈涨薪。否则,只是一味地做,不停地 996,业务能力却没有提升,那么就会被公司所抛弃,更不要说什么涨薪了,你问问你自己,你配吗?

最后,我想说的是,学习并非难事,而贵在坚持,尤其是在我们参与工作之后,要继续坚持学习就更不容易了。但对于程序员来说,学习是立业之根本,如若放弃学习,被市场淘汰是迟早的事情。所以,学习更多新的知识对于自己来说才是一种更大的投资。

最后,由于篇幅有限,以上有需要的小伙伴可以看这里—— 《Kafka技术手册》

用户头像

加V:amchenzi-获取文中Java文档和面试资料 2021.06.08 加入

还未添加个人简介

评论

发布
暂无评论
超详细:这份全网首发的Kafka技术手册,从基础到实战一应俱全!_Java_收到请回复_InfoQ写作社区