写点什么

4 位资深专家多年大厂经验分享出 Flink 技术内幕架构设计与实现原理

作者:程序员啊叶
  • 2022 年 7 月 30 日
  • 本文字数:875 字

    阅读完需:约 3 分钟

4位资深专家多年大厂经验分享出Flink技术内幕架构设计与实现原理

你了解过 flink 吗

Apache Flink 是由 Apache 软件基金会开发的开源流处理框架,其核心是用 Java 和 Scala 编写的分布式流数据流引擎。Flink 以数据并行和流水线方式执行任意流数据程序,Flink 的流水线运行时系统可以执行批处理和流处理程序。此外,Flink 的运行时本身也支持迭代算法的执行。

既然大家简单了解了 flink 是什么之后,今天就给大家分享一波 4 位资深专家多年大厂经验总结分享出的 Flink 技术内幕架构设计与实现原理技术文档,希望大家能够喜欢!!

Flink 技术内幕架构设计与实现原理为何物?

这是一部从源代码角度出发,通过分析 Flink 的各个功能模块的实现来剖析 Flink 的架构设计和实现原理的著作。

它将能指导读者更好地对 Flink 进行性能调优、可用性保障、效能优化和二次开发。四位作者都是非常资深的 Flink 专家,部分作者是 Flink 源代码的维护者和改造者,本文总结了他们在阿里巴巴、蚂蚁集团、滴滴等企业的大规模 Flink 实践经验。


内容简介

全文共 11 章,主要内容如下。



第 1 章 阅读 Flink 源代码前的准备, 主要介绍了 Flink 源代码的获取、编译、调试,以及它的目录结构、设计理念和基本架构。此外,还分析了 Flink 与 Hadoop MapReduce、Spark 在设计上的差异。



第 2~8 章 Flink 功能模块源代码和架构解析, 从源代码角度分析了 Flink 的编程模型与 API、运行时组件与通信、状态管理与容错、任务提交与执行、Flink 网络栈、Flink Connector、部署模式等功能模块的原理。力求让读者深入理解 Flink 的原理,而不只是跟着本书读一遍 Flink 源代码。原理和思想是不局限于某一个框架和技术的,了解了 Flink 的原理和思想,可以将其扩展到其他框架和技术上。



第 9~10 章 Flink Table、SQL 与 Flink CEP, 编程方式逐渐从原先基于 Map-Reduce 的任务模式向 SQL 化演进,SQL 意味着标准和效率。这两章重点讲解了 StreamTableEnvironment 的实现过程、SQL 的解析过程、Table Connector 以及 Flink CEP 的内部实现原理。



第 11 章 Flink 监控,  主要讲解了 Flink 的监控指标、常用系统指标和监控体系的建设,以及常用的定位手段。



作者简介




想要本《Flink 技术内幕架构设计与实现原理》技术文档来学习的小伙伴要注意了!

添加 maxiaoye5397 即可获取

用户头像

还未添加个人签名 2022.07.13 加入

还未添加个人简介

评论

发布
暂无评论
4位资深专家多年大厂经验分享出Flink技术内幕架构设计与实现原理_Java_程序员啊叶_InfoQ写作社区