终于学完了阿里云大数据架构师推荐的 Flink 入门与实战 PDF
前言
Flink 项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程,从第 1 代的 MapReduce,到第 2 代基于有向无环图的 Tez,第 3 代基于内存计算的 Spark,再到第 4 代的 Flink。因为 Flink 可以基于 Hadoop 进行开发和使用,所以 Flink 并不会取代 Hadoop,而是和 Hadoop 紧密结合。
Flink 主要包括 DataStream API、DataSet API、Table API、SQL、Graph API 和 FlinkML 等。现在 Flink 也有自己的生态圈,涉及离线数据处理、实时数据处理、SQL 操作、图计算和机器学习库等。
关注公众号:Java 架构师联盟,即可查看获取方式
目录
主要内容
本文共分 11 章,每章的主要内容如下:
第 1 章 Flink 概述;本章讲解 Flink 的基本原理,主要包含 Flink 原理及架构分析、Flink 组件介绍、Flink 中的流处理和批处理的对比、Flink 的一些典型应用场景分析,以及 Flink 和其他流式计算框架的区别等。
第 2 章 Flink 快速入门;第 1 章针对 Flink 的基本原理、架构和组件进行了分析,本章开始快速实现- -个 Flink 的入门案例,这样可以加深对之前内容的理解。
第 3 章 Flink 的安装和部署;我们对 Flink 有了一一个基本的认识,并且也掌握了 Flink 程序的开发步骤。下 面就来看一下如何安装和部署-一个 Flink 集群,并在集群上真正运行 Flink 程序。
Flink 的安装和部署主要分为本地模式和集群模式,其中本地模式只需直接解压就可以使用,不以修改任何参数,一般在做-些简单测试的时候使用。集群模式包含 Standalone.Flink on Yarn 等模式,适合在生产环境下面使用,且需要修改对应的配置参数。
第 4 章 Flink 常用 API 详解;本章主要针对 Flink DataStream 和 DataSet 的常用 API 进行分析和讲解,也会涉及 FlinkTableAPI 和 Flink SQL 的一.些常见操作。
第 5 章 Flink 高级功能的使用;本章主要针对 Flink 中的高级特性进行分析,包括 Broadcast. Accumulator 和 DistributedCache。
第 6 章 Flink State 管理与恢复;本章主要针对 Flink State(状态)进行分析,包含状态的管理和恢复,以及 Flink 中的任务重启策略。
第 7 章 Flink 窗口详解;本章主要针对 Flink 窗口(Window) 进行分析,包括 Flink 中提供的常见 Window,以及 Window 的聚合操作。
第 8 章 Flink Time 详解;本章主要针对 Flink Time 中的 Event Time、Ingestion Time、Processing Time 以及 Watermark 进行详细讲解。
第 9 章 Flink 并行度详解;本章主要针对 Flink 中的并行度进行详细分析.Flink 中的并行度设置分为 4 个层面:Operator Level(算子层面)、Execution Environment Level(执行环境层面)、Client Level(客户端层面)和 System Level(系统层面)。
第 10 章 Flink Kafka Connector 详解;Flink 提供了很多 Connector 组件,其中应用较广泛的就是 Kafka 了。本章我们主要针对 Kafka Connector 在 Flink 中的应用做详细的分析。
第 11 章 Flink 实战项目开发;本章主要针对 Flink 的一些实战应用场景进行分析,包含架构设计和代码实现。在这里主要介绍两个应用场景:一个是实时数据清洗,也称为实时 ETL;另一个是实时数据报表。
这份【Flink 入门与实战】文档共有 254 页,需要完整版的小伙伴,关注公众号:Java 架构师联盟,即可查看获取方式
还有下面的视频供你学习,同上关注公众号:Java 架构师联盟,即可查看获取方式~~
大数据技术的普及和不断的升级迭代,大大推动了智能化社会的加速实现,而与大数据相关的技术也成为了越来越基础的一项服务。 Flink 不同于其他大数据技术的诸多特性引起了越来越多从业者的关注。本文的作者在大数据领域深耕数年,有着丰富的实践经验,对 MapReduce、Spark 及 Storm 等大数据处理框架有着深入的理解。深入浅出地介绍了 Flink 的一些关键技术与特性,并且结合自己的实践经验帮助读者快速上手。
Flink 是目前主流的大数据实时计算框架,本文深入浅出地讲解了 Flink 设计原理及实现机制,从接口使用、平台运维到案例实操都有较为详尽的讲解。本文可以作为 Flink 应用开发者的入门读物,也可作为 Flink 平台运维人员的随身手册。
版权声明: 本文为 InfoQ 作者【小Q】的原创文章。
原文链接:【http://xie.infoq.cn/article/b374fdf585d2425b487f799d5】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论