写点什么

终于学完了阿里云大数据架构师推荐的 Flink 入门与实战 PDF

用户头像
小Q
关注
发布于: 2020 年 12 月 15 日

前言


Flink 项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程,从第 1 代的 MapReduce,到第 2 代基于有向无环图的 Tez,第 3 代基于内存计算的 Spark,再到第 4 代的 Flink。因为 Flink 可以基于 Hadoop 进行开发和使用,所以 Flink 并不会取代 Hadoop,而是和 Hadoop 紧密结合。


Flink 主要包括 DataStream API、DataSet API、Table API、SQL、Graph API 和 FlinkML 等。现在 Flink 也有自己的生态圈,涉及离线数据处理、实时数据处理、SQL 操作、图计算和机器学习库等。

关注公众号:Java 架构师联盟,即可查看获取方式


目录



主要内容


本文共分 11 章,每章的主要内容如下:


第 1 章 Flink 概述;本章讲解 Flink 的基本原理,主要包含 Flink 原理及架构分析、Flink 组件介绍、Flink 中的流处理和批处理的对比、Flink 的一些典型应用场景分析,以及 Flink 和其他流式计算框架的区别等。



第 2 章 Flink 快速入门;第 1 章针对 Flink 的基本原理、架构和组件进行了分析,本章开始快速实现- -个 Flink 的入门案例,这样可以加深对之前内容的理解。



第 3 章 Flink 的安装和部署;我们对 Flink 有了一一个基本的认识,并且也掌握了 Flink 程序的开发步骤。下 面就来看一下如何安装和部署-一个 Flink 集群,并在集群上真正运行 Flink 程序。


Flink 的安装和部署主要分为本地模式和集群模式,其中本地模式只需直接解压就可以使用,不以修改任何参数,一般在做-些简单测试的时候使用。集群模式包含 Standalone.Flink on Yarn 等模式,适合在生产环境下面使用,且需要修改对应的配置参数。



第 4 章 Flink 常用 API 详解;本章主要针对 Flink DataStream 和 DataSet 的常用 API 进行分析和讲解,也会涉及 FlinkTableAPI 和 Flink SQL 的一.些常见操作。



第 5 章 Flink 高级功能的使用;本章主要针对 Flink 中的高级特性进行分析,包括 Broadcast. Accumulator 和 DistributedCache。



第 6 章 Flink State 管理与恢复;本章主要针对 Flink State(状态)进行分析,包含状态的管理和恢复,以及 Flink 中的任务重启策略。



第 7 章 Flink 窗口详解;本章主要针对 Flink 窗口(Window) 进行分析,包括 Flink 中提供的常见 Window,以及 Window 的聚合操作。



第 8 章 Flink Time 详解;本章主要针对 Flink Time 中的 Event Time、Ingestion Time、Processing Time 以及 Watermark 进行详细讲解。



第 9 章 Flink 并行度详解;本章主要针对 Flink 中的并行度进行详细分析.Flink 中的并行度设置分为 4 个层面:Operator Level(算子层面)、Execution Environment Level(执行环境层面)、Client Level(客户端层面)和 System Level(系统层面)。



第 10 章 Flink Kafka Connector 详解;Flink 提供了很多 Connector 组件,其中应用较广泛的就是 Kafka 了。本章我们主要针对 Kafka Connector 在 Flink 中的应用做详细的分析。



第 11 章 Flink 实战项目开发;本章主要针对 Flink 的一些实战应用场景进行分析,包含架构设计和代码实现。在这里主要介绍两个应用场景:一个是实时数据清洗,也称为实时 ETL;另一个是实时数据报表。



这份【Flink 入门与实战】文档共有 254 页,需要完整版的小伙伴,关注公众号:Java 架构师联盟,即可查看获取方式


还有下面的视频供你学习,同上关注公众号:Java 架构师联盟,即可查看获取方式~~



大数据技术的普及和不断的升级迭代,大大推动了智能化社会的加速实现,而与大数据相关的技术也成为了越来越基础的一项服务。 Flink 不同于其他大数据技术的诸多特性引起了越来越多从业者的关注。本文的作者在大数据领域深耕数年,有着丰富的实践经验,对 MapReduce、Spark 及 Storm 等大数据处理框架有着深入的理解。深入浅出地介绍了 Flink 的一些关键技术与特性,并且结合自己的实践经验帮助读者快速上手。


Flink 是目前主流的大数据实时计算框架,本文深入浅出地讲解了 Flink 设计原理及实现机制,从接口使用、平台运维到案例实操都有较为详尽的讲解。本文可以作为 Flink 应用开发者的入门读物,也可作为 Flink 平台运维人员的随身手册。


发布于: 2020 年 12 月 15 日阅读数: 74
用户头像

小Q

关注

还未添加个人签名 2020.06.30 加入

小Q 公众号:Java架构师联盟 作者多年从事一线互联网Java开发的学习历程技术汇总,旨在为大家提供一个清晰详细的学习教程,侧重点更倾向编写Java核心内容。如果能为您提供帮助,请给予支持(关注、点赞、分享)!

评论

发布
暂无评论
终于学完了阿里云大数据架构师推荐的Flink入门与实战PDF