写点什么

Flink 从入门到实战,经历了 30 个日日夜夜,终于悟道了!

  • 2025-05-20
    湖南
  • 本文字数:734 字

    阅读完需:约 2 分钟

 前言

Flink 项目是大数据计算领域冉冉升起的一颗新星。

大数据计算引 擎的发展经历了几个过程,从第 1 代的 MapReduce,到第 2 代基于有向无 环图的 Tez,第 3 代基于内存计算的 Spark,再到第 4 代的 Flink。因为 Flink 可以基于 Hadoop 进行开发和使用,所以 Flink 并不会取代 Hadoop,而是和 Hadoop 紧密结合。

Flink 主要包括 DataStream API、DataSet API、Table API、 SQL、Graph API 和 FlinkML 等。

现在 Flink 也有自己的生态圈,涉及离 线数据处理、实时数据处理、SQL 操作、图计算和机器学习库等。

学习目录




主要内容

本书共分 11 章,每章的主要内容如下。

第 1~2 章主要针对 Flink 的原理组件进行分析,其中包括针对 Storm、Spark Streaming 和 Flink 这 3 个实时计算框架进行对比和分 析,以及快速实现 Flink 的入门案例开发。


第 3 章主要介绍 Flink 的安装部署,包含 Flink 的几种部署模式:本 地模式、Standalone 模式和 YARN 模式。本章主要针对 YARN 模式进行了 详细分析,因为在实际工作中以 YARN 模式为主,这样可以充分利用现 有集群资源。


第 4 章主要针对 DataStream 和 DataSet 中的相关组件及 API 进行详细 分析,并对 Table API 和 SQL 操作进行了基本的分析。

第 5~9 章主要针对 Flink 的一些高级特性进行了详细的分析,包含 Broadcast、Accumulator、Distributed Cache、State、 CheckPoint、StateBackend、SavePoint、Window、Time、Watermark 以及 Flink 中的并行度。

第 10 章主要介绍常用组件 Kafka-Connector,针对 Kafka Consumer 和 Kafka Producer 的使用结合具体案例进行分析,并描述了 Kafka 的容 错机制的应用。


第 11 章介绍 Flink 在实际工作中的两个应用场景:一个是实时数据 清洗(实时 ETL),另一个是实时数据报表,通过这两个项目实战可以加 深对 Flink 的理解。


​编辑


注:篇幅有限,资料已整理成文档,查看下方名片来进行获取!


用户头像

公众号:程序员高级码农 2022-07-03 加入

公众号:程序员高级码农

评论

发布
暂无评论
Flink从入门到实战,经历了30个日日夜夜,终于悟道了!_大数据_程序员高级码农_InfoQ写作社区