写点什么

flink

32 人感兴趣 · 300 次引用

  • 最新
  • 推荐

Flink State 和 Fault Tolerance(三)

用户头像
Alex🐒15 小时前

Savepoint 是命令触发的 Checkpoint,对流式程序做一次完整的快照并将结果写到 State backend,可用于停止、恢复或更新 Flink 程序。整个过程依赖于 Checkpoint 机制。另一个不同之处是,Savepoint 不会自动清除。

Flink Side Outputs

用户头像
Alex🐒15 小时前

Side Output 功能从 Flink 1.3.0 版本开始提供,FLINK-4460

https://static001.geekbang.org/infoq/0d/0d0533d19394c13c56d1a515f9a6bcc2.jpeg?x-oss-process=image/resize,w_416,h_234

Flink+Hologres 助力伊的家电商平台建设新一代实时数仓

用户头像
Apache Flink6 月 18 日

Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值,真的做到了开箱即用,所见即所得!

Flink State 和 Fault Tolerance(二)

用户头像
Alex🐒6 月 18 日

Flink State 在 Checkpoint 中的存储和开箱即用的 State backend

Flink EventTime 和 Watermark

用户头像
Alex🐒6 月 17 日

Flink 事件时间和 watermark

Flink User-Defined Source

用户头像
Alex🐒6 月 16 日

Flink User-defined Source and Sink

【FlinkSQL】Flink SQL Query(三)- Join

用户头像
Alex🐒6 月 11 日

Flink SQL 支持对动态表进行 Join 操作。有几种不同类型的 Join 可以支持多种语义。

https://static001.geekbang.org/infoq/13/135e07d5b4086374531e44ad88d2fc84.png?x-oss-process=image/resize,w_416,h_234

基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现

用户头像
Apache Flink6 月 10 日

如何基于 Flink + Palfish 组合,打造代号为 Palink 的伴鱼公司级实时计算平台。

https://static001.geekbang.org/infoq/c9/c9eb517b3c5c5861745e823de2eb9e7c.jpeg?x-oss-process=image/resize,w_416,h_234

汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

用户头像
Apache Flink6 月 10 日

由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的,基于 Flink + Iceberg 的湖仓一体架构实践。

https://static001.geekbang.org/infoq/11/116cdab7ec59ffbdea20dbf260df3774.jpeg?x-oss-process=image/resize,w_416,h_234

Flink + Iceberg 在去哪儿的实时数仓实践

用户头像
Apache Flink6 月 9 日

本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。

https://static001.geekbang.org/infoq/94/94006436fbb537c56bcd9e4d3d12c204.jpeg?x-oss-process=image/resize,w_416,h_234

【干货篇】bilibili:基于 Flink 的机器学习工作流平台在 b 站的应用

用户头像
Apache Flink6 月 3 日

介绍 b 站的机器学习工作流平台 ultron 在 b 站多个机器学习场景上的应用。

https://static001.geekbang.org/infoq/67/672fd6f429df12b3ee172a43175963f8.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 在有赞的实践和应用

用户头像
Apache Flink6 月 3 日

本文介绍了Flink 在有赞的实践和应用,内容包括:Flink 的容器化改造和实践、Flink SQL 的实践和应用、未来规划。

https://static001.geekbang.org/infoq/91/91ea811cfdf142ea971f007daad135b4.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的流数据 SQL

流处理中也可以支持SQL。但是需要注意以下几点:

https://static001.geekbang.org/infoq/66/66df2bfc4ea7812c601f480bb6b12950.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 实时计算在微博的应用

用户头像
Apache Flink5 月 25 日

微博通过将 Flink 实时流计算框架跟业务场景相结合,在平台化、服务化方面做了很大的工作,在开发效率、稳定性方面也做了很多优化。我们通过模块化设计和平台化开发,提高开发效率。

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的程序结构

Flink程序的基本构建块是流和转换(请注意,Flink的DataSet API中使用的DataSet也是内部流 )。从概念上讲,流是(可能永无止境的)数据记录流,而转换是将一个或多个流作为一个或多个流的操作。输入,并产生一个或多个输出流。

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的分布式缓存

Flink提供了一个类似于Hadoop的分布式缓存,让并行运行实例的函数可以在本地访问。这个功能可以被使用来分享外部静态的数据,例如:机器学习的逻辑回归模型等!

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的广播变量

Flink支持广播变量,就是将数据广播到具体的taskmanager上,数据存储在内存中,这样可以减缓大量的shuffle操作;比如在数据join阶段,不可避免的就是大量的shuffle操作,我们可以把其中一个dataSet广播出去,一直加载到taskManager的内存中,可以直接在内存中

https://static001.geekbang.org/infoq/85/85663a222ee5dc8e1c8f1b5dd18af00f.png?x-oss-process=image/resize,w_416,h_234

Flink CEP 监测刷屏用户

规则:用户如果在10s内,同时连续输入同样一句话超过5次,就认为是恶意刷屏。

https://static001.geekbang.org/infoq/91/91ea811cfdf142ea971f007daad135b4.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 常见数据源

如果设置并行度超过1,会报错.

https://static001.geekbang.org/infoq/bc/bc28c9fcd90a06ed6a61121eee0896c2.jpeg?x-oss-process=image/resize,w_416,h_234

Apache Flink 在 bilibili 的多元化探索与实践

用户头像
Apache Flink5 月 18 日

本文由 bilibili 大数据实时平台负责人郑志升分享,本次分享核心讲解万亿级传输分发架构的落地,以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。

https://static001.geekbang.org/infoq/91/91ea811cfdf142ea971f007daad135b4.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 消费 Kafka

使用方式:创建一个FlinkKafkaConsumer09

flink_flink资料文章-InfoQ写作平台