写点什么

flink

32 人感兴趣 · 305 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/c8/c878bdf475d520e2c65071c706b2bdda.jpeg?x-oss-process=image/resize,w_416,h_234

唯品会:在 Flink 容器化与平台化上的建设实践

用户头像
Apache Flink21 小时前

唯品会 Flink 的容器化实践应用,Flink SQL 平台化建设,以及在实时数仓和实验平台上的应用案例。

https://static001.geekbang.org/infoq/1a/1aa52a6d2f696dd23c598a73b68f41da.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 和 Iceberg 如何解决数据入湖面临的挑战

用户头像
Apache Flink21 小时前

数据实时入湖可以分成三个部分,分别是数据源、数据管道和数据湖(数仓),本文的内容将围绕这三部分展开。

Flink Job 概览

用户头像
Alex🐒6 月 22 日

介绍 Flink 是如何调度 Job,以及如何在 JobManager 上维护并跟踪 Job 状态。

Flink Checkpoint 和 Large State 调优

用户头像
Alex🐒6 月 21 日

为了使 Flink 应用程序能够可靠地大规模运行,必须满足两个条件: 1. 应用程序需要能够可靠地获取 Checkpoint 2. 在发生故障后,需要足够的资源追上(catch up)输入数据流

Flink State 和 Fault Tolerance(三)

用户头像
Alex🐒6 月 20 日

Savepoint 是命令触发的 Checkpoint,对流式程序做一次完整的快照并将结果写到 State backend,可用于停止、恢复或更新 Flink 程序。整个过程依赖于 Checkpoint 机制。另一个不同之处是,Savepoint 不会自动清除。

Flink Side Outputs

用户头像
Alex🐒6 月 20 日

Side Output 功能从 Flink 1.3.0 版本开始提供,FLINK-4460

https://static001.geekbang.org/infoq/0d/0d0533d19394c13c56d1a515f9a6bcc2.jpeg?x-oss-process=image/resize,w_416,h_234

Flink+Hologres 助力伊的家电商平台建设新一代实时数仓

用户头像
Apache Flink6 月 18 日

Hologres+Flink+DataWorks实时数仓新方案为伊的家业务带来了统一数据、统一服务、统一治理、统一存储的价值,真的做到了开箱即用,所见即所得!

Flink State 和 Fault Tolerance(二)

用户头像
Alex🐒6 月 18 日

Flink State 在 Checkpoint 中的存储和开箱即用的 State backend

Flink EventTime 和 Watermark

用户头像
Alex🐒6 月 17 日

Flink 事件时间和 watermark

Flink User-Defined Source

用户头像
Alex🐒6 月 16 日

Flink User-defined Source and Sink

【FlinkSQL】Flink SQL Query(三)- Join

用户头像
Alex🐒6 月 11 日

Flink SQL 支持对动态表进行 Join 操作。有几种不同类型的 Join 可以支持多种语义。

https://static001.geekbang.org/infoq/13/135e07d5b4086374531e44ad88d2fc84.png?x-oss-process=image/resize,w_416,h_234

基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现

用户头像
Apache Flink6 月 10 日

如何基于 Flink + Palfish 组合,打造代号为 Palink 的伴鱼公司级实时计算平台。

https://static001.geekbang.org/infoq/c9/c9eb517b3c5c5861745e823de2eb9e7c.jpeg?x-oss-process=image/resize,w_416,h_234

汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

用户头像
Apache Flink6 月 10 日

由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的,基于 Flink + Iceberg 的湖仓一体架构实践。

https://static001.geekbang.org/infoq/11/116cdab7ec59ffbdea20dbf260df3774.jpeg?x-oss-process=image/resize,w_416,h_234

Flink + Iceberg 在去哪儿的实时数仓实践

用户头像
Apache Flink6 月 9 日

本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。

https://static001.geekbang.org/infoq/94/94006436fbb537c56bcd9e4d3d12c204.jpeg?x-oss-process=image/resize,w_416,h_234

【干货篇】bilibili:基于 Flink 的机器学习工作流平台在 b 站的应用

用户头像
Apache Flink6 月 3 日

介绍 b 站的机器学习工作流平台 ultron 在 b 站多个机器学习场景上的应用。

https://static001.geekbang.org/infoq/67/672fd6f429df12b3ee172a43175963f8.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 在有赞的实践和应用

用户头像
Apache Flink6 月 3 日

本文介绍了Flink 在有赞的实践和应用,内容包括:Flink 的容器化改造和实践、Flink SQL 的实践和应用、未来规划。

https://static001.geekbang.org/infoq/91/91ea811cfdf142ea971f007daad135b4.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的流数据 SQL

流处理中也可以支持SQL。但是需要注意以下几点:

https://static001.geekbang.org/infoq/66/66df2bfc4ea7812c601f480bb6b12950.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 实时计算在微博的应用

用户头像
Apache Flink5 月 25 日

微博通过将 Flink 实时流计算框架跟业务场景相结合,在平台化、服务化方面做了很大的工作,在开发效率、稳定性方面也做了很多优化。我们通过模块化设计和平台化开发,提高开发效率。

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的程序结构

Flink程序的基本构建块是流和转换(请注意,Flink的DataSet API中使用的DataSet也是内部流 )。从概念上讲,流是(可能永无止境的)数据记录流,而转换是将一个或多个流作为一个或多个流的操作。输入,并产生一个或多个输出流。

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的分布式缓存

Flink提供了一个类似于Hadoop的分布式缓存,让并行运行实例的函数可以在本地访问。这个功能可以被使用来分享外部静态的数据,例如:机器学习的逻辑回归模型等!

flink_flink资料文章-InfoQ写作平台