写点什么

flink

57 人感兴趣 · 675 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/4f/4f366de46d3b6f915d9d3d4c0b4ada7b.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

美团买菜基于 Flink 的实时数仓建设

美团买菜实时数仓技术负责人严书,在 Flink Forward Asia 2022 实时湖仓专场的分享。

https://static001.geekbang.org/infoq/12/124b4f862e0becd477576133317168a6.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 实现高效实时处理百万级数据:实践与优化

用户头像
xfgg
06-12

在这个数据爆炸的时代,如何快速、高效地处理海量数据一直是大数据从业者面临的难题。Flink,作为一个实时流处理引擎框架,性能卓越、灵活性强、技术趋势良好,正在逐渐成为实时计算领域新宠

https://static001.geekbang.org/infoq/49/49a87b32059e9af7a5af7db7a6043a3f.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

活动预告|6 月 15 日 Apache Paimon Meetup,深入解读 Apache Paimon 0.4.0 !

活动预告|6月15 日 Apache Paimon Meetup,深入解读 Apache Paimon 0.4.0 !

https://static001.geekbang.org/infoq/31/315cb3a9b456a7271f5f799228090011.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

揭秘阿里云 Flink 智能诊断利器——Fllink Job Advisor

解决用户在使用Flink全托管产品全生命周期中可能遇到的各种难题,提升用户使用Flink的体验,降低对人工服务的依赖。

https://static001.geekbang.org/infoq/e9/e9c7ee4771cfb1927d9f43a422979f5e.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入探究 Flink:实时处理与批量处理的完美结合

用户头像
xfgg
06-08

每一个生产线都面临着不同的挑战与机遇:数据源不断涌现,数据格式多样、数据额度庞大。实时处理和批量处理对于许多企业都是不可或缺的工具,但它们本身都存在缺陷。然而,随着实时大数据产业不断升级,它们终于找到完美的结合点——Flink

https://static001.geekbang.org/infoq/61/61dccd2679a5d2f560845700814e0e01.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

快手 Flink 的稳定性和功能性扩展

快手技术专家刘建刚,在 Flink Forward Asia 2022 生产实践专场的分享。

https://static001.geekbang.org/infoq/a7/a7ddc73e0b6807a0406d6294dbd7a90f.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

小米基于 Flink 的实时数仓建设实践

本次分享围绕小米在实时数仓方面的探索与实践展开,主要涉及:Flink+Iceberg 实时数仓架构升级,稳定性与实时性优化;基于当前 Flink 实时数仓的不确定性问题,介绍 Merge into 功能和算子级状态清理的解决方案。

https://static001.geekbang.org/infoq/d9/d9ad69b7d549ac7adeb12fdd0357b5f8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

基于 Log 的通用增量 Checkpoint

阿里巴巴开发工程师,Apache Flink Contributor 俞航翔,在 Flink Forward Asia 2022 核心技术专场的分享。

https://static001.geekbang.org/infoq/dd/dd60cc6b8ae64634a76924397e7282cc.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Hybrid Shuffle 测试分析和使用建议

本文将基于测试结果详细分析 Hybrid Shuffle 的优势场景,并基于我们的经验给出一些使用建议。

https://static001.geekbang.org/infoq/91/916841b42e9fe86229fa5ae0e913804a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

深入解读 Flink 1.17

摘要:本文整理自阿里云技术专家,Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。

https://static001.geekbang.org/infoq/89/89d4472f7be361305a837443b9873efd.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

万字长文详述 ClickHouse 在京喜达实时数据的探索与实践 | 京东云技术团队

在引入ClickHouse过程中经历各种困难,耗费大量精力去探索并一一解决,在这里记录一下希望能够给没有接触过ClickHouse的同学提供一些方向上的指引避免多走弯路,如果文中有错误也希望多包含给出指点,欢迎大家一起讨论ClickHouse相关的话题。

https://static001.geekbang.org/infoq/49/49d1b1c05d08583d2087415e55cb108a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

基于 Log 的通用增量 Checkpoint 在美团的进展

美团计算引擎工程师王非凡,在 Flink Forward Asia 2022 核心技术专场的分享。

https://static001.geekbang.org/infoq/29/297e0ade4ddd63273b6fb3b64b06db23.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

B 站构建实时数据湖的探索和实践

bilibili 大数据实时团队资深开发工程师周晖栋,在 Flink Forward Asia 2022 实时湖仓专场的分享。

https://static001.geekbang.org/infoq/b9/b987d02c62b5e45e5cf6a3d620b09d80.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

行业实践专栏上线|互娱领域专家解读 Flink 企业应用实践

Flink-learning 学训平台第 3 期课程——互娱行业实践专栏上线啦!

https://static001.geekbang.org/infoq/e3/e3057ba909ed07a3e4839da57744e9d1.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

蚂蚁实时低代码研发和流批一体的应用实践

摘要:本文整理自蚂蚁实时数仓架构师马年圣,在 Flink Forward Asia 2022 流批一体专场的分享。

https://static001.geekbang.org/infoq/08/08f7cc538b5398c0a1556feb966e5e85.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 中的时间及窗口类型

在Flink中定义了3种时间类型:事件时间(Event Time)、处理时间(Processing Time)和摄取时间(Ingestion Time)。

https://static001.geekbang.org/infoq/08/08f7cc538b5398c0a1556feb966e5e85.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 的函数体系

按照输入和输入的不同特点分类,Flink中的UDF大概分为3类:

https://static001.geekbang.org/infoq/13/13cebe8609e1a564ade3c5017f82b7e8.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

日常节省 30% 计算资源:阿里云实时计算 Flink 自动调优实践

阿里云开发工程师,Apache Flink Contributor 钟旭阳,在 Flink Forward Asia 2022 生产实践的分享。

https://static001.geekbang.org/infoq/08/08f7cc538b5398c0a1556feb966e5e85.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 数据流元素

数据流元素在Flink中叫作StreamElement,有数据记录StreamRecord、延迟标记Latency Marker、Watermark、流状态标记StreamStatus这4种,分别有各自不同的用途。

https://static001.geekbang.org/infoq/17/17056adbe51562c4ab884dbbe0d91e07.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Hive SQL on Flink 构建流批一体引擎

阿里巴巴开发工程师罗宇侠&方盛凯,在 Flink Forward Asia 2022 流批一体专场的分享。

https://static001.geekbang.org/infoq/08/08f7cc538b5398c0a1556feb966e5e85.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 数据流介绍

对Flink这种以流为核心的分布式计算引擎而言,数据流是核心数据抽象,表示一个持续产生的数据流,与Apache Beam中的PCollection的概念类似

https://static001.geekbang.org/infoq/b1/b1bda95aea786952aea267d093e58b22.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink API 的 4 个层次

从纵向来看Flink中的API分为4个层次,从下而上,API层次越高,抽象程度越高,使用起来越方便,灵活性则会降低。

https://static001.geekbang.org/infoq/08/08f7cc538b5398c0a1556feb966e5e85.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 应用开发

Flink应用,也叫作Flink作业、Flink Job。Flink作业包含了两个基本的块:数据流(DataStream)和转换(Transformation)。

https://static001.geekbang.org/infoq/08/08f7cc538b5398c0a1556feb966e5e85.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Flink 运行架构

Flink集群采用Master-Slave架构,Master的角色是JobManager,负责集群和作业管理,Slave的角色是TaskManager,负责执行计算任务。

https://static001.geekbang.org/infoq/bb/bb9da949368bf014b0d0a7049f5fe404.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

本文主要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。

flink_flink技术文章_InfoQ写作社区