写点什么

flink

27 人感兴趣 · 254 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/bf/bf2e3b5e4eafb4d4d07596a12c8a7036.jpeg?x-oss-process=image/resize,w_416,h_234

100 万级车辆数据监控的 hadoop 大数据架构探索与实践

用户头像
黑马腾云15 小时前

作者有幸在前些年主导并尝试使用hadoop大数据生态技术对传统车联网项目进行改造,取得了一些成果。本文对该项目进行复盘,聊聊大数据架构在车联网行业中的实践。

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 程序结构与数据流

Flink程序的基本构建块是流和转换(请注意,Flink的DataSet API中使用的DataSet也是内部流 )。从概念上讲,流是(可能永无止境的)数据记录流,而转换是将一个或多个流作为一个或多个流的操作。输入,并产生一个或多个输出流。

https://static001.geekbang.org/infoq/6a/6a50cf14656454927746f2d90646f3ac.png?x-oss-process=image/resize,w_416,h_234

Flink 集成 Iceberg 在同程艺龙的实践

用户头像
Apache Flink4 月 6 日

本文由同城艺龙大数据开发工程师张军分享,主要介绍同城艺龙 Flink 集成 Iiceberg 的生产实践。

Flink TaskManager 内存模型详解

用户头像
JasonLee4 月 3 日

Apache Flink 通过严格控制其各个组件的内存使用,在 JVM 之上提供了高效的工作负载。虽然社区努力为所有配置提供合理的默认值,但不可能适用于用户在 Flink 上部署的所有应用程序。为了向我们的用户提供最大的生产价值,Flink 允许在集群内进行高级和细粒度

https://static001.geekbang.org/infoq/7a/7a98a0c63aa207180c7dbe970bd4c8fd.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 中的无界数据流与有界数据流

在讲解无界流与有界流之前先来说下flink中两个重要的角色:

https://static001.geekbang.org/infoq/64/645b8963a64f112ce0d606d0383a9bcc.jpeg?x-oss-process=image/resize,w_416,h_234

腾讯游戏实时计算应用平台建设实践

用户头像
Apache Flink3 月 31 日

本文由腾讯游戏增值服务部数据中心许振文分享,主要介绍腾讯游戏实时计算应用平台的建设实践。

https://static001.geekbang.org/infoq/ae/aecd6c2f3f031789aaf025d5d2f6d756.jpeg?x-oss-process=image/resize,w_416,h_234

爱奇艺大数据生态的实时化建设

用户头像
Apache Flink3 月 31 日

实时化是大数据未来最重要的方向之一。

https://static001.geekbang.org/infoq/bf/bf66f6798ee120d5ccd6c8f89d196095.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 程序优化及反压机制

checkpoint是Flink容错的核心机制。它可以定期地将各个Operator处理的数据进行快照存储( Snapshot )。如果Flink程序出现宕机,可以重新从这些快照中恢复数据。

https://static001.geekbang.org/infoq/00/00c1c7656dd0ba00bb29d53a381e9218.png?x-oss-process=image/resize,w_416,h_234

Hudi on Flink 快速上手指南

用户头像
Apache Flink3 月 29 日

摘要:本文由阿里巴巴的陈玉兆分享,主要介绍 Flink 集成 Hudi 的最新版本功能以及快速上手实践指南。

https://static001.geekbang.org/infoq/a5/a523d5835597ac7833159688ba0bd875.png?x-oss-process=image/resize,w_416,h_234

Flink VS Spark

这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的

https://static001.geekbang.org/infoq/8b/8b020b3d02b45177846587cbd00695d6.png?x-oss-process=image/resize,w_416,h_234

Flink 执行引擎:流批一体的融合之路

用户头像
Apache Flink3 月 25 日

本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。

一文搞懂 Flink 中的锁

用户头像
shengjk13 月 23 日

之前在介绍 flink timer 的时候( 一文搞懂 Flink Timer ) 官网有这样的一句话

Flink 计算 PV UV

用户头像
shengjk13 月 23 日

使用 flink 很长一段时间了,突然发现竟然没有计算过 pv uv,这可是 flink 常见的计算场景了,面试时也是常问题之一。故自己想了一个场景来计算一下。

Flink 计算 TopN

用户头像
shengjk13 月 23 日

使用 flink 很长一段时间了,突然发现竟然没有计算过 topN,这可是 flink 常见的计算场景了, 故自己想了一个场景来计算一下。

FlinkSQL 平台

用户头像
shengjk13 月 23 日

由于公司内部需求较多,并不想每次都写一个 streaming 程序,故而开始搭建 flinksql 平台,基于 jdk1.8,flink1.12.x

Flink 提交作业运行的各种模式总结

用户头像
shengjk13 月 23 日

关于 Flink 的 Application Mode 自己还比较陌生,像 -d 等参数自己也不熟悉,决定好好总结一下,基于 Flink-1.12.x

一文搞懂 FlinkSQL 的 KafkaSource

用户头像
shengjk13 月 23 日

前面我们了解了 写给大忙人看的Flink 消费 Kafka,今天我们一起来看一下 FlinkSQL Kafka 是如何与 Flink Streaming Kafka 结合起来的

一文搞懂 FlinkSQL 函数 LAST_VALUE 的原理

用户头像
shengjk13 月 23 日

刚开始接触 FlinkSQL 时,对 LAST_VALUE 特别好奇,虽然工作当中有在用到,但还是特别的想知道它是怎么实现的,今天终于可以总结一下

一文搞懂 Flink SQL 执行过程

用户头像
shengjk13 月 23 日

学习了 apache calcite,基本上把 apache calcite 的官网看了一遍,也写了几个小例子,现在该分析一下 Flink SQL 的执行过程了,其中关于 apache calcite 的部分不深究,因为 apache calcite 有些复杂,真的要了解清楚需要大量时间,本次还是聚焦 Flink.

https://static001.geekbang.org/infoq/37/3709ec78c8f1fb46734f98576ace8928.png?x-oss-process=image/resize,w_416,h_234

字节跳动单点恢复功能及 Regional CheckPoint 优化实践

用户头像
Apache Flink3 月 22 日

本文介绍字节跳动在过去一段时间里做的两个主要的 Feature,一是在 Network 层的单点恢复的功能,二是 Checkpoint 层的 Regional Checkpoint。

https://static001.geekbang.org/infoq/64/64f161b65403d3c0e471509ac366e96b.png?x-oss-process=image/resize,w_416,h_234

Flink SQL 在网易云音乐的产品化实践

用户头像
Apache Flink3 月 22 日

云音乐的性能优化、运维完善实战经验分享。

https://static001.geekbang.org/infoq/0c/0ce472f49105032876ec87ea6c7b9b31.png?x-oss-process=image/resize,w_416,h_234

实时数据流计算引擎 Flink 和 Spark 流计算对比

用户头像
小舰3 月 19 日

在过去几年,业界的主流流计算引擎大多采用Spark Streaming,随着近两年Flink的快速发展,Flink的使用也越来越广泛。与此同时,Spark针对Spark Streaming的不足,也继而推出了新的流计算组件。本文旨在深入分析不同的流计算引擎的内在机制和功能特点,为流处

https://static001.geekbang.org/infoq/c4/c49f4af91bb8981d2e864eaca6a36e90.jpeg?x-oss-process=image/resize,w_416,h_234

实时计算应用及技术选型

公司内已经采用MR与spark之类的技术,做离线计算,为什么用实时计算?

Flink SQL 如何实现列转行?

用户头像
JasonLee3 月 14 日

在 SQL 任务里面经常会遇到一列转多行的需求,下面就来总结一下在 Flink SQL 里面如何实现列转行的,先来看下面的一个具体案例.

https://static001.geekbang.org/infoq/69/699019cab22b82b6f09a9ea4d41a9632.png?x-oss-process=image/resize,w_416,h_234

网易游戏基于 Flink 的流式 ETL 建设

用户头像
Apache Flink3 月 12 日

网易游戏流式 ETL 建设实践及调优经验分享。

https://static001.geekbang.org/infoq/91/91ea811cfdf142ea971f007daad135b4.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 的状态编程和容错机制

流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。

https://static001.geekbang.org/infoq/9f/9fe64c894f786728ae342cc8cf8a4fae.png?x-oss-process=image/resize,w_416,h_234

Flink SQL CDC 实践以及一致性分析

用户头像
Apache Flink3 月 11 日

本文就Flink SQL CDC+JDBC Connector数据同步方案进行了实践,并从理论和实践分析了端到端的一致性保证。

flink_flink资料文章-InfoQ写作平台