写点什么

流计算

7 人感兴趣 · 97 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/93/93ae4140b6fec35e73e6284d8fd5e492.webp?x-oss-process=image/resize,w_416,h_234

博文推荐|多图详解 Apache Pulsar 消息存储模型

用户头像
Apache Pulsar4 月 6 日

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储

flink 流计算可视化 web 平台

用户头像
无情4 月 2 日

flink-streaming-platform-web 系统是基 Flink 封装的一个可视化的、轻量级的 flink web 客户端系统,用户只需在 web 界面进行 sql 配置就能完成流计算任务 主要功能:包含任务配置、启/停任务、告警、日志等功能,支持 sql 语法提示,格式化、sql 语句校验。

https://static001.geekbang.org/infoq/0c/0ce472f49105032876ec87ea6c7b9b31.png?x-oss-process=image/resize,w_416,h_234

实时数据流计算引擎 Flink 和 Spark 流计算对比

用户头像
小舰3 月 19 日

在过去几年,业界的主流流计算引擎大多采用Spark Streaming,随着近两年Flink的快速发展,Flink的使用也越来越广泛。与此同时,Spark针对Spark Streaming的不足,也继而推出了新的流计算组件。本文旨在深入分析不同的流计算引擎的内在机制和功能特点,为流处

技术方案设计的方法论及案例分享

怎么去体现技术方案设计的深度是大家普遍关心的一个问题,这个问题不是个例问题,因此本文主要分享下作者个人的一些观点和看法。

https://static001.geekbang.org/infoq/a9/a9384352b4ca9dfcc9ea4880ea05b601.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 助力美团数仓增量生产

用户头像
Apache Flink1 月 26 日

本文由美团研究员、实时计算负责人鞠大升分享,主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括:1、数仓增量生产;2、流式数据集成;3、流式数据处理;4、流式 OLAP 应用;5、未来规划。

https://static001.geekbang.org/infoq/cf/cfb342540414fb4adeeae570f0261340.jpeg?x-oss-process=image/resize,w_416,h_234

开发效率提升 15 倍!批流融合实时平台在好未来的应用实践

用户头像
Apache Flink1 月 11 日

本文由好未来资深数据平台工程师毛祥溢分享,主要介绍批流融合在教育行业的实践。内容包括两部分,第一部分是好未来在做实时平台中的几点思考,第二部分主要分享教育行业中特有数据分析场景。

https://static001.geekbang.org/infoq/25/254fbd765ac4b648144c428b282deeaf.jpeg?x-oss-process=image/resize,w_416,h_234

详解 Flink 容器化环境下的 OOM Killed

用户头像
Apache Flink1 月 7 日

本文将解析 JVM 和 Flink 的内存模型,并总结在工作中遇到和在社区交流中了解到的造成 Flink 内存使用超出容器限制的常见原因。本文主要讨论 on YARN 部署、Oracle JDK/OpenJDK 8、Flink 1.10+ 的情况。

https://static001.geekbang.org/infoq/bc/bc83eb2fc6b69bf2348e73b3254abcae.png?x-oss-process=image/resize,w_416,h_234

数仓实时化改造:Hudi on Flink 在顺丰的实践应用

用户头像
Apache Flink1 月 6 日

本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。文章主要分为以下几部分:1、顺丰业务介绍;2、Hudi on Flink;3、产品化支持;4、后续计划。

https://static001.geekbang.org/infoq/25/254fbd765ac4b648144c428b282deeaf.jpeg?x-oss-process=image/resize,w_416,h_234

从 RxJS 到 Flink:如何处理数据流?

用户头像
Apache Flink1 月 6 日

本文以一个新闻网站为例,阐述在前端开发中如何使用响应式编程思想;再以计算电商平台双11每小时成交额为例,分享同样的思想在实时计算中的相同与不同之处。

https://static001.geekbang.org/infoq/d5/d5d684893180c00a3a93a2b644683a2a.jpeg?x-oss-process=image/resize,w_416,h_234

Flink SQL 实战:双流 join 场景应用

用户头像
Apache Flink1 月 5 日

本文主要介绍 regular join/interval join/temproal table join 这种 3 种 join 的实战应用

https://static001.geekbang.org/infoq/23/2398747349780f69781a3a9e5d80de7c.jpeg?x-oss-process=image/resize,w_416,h_234

基于 Flink+Iceberg 构建企业级实时数据湖

用户头像
Apache Flink1 月 4 日

Apache Flink 是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时,会碰撞出什么样的火花呢?

https://static001.geekbang.org/infoq/76/76d5bf1fa0f41be27226b39fc4c7843d.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 双流 Join 的 3 种操作示例

用户头像
Apache Flink1 月 4 日

在数据库中的静态表上做 OLAP 分析时,两表 join 是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来实现双流 join。

https://static001.geekbang.org/infoq/2d/2d57d62103c8db131339ec4be124c454.png?x-oss-process=image/resize,w_416,h_234

菜鸟实时数仓 2.0 进阶之路

用户头像
Apache Flink2020 年 12 月 22 日

本文主要分享菜鸟进口实时数仓的升级经验,以及如何利用Flink的特性解决在开发实践中遇到的问题。

DolphinDB 与 Spark 的性能对比测试报告

用户头像
DolphinDB2020 年 12 月 17 日

Spark是基于内存计算的通用大数据并行计算框架,内置多种组件,如批处理、流处理、机器学习和图处理。Hive是基于Hadoop的数据仓库,支持类SQL的命令查询,提升了Hadoop的易用性。Spark与Hive、Hadoop通常是搭配使用,利用Hive中的数据分区可以方便地管理和过

https://static001.geekbang.org/infoq/9d/9d688c864ecbfb7e35e8f832e2c9c338.jpeg?x-oss-process=image/resize,w_416,h_234

深入解析 Flink 的算子链机制

用户头像
Apache Flink2020 年 11 月 12 日

“为什么我的 Flink 作业 Web UI 中只显示出了一个框,并且 Records Sent 和Records Received 指标都是 0 ?是我的程序写得有问题吗?”

https://static001.geekbang.org/infoq/0e/0ea0bd4baab5a050bbcb7d71749acf62.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 1.11 与 Hive 批流一体数仓实践

用户头像
Apache Flink2020 年 11 月 6 日

本文主要分享在 Flink 1.11 中对接 Hive 的新特性,以及如何利用 Flink 对 Hive 数仓进行实时化改造,从而实现批流一体的目标。主要内容包括: 1、Flink 与 Hive 集成的背景介绍 2、Flink 1.11中的新特性 3、打造 Hive 批流一体数仓

Flink 高可用性设置 -4

用户头像
小知识点2020 年 8 月 22 日

流处理通常7*24小时运行,即使内部出现故障也不能停止运行。本节讲解如何恢复故障进程

https://static001.geekbang.org/infoq/c3/c3d53e1b473765a10d0d3a2fdbbbbd91.png?x-oss-process=image/resize,w_416,h_234

Flink 所需组件 -1

用户头像
小知识点2020 年 8 月 19 日

Flink需要四个组件:Dispatch、JobManager、ResourceManager、TaskManager,基于Java虚拟机JVM运行,语言使用Java和Scala

https://static001.geekbang.org/infoq/57/57cb3642272cf0d48ff52533dcc376c5.png?x-oss-process=image/resize,w_416,h_234

复杂事件处理简介

用户头像
星际行者2020 年 8 月 2 日

本文将从什么是CEP、CEP与流式计算、CEP分布式实现等几个方面简单介绍CEP。

https://static001.geekbang.org/infoq/e3/e3634a2979d547db3c9a961af33c2b87.png?x-oss-process=image/resize,w_416,h_234

Apache Zeppelin:可能是开源届最好的 Flink 开发平台

用户头像
章剑锋_Jeff2020 年 6 月 23 日

最近做了一系列Flink on Zeppelin的视频教程,整理出来分享在公众号上,希望对大家有所帮助。下面是大纲:

https://static001.geekbang.org/infoq/e3/e3634a2979d547db3c9a961af33c2b87.png?x-oss-process=image/resize,w_416,h_234

Flink on Zeppelin (5) 高级特性篇

用户头像
章剑锋_Jeff2020 年 6 月 18 日

在Flink on Zeppelin系列的前面几篇文章中,我讲述了如何在Zeppelin里使用Flink的一些基本操作和配置, 中间也会穿插一些高级feature,但都比较零散,这篇文章会集中重点讲述一些非常实用的Flink on Zeppelin的高级feature。

https://static001.geekbang.org/infoq/18/1866b5e6c3d00326ca907c5f50a7e269.png?x-oss-process=image/resize,w_416,h_234

数仓大法好!跨境电商 Shopee 的实时数仓之路

用户头像
Apache Flink2020 年 6 月 18 日

简介: 本文讲述 Flink 在 Shopee 新加坡数据组(Shopee Singapore Data Team)的应用实践,主要内容包括:实时数仓建设背景、Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景、实时任务监控

https://static001.geekbang.org/infoq/cf/cf336382e6a67f45a3e6bb7118aec0de.png?x-oss-process=image/resize,w_416,h_234

Flink 在快手实时多维分析场景的应用

用户头像
Apache Flink2020 年 6 月 18 日

简介: 作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。

https://static001.geekbang.org/infoq/e3/e3634a2979d547db3c9a961af33c2b87.png?x-oss-process=image/resize,w_416,h_234

Flink on Zeppelin (4) - 机器学习篇

用户头像
章剑锋_Jeff2020 年 6 月 18 日

今天我来讲下如何在Zeppelin里做机器学习。机器学习的重要性我就不多说了,我们直奔主题。

https://static001.geekbang.org/infoq/9a/9a0b8d66fd661f394946b152f74d2c1e.png?x-oss-process=image/resize,w_416,h_234

实时即未来?一个小微企业心中的流计算

用户头像
Apache Flink2020 年 6 月 18 日

简介: 本文由墨芷技术团队唐铎老师分享,主要讲述其技术团队内部引入流计算的整个过程,包括最初的决策、期间的取舍以及最终落地,一路走来他们的思考、感悟以及经验分享。 

https://static001.geekbang.org/infoq/c8/c8454a9664df2c1418903aef35ea5c79.png?x-oss-process=image/resize,w_416,h_234

Flink 作业问题分析和调优实践

用户头像
Apache Flink2020 年 6 月 18 日

简介: 本文主要分享 Flink 的 CheckPoint 机制、反压机制及 Flink 的内存模型。对这3部分内容的熟悉是调优的前提,文章主要从以下几个部分分享:原理剖析、性能定位、经典场景调优、内存调优。

https://static001.geekbang.org/infoq/f2/f2f8ce3f43456123a903a3773bc2311e.png?x-oss-process=image/resize,w_416,h_234

Apache Flink 误用之痛

用户头像
Apache Flink2020 年 6 月 18 日

简介: 本文根据 Flink Forward 全球在线会议 · 中文精华版整理而成,围绕着项目的开始、需求分析、开发,以及测试、上线、运维整个生命周期展开,介绍了 Apache Flink 实践中的一些典型误用情况,并给出了相应的更优实践方案。

https://static001.geekbang.org/infoq/93/93538bab35e256d0b16241f5864dbcf6.png?x-oss-process=image/resize,w_416,h_234

数仓系列 | 深入解读 Flink 资源管理机制

用户头像
Apache Flink2020 年 6 月 18 日

简介: 文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。 

流计算_流计算资料文章-InfoQ写作平台