InfoQ 写作平台 - 方寸之间，书写天地

全部标签 



写点什么

登录注册

实时计算

11 人感兴趣 · 63 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/eb/eb7e654c7c4fa53a62f16a3873730186.png?x-oss-process=image/resize,w_416,h_234

实时数据仓库的发展、架构和趋势

网易数帆4 月 2 日

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。

数据仓库实时计算实时数仓 iceberg 批流一体

https://static001.geekbang.org/infoq/ae/aecd6c2f3f031789aaf025d5d2f6d756.jpeg?x-oss-process=image/resize,w_416,h_234

爱奇艺大数据生态的实时化建设

Apache Flink3 月 31 日

实时化是大数据未来最重要的方向之一。

flink 实时计算

如何处理分析 Flink 作业反压的问题？

华为云开发者社区3 月 31 日

摘要：反压是 Flink 应用运维中常见的问题，它不仅意味着性能瓶颈还可能导致作业的不稳定性。

实时计算 DWS Flink作业反压 Sink

flink-sql 流计算可视化 UI 平台

无情2020 年 11 月 16 日

flink-streaming-platform-web系统是基于flink封装的一个可视化的web系统，用户只需在web界面进行sql配置就能完成流计算任务，

sql flink 实时计算平台

https://static001.geekbang.org/infoq/0e/0ea0bd4baab5a050bbcb7d71749acf62.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 1.11 与 Hive 批流一体数仓实践

Apache Flink2020 年 11 月 6 日

本文主要分享在 Flink 1.11 中对接 Hive 的新特性，以及如何利用 Flink 对 Hive 数仓进行实时化改造，从而实现批流一体的目标。主要内容包括： 1、Flink 与 Hive 集成的背景介绍 2、Flink 1.11中的新特性 3、打造 Hive 批流一体数仓

flink 流计算实时计算

https://static001.geekbang.org/infoq/c5/c5d5e1d07a6f977d1536ad117037cba4.png?x-oss-process=image/resize,w_416,h_234

实时计算的业务劣势、思维误区和改进之道

KAMI2020 年 8 月 4 日

实时计算的技术优势，反倒成为其业务劣势？为什么？如何破？本文不讨论技术细节，对数据业务感兴趣同学都建议一读。

大数据 flink 方法论实时计算

https://static001.geekbang.org/infoq/62/62e6ce99bee815dc82d59344ff48c4e8.png?x-oss-process=image/resize,w_416,h_234

首次揭秘！春晚活动下快手实时链路保障实践

Apache Flink2020 年 7 月 6 日

摘要：本文由快手开发工程师刘建刚分享，主要介绍春晚活动下快手实时链路保障实践。内容主要包含以下四部分：

Apache flink 架构实时计算

https://static001.geekbang.org/infoq/18/1866b5e6c3d00326ca907c5f50a7e269.png?x-oss-process=image/resize,w_416,h_234

数仓大法好！跨境电商 Shopee 的实时数仓之路

Apache Flink2020 年 6 月 18 日

简介：本文讲述 Flink 在 Shopee 新加坡数据组（Shopee Singapore Data Team）的应用实践，主要内容包括：实时数仓建设背景、Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景、实时任务监控

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/cf/cf336382e6a67f45a3e6bb7118aec0de.png?x-oss-process=image/resize,w_416,h_234

Flink 在快手实时多维分析场景的应用

Apache Flink2020 年 6 月 18 日

简介：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/9a/9a0b8d66fd661f394946b152f74d2c1e.png?x-oss-process=image/resize,w_416,h_234

实时即未来？一个小微企业心中的流计算

Apache Flink2020 年 6 月 18 日

简介：本文由墨芷技术团队唐铎老师分享，主要讲述其技术团队内部引入流计算的整个过程，包括最初的决策、期间的取舍以及最终落地，一路走来他们的思考、感悟以及经验分享。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/c8/c8454a9664df2c1418903aef35ea5c79.png?x-oss-process=image/resize,w_416,h_234

Flink 作业问题分析和调优实践

Apache Flink2020 年 6 月 18 日

简介：本文主要分享 Flink 的 CheckPoint 机制、反压机制及 Flink 的内存模型。对这3部分内容的熟悉是调优的前提，文章主要从以下几个部分分享：原理剖析、性能定位、经典场景调优、内存调优。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/f2/f2f8ce3f43456123a903a3773bc2311e.png?x-oss-process=image/resize,w_416,h_234

Apache Flink 误用之痛

Apache Flink2020 年 6 月 18 日

简介：本文根据 Flink Forward 全球在线会议 · 中文精华版整理而成，围绕着项目的开始、需求分析、开发，以及测试、上线、运维整个生命周期展开，介绍了 Apache Flink 实践中的一些典型误用情况，并给出了相应的更优实践方案。

大数据 flink 流计算实时计算数据处理

https://static001.geekbang.org/infoq/93/93538bab35e256d0b16241f5864dbcf6.png?x-oss-process=image/resize,w_416,h_234

数仓系列 | 深入解读 Flink 资源管理机制

Apache Flink2020 年 6 月 18 日

简介：文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。

大数据 flink 流计算实时计算

https://static001.geekbang.org/infoq/6b/6b0c307d56ecdc4176f25ddf7523b06e.jpeg?x-oss-process=image/resize,w_416,h_234

免费下载 | 阿里云实时计算整体解决方案白皮书重磅发布！

Apache Flink2020 年 6 月 18 日

简介：为更好的助力各行各业实现企业数字化转型，为企业的创新、重构核心竞争力提供坚实支撑；阿里云实时计算重磅推出金融、物流、IoT、广告等行业整体解决方案白皮书。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/51/51818cac96dffad613d20e3ed3e7b617.jpeg?x-oss-process=image/resize,w_416,h_234

大数据的下一站是什么？服务 / 分析一体化（HSAP）

Apache Flink2020 年 6 月 14 日

简介：大数据的下一站是什么？服务/分析一体化（HSAP）

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/d4/d45f3abca311e9b6d0255ea5b78bf70d.png?x-oss-process=image/resize,w_416,h_234

如何从 0 到 1 参与 Flink 社区？

Apache Flink2020 年 6 月 10 日

简介：本文首先介绍为何要参与开源社区以及在参与开源社区的过程中需要注意什么，然后重点介绍如何参与 Flink 社区以及在社区里面提交 PR 的整个流程。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/92/92cc0c80fb7de5936f4e663001747353.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 1.10 Container 环境实战

Apache Flink2020 年 6 月 10 日

简介：本文第一部分将简明扼要地介绍容器管理系统的演变；第二部分是 Flink on K8S 简介，包括集群的部署模式调度原理等等；第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享，

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/c4/c4b61a3f6b6a750121e6fdd46412e600.png?x-oss-process=image/resize,w_416,h_234

数仓系列 | Flink 窗口的应用与实现

Apache Flink2020 年 6 月 10 日

简介：本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下： 1. 整体思路与学习路径 2. 应用场景与编程模型 3. 工作流程与实现机制

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/15/158b9b1a929f2c586f9f755ba247438c.png?x-oss-process=image/resize,w_416,h_234

直播 | 阿里、快手、Databricks、网易云音乐... 国内外大数据大佬齐聚一堂要聊啥？

Apache Flink2020 年 6 月 10 日

简介： 6月14日，阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启，此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家，集中解读大数据当前热门话题！

大数据 flink 流计算实时计算

https://static001.geekbang.org/infoq/1d/1deee62a26faa817c5f0069844f12668.png?x-oss-process=image/resize,w_416,h_234

Kafka 系列 10：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（下）

z小赵2020 年 6 月 9 日

面试题不应该只是简单背背答案而已

大数据 kafka 面试实时计算

Flink 源码分析之 FlinkConsumer 是如何保证一个 partition 对应一个 thread 的

shengjk12020 年 6 月 7 日

我们都知道flink 连接kafka时，默认是一个partition对应一个thread，它究竟是怎么实现的呢？以及到我们自己定义 RichParallelSourceFunction 的时候如何借鉴这部分代码呢？

flink flink 消费 kafka 实时计算 flink源码分析

Flink 源码分析之 Flink startupMode 是如何起作用的

shengjk12020 年 6 月 7 日

flink源码分析之Flink startupMode是如何起作用的

flink flink 消费 kafak 实时计算 flink源码 flink源码分析

https://static001.geekbang.org/infoq/05/05382cc98f8f853cf564ab4b068212a7.png?x-oss-process=image/resize,w_416,h_234

这场大数据 +AI Meetup，一次性安排了大数据当下热门话题

Apache Flink2020 年 6 月 3 日

简介： 6月14日，阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启，此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家，集中解读大数据当前热门话题！

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/8d/8d8f13782b3a27dac973fd2014ba5c5f.jpeg?x-oss-process=image/resize,w_416,h_234

Flink Weekly | 每周社区动态更新 -20200520

Apache Flink2020 年 6 月 3 日

简介：本期主要内容包括：近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/3f/3f55f81f7ab937d8e690e8b5a0a6afbe.png?x-oss-process=image/resize,w_416,h_234

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Apache Flink2020 年 6 月 3 日

简介： Flink 1.10 与 1.9 相比又是个创新版本，在我们感兴趣的很多方面都有改进，特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/ab/ab76276dfe51aa0e9d1381a9a66a1ac2.png?x-oss-process=image/resize,w_416,h_234

深度解读 Flink 1.11：流批一体 Hive 数仓

Apache Flink2020 年 6 月 1 日

简介： Flink 1.11 中流计算结合 Hive 批处理数仓，给离线数仓带来 Flink 流处理实时且 Exactly-once 的能力。另外，Flink 1.11 完善了 Flink 自身的 Filesystem connector，大大提高了 Flink 的易用性。

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/77/776e31677a6b15f39984579e58364446.png?x-oss-process=image/resize,w_416,h_234

Kafka 系列 9：面试题是否有必要深入了解其背后的原理？我觉得应该刨根究底（上）

z小赵2020 年 5 月 31 日

面试题不应该只是简单背背答案而已

大数据 kafka 实时计算

https://static001.geekbang.org/infoq/c7/c7525390a22e8d2c3661e9b63dcd4ffc.png?x-oss-process=image/resize,w_416,h_234

这场大数据 +AI Meetup，一次性安排了大数据当下热门话题

Apache Flink2020 年 5 月 29 日

简介： 6月14日，阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启，此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家，集中解读大数据当前热门话题！

大数据 flink 流计算实时计算大数据处理

https://static001.geekbang.org/infoq/17/1720465fda51ca2272229662b7e10f54.jpeg?x-oss-process=image/resize,w_416,h_234

Kafka 系列 8：一网打尽常用脚本及配置，宜收藏落灰！

z小赵2020 年 5 月 27 日

一文总结常用脚本命令及常用配置

大数据 kafka 实时计算

https://static001.geekbang.org/infoq/66/662f6e9155913756b69620b446123d01.png?x-oss-process=image/resize,w_416,h_234

重磅！Apache Flink 1.11 功能前瞻抢先看！

Apache Flink2020 年 5 月 26 日

简介： Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进，并致力于进一步提高 Flink 的可用性及性能。

大数据 flink 流计算实时计算大数据处理