flink

15 人感兴趣 · 172 次引用

  • 推荐
  • 最新

字节跳动李本超:一年成为 Committer,我与 Flink 社区的故事

用户头像
Apache Flink 2020 年 7 月 20 日

本篇文章主要是介绍我自己参与社区的过程和一些心得体会,主要从以下几个方面进行了介绍: 初识 Flink 社区 如何融入社区 在社区的收获 对社区的贡献 参与社区的建议

https://static001.geekbang.org/infoq/8e/8ebcc0c8930fd5df384829cbd8859fa4.png?x-oss-process=image/resize,w_416,h_234

扎心!天天写代码,方向真的对吗?

用户头像
Apache Flink 2020 年 5 月 8 日

“每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。”

https://static001.geekbang.org/infoq/6b/6b2d9cf3c9f2b1819839753c0eef0e3f.png?x-oss-process=image/resize,w_416,h_234

Flink 完美搭档:数据存储层上的 Pravega

用户头像
Apache Flink 2020 年 5 月 25 日

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

https://static001.geekbang.org/infoq/c4/c4b61a3f6b6a750121e6fdd46412e600.png?x-oss-process=image/resize,w_416,h_234

数仓系列 | Flink 窗口的应用与实现

用户头像
Apache Flink 2020 年 6 月 10 日

简介: 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 1. 整体思路与学习路径 2. 应用场景与编程模型 3. 工作流程与实现机制

基于 Flink+ClickHouse 打造轻量级点击流实时数仓

用户头像
Apache Flink 2020 年 10 月 15 日

Flink 和 ClickHouse 分别是实时计算和(近实时)OLAP 领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。

https://static001.geekbang.org/infoq/74/742e9eec39a7aa43cdf6de230d13795e.png?x-oss-process=image/resize,w_416,h_234

TensorFlow On Flink 原理解析

用户头像
Apache Flink 2020 年 5 月 12 日

简介: 本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示,整个流程包含特征工程、模型训练、离线或者是在线预测等环节。

Flink 1.11 Unaligned Checkpoint 解析

用户头像
Apache Flink 2020 年 7 月 20 日

Flink 在 1.11 引入 Unaligned Checkpint 来解耦 Checkpoint 机制与反压机制,优化高反压情况下的 Checkpoint 表现。

如何基于 Flink 生成在线机器学习的样本?

用户头像
Apache Flink 2020 年 9 月 11 日

在线机器学习中,样本是关键的一环。本文将给大家详细的介绍微博是如何用 Flink 来实现在线样本生成的。

https://static001.geekbang.org/infoq/c5/c5d5e1d07a6f977d1536ad117037cba4.png?x-oss-process=image/resize,w_416,h_234

实时计算的业务劣势、思维误区和改进之道

用户头像
KAMI 2020 年 8 月 4 日

实时计算的技术优势,反倒成为其业务劣势?为什么?如何破?本文不讨论技术细节,对数据业务感兴趣同学都建议一读。

https://static001.geekbang.org/infoq/e3/e3634a2979d547db3c9a961af33c2b87.png?x-oss-process=image/resize,w_416,h_234

Flink on Zeppelin (1)入门篇

用户头像
章剑锋_Jeff 2020 年 6 月 15 日

​  一直有人在Zeppelin社区问能否在Zeppelin里使用Flink。现在终于有了进展了,从Zeppelin 0.9开始将正式支持Flink 1.10。Flink是一个批流统一的计算引擎,本文将从第一个wordcount的例子为起点来讲述如何在Zeppelin中使用Flink。

https://static001.geekbang.org/infoq/f9/f9c8f332de34ac7fa93efb701317ea22.png?x-oss-process=image/resize,w_416,h_234

Flink 与 Hive 的磨合期

用户头像
Apache Flink 2020 年 5 月 20 日

有不少读者反馈,参考上篇文章《Hive 终于等来了 Flink》部署 Flink 并集成 Hive 时,出现一些 bug 以及兼容性等问题。虽已等来,却未可用。所以笔者增加了这一篇文章,作为姊妹篇。

https://static001.geekbang.org/infoq/92/92cc0c80fb7de5936f4e663001747353.jpeg?x-oss-process=image/resize,w_416,h_234

Flink 1.10 Container 环境实战

用户头像
Apache Flink 2020 年 6 月 10 日

简介: 本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8S 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享,

https://static001.geekbang.org/infoq/d4/d45f3abca311e9b6d0255ea5b78bf70d.png?x-oss-process=image/resize,w_416,h_234

如何从 0 到 1 参与 Flink 社区?

用户头像
Apache Flink 2020 年 6 月 10 日

简介: 本文首先介绍为何要参与开源社区以及在参与开源社区的过程中需要注意什么,然后重点介绍如何参与 Flink 社区以及在社区里面提交 PR 的整个流程。

PyFlink + 区块链?揭秘行业领头企业 BTC.com 如何实现实时计算

用户头像
Apache Flink 2020 年 10 月 9 日

PyFlink + 区块链?揭秘行业领头企业 BTC.com 如何实现实时计算

https://static001.geekbang.org/infoq/6b/6ba8fdd79643b2383b9b3658d1756d32.jpeg?x-oss-process=image/resize,w_416,h_234

大数据架构 & 数据应用 / 分析 & 机器学习 (二)

用户头像
dony.zhang 2020 年 9 月 9 日

随着近年来,信息技术迅猛发展,通过各种终端设备收集大量数据。可通过对这些数据进行分析、挖掘、机器学习,实现个性化营销、智能推荐等应用场景,为公司挖掘更多的商业价值,为用户带来更好的体验。

数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验

用户头像
Apache Flink 2020 年 8 月 6 日

在本篇文章中我们将对 RocksDB、Heap 和 Gemini 在相同场景下进行压测,并对其资源消耗进行对比。测试的 Flink 内核版本为 1.10.0。

Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略

用户头像
Apache Flink 2020 年 9 月 1 日

Flink SQL 的 FileSystem Connector 为了与 Flink-Hive 集成的大环境适配,做了很多改进,而其中最为明显的就是分区提交(partition commit)机制。

https://static001.geekbang.org/infoq/e2/e26e85f82db0998a6979bfc7e67e99d3.png?x-oss-process=image/resize,w_416,h_234

Flink 1.10 细粒度资源管理解析

用户头像
Apache Flink 2020 年 5 月 12 日

对于作业规模不大的普通用户而言,这些通常在可以接受的范围之内

Nexmark: 如何设计一个流计算基准测试?

用户头像
Apache Flink 2020 年 9 月 30 日

如何选择适合自己业务的流计算引擎?除了比较各自的功能矩阵外,基准测试(benchmark)便是用来评估系统性能的一个重要和常见的方法。

https://static001.geekbang.org/infoq/e3/e3634a2979d547db3c9a961af33c2b87.png?x-oss-process=image/resize,w_416,h_234

Flink on Zeppelin (2) - Batch 篇

用户头像
章剑锋_Jeff 2020 年 6 月 15 日

 在Flink on Zeppelin 入门篇 中我们讲述了如何配置Zeppelin + Flink来运行一个最简单的WordCount例子。本文将讲述如何使用Flink SQL + UDF来做Batch ETL和BI数据分析的任务。

源码解析 | 万字长文详解 Flink 中的 CopyOnWriteStateTable

用户头像
Apache Flink 2020 年 8 月 26 日

现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap。

https://static001.geekbang.org/infoq/55/55f075b43ca386167387fd058942e2b8.png?x-oss-process=image/resize,w_416,h_234

Pulsar Flink Connector 2.5.0 正式发布

用户头像
Apache Pulsar 2020 年 9 月 11 日

经过不断地努力,社区成功发布 Pulsar Flink Connector 2.5.0 版本。Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。

https://static001.geekbang.org/infoq/05/05382cc98f8f853cf564ab4b068212a7.png?x-oss-process=image/resize,w_416,h_234

这场大数据 +AI Meetup,一次性安排了大数据当下热门话题

用户头像
Apache Flink 2020 年 6 月 3 日

简介: 6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

https://static001.geekbang.org/infoq/c7/c7525390a22e8d2c3661e9b63dcd4ffc.png?x-oss-process=image/resize,w_416,h_234

这场大数据 +AI Meetup,一次性安排了大数据当下热门话题

用户头像
Apache Flink 2020 年 5 月 29 日

简介: 6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

https://static001.geekbang.org/infoq/e3/e3634a2979d547db3c9a961af33c2b87.png?x-oss-process=image/resize,w_416,h_234

Apache Zeppelin:可能是开源届最好的 Flink 开发平台

用户头像
章剑锋_Jeff 2020 年 6 月 23 日

最近做了一系列Flink on Zeppelin的视频教程,整理出来分享在公众号上,希望对大家有所帮助。下面是大纲:

https://static001.geekbang.org/infoq/7e/7e5aa4ca2f6b7170f01839ed8eea5162.jpeg?x-oss-process=image/resize,w_416,h_234

都在说实时数据架构,你了解多少?

用户头像
Apache Flink 2020 年 4 月 29 日

简介: 本文从上述现状及实时数据需求出发,结合工业界案例、笔者的实时数据开发经验, 梳理总结了实时数据体系建设的总体方案。

https://static001.geekbang.org/infoq/cf/cf336382e6a67f45a3e6bb7118aec0de.png?x-oss-process=image/resize,w_416,h_234

Flink 在快手实时多维分析场景的应用

用户头像
Apache Flink 2020 年 6 月 18 日

简介: 作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。

https://static001.geekbang.org/infoq/6b/6b0c307d56ecdc4176f25ddf7523b06e.jpeg?x-oss-process=image/resize,w_416,h_234

免费下载 | 阿里云实时计算整体解决方案白皮书重磅发布!

用户头像
Apache Flink 2020 年 6 月 18 日

简介: 为更好的助力各行各业实现企业数字化转型,为企业的创新、重构核心竞争力提供坚实支撑;阿里云实时计算重磅推出金融、物流、IoT、广告等行业整体解决方案白皮书。

王者荣耀背后的实时大数据平台用了什么黑科技?

用户头像
Apache Flink 2020 年 9 月 20 日

今天分享的主题是《基于 Flink+ServiceMesh 的腾讯游戏大数据服务应用实践》

flink_flink资料文章-InfoQ写作平台