写点什么

流式计算

0 人感兴趣 · 6 次引用

  • 最新
  • 推荐

介绍一下我们的开源“充电之旅” - 两位新晋 Apache Flink Committer 专访

本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于2023年7月正式受邀成为 Apache Flink Committer。

开源 XL-LightHouse 与 Flink、ClickHouse 之类技术相比有什么优势

用户头像
feng
08-16

Flink是一款非常优秀的流式计算框架,而ClickHouse是一款非常优秀的OLAP类引擎,它们是各自所处领域的佼佼者,这一点是毋庸置疑的。Flink除了各种流式计算场景外也必然可以用于流式统计,ClickHouse同样也可以用于流式统计,但我不认为它们是优秀的流式统计工

不用再写 FlinkSQL 了,使用开源 XL-LightHouse 轻松实现海量数据实时统计

用户头像
feng
08-01

XL-LightHouse是针对互联网领域繁杂的流式数据统计需求而开发的一套集成了数据写入、数据运算、数据存储和数据可视化等一系列功能,支持大数据量,支持高并发的【通用型流式大数据统计平台】;

https://static001.geekbang.org/infoq/e0/e0245f9b81c4234dc785ebf164b966be.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

eKuiper 1.8.0 发布:零代码实现图像 / 视频流的实时 AI 推理

新版本提供了Tensor Flow Lite函数插件,用于在流式计算和视频流中进行实时AI推理。

https://static001.geekbang.org/infoq/78/7848b6cbf3db627b0944debf8a95a7f7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

流式计算引擎对比

基于行的Storm和基于微批处理的Spark Streaming。我们将从编程模型、一致性语义、编程语言、吞吐率与延迟等方面进行对比。

https://static001.geekbang.org/infoq/6f/6f0abc4a9c5f9931508a0dd563491f5c.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

流式计算常见的开源实现

当前比较主流的流式数据线(Data Pipeline)共分为四个阶段。

流式计算_流式计算技术文章_InfoQ写作社区