写点什么

实时数仓

0 人感兴趣 · 10 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/a7/a764eab613e230e7cb99074cac628bf8.png?x-oss-process=image/resize,w_416,h_234

Flink 集成 hive 测试及生产规划

用户头像
一弦思华年6 月 20 日

Flink在1.10开始,Flink对catalog模块进行了重构,能够兼容hive的catalog,并与之打通。作为离线计算的经久不衰的Hive组件,使用扮演着开源离线领域数仓的基础,很多公司的离线数仓都是以Hdfs,Yarn,Hive为基础建设起来的。

Flink+Clickhouse 构建实时数仓的最佳实践

用户头像
Wping5 月 13 日

Flink和ClickHouse分别是实时计算和(近实时)OLAP领域的翘楚,也是近些年非常火爆的开源框架,在实际中将两者结合使用来构建各种用途的实时平台,也取得了很好的效果。

https://static001.geekbang.org/infoq/eb/eb7e654c7c4fa53a62f16a3873730186.png?x-oss-process=image/resize,w_416,h_234

实时数据仓库的发展、架构和趋势

用户头像
网易数帆4 月 2 日

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀,业界最近几年就一直聚焦并探索于两个相关的热点问题:实时数仓建设和大数据架构的批流一体建设。

https://static001.geekbang.org/infoq/9d/9d77f0549262a20c7a516b2ec09558a8.png?x-oss-process=image/resize,w_416,h_234

爱奇艺大数据生态的实时化建设

本文节选自Flink Forward 2020分享《爱奇艺实时大数据生态的演进》

https://static001.geekbang.org/infoq/42/426edc4e1a2b3d0d4d80f82dc929336e.jpeg?x-oss-process=image/resize,w_416,h_234

数据湖到底是什么?有什么用?这篇文章告诉你

数据湖作为最近两年兴起的热点概念,各大互联网公司都在对其研究和探索。本文参考了阿里、腾讯和网易等公司的一些资料,将告诉你数据湖到底是什么?有什么用?

https://static001.geekbang.org/infoq/6a/6a7ef4959c449bb44b6f2d1b694aa025.jpeg?x-oss-process=image/resize,w_416,h_234

实时数仓|架构设计与技术选型

用户头像
大数据老哥1 月 17 日

当我们做一个项目时往往都需要选择该用什么技术。这一部分不是我们普通员工想的,而是架构师会根据客户的需求选择出合适的技术。当选择合适的技术会让我们的开发事半功倍。下面我就来讲解下我做的项目(实时数仓)是如何进行选型的。

https://static001.geekbang.org/infoq/1a/1adddf040afbb60369800d9ea2dc496f.jpeg?x-oss-process=image/resize,w_416,h_234

一文带你快速入门 Canal,看这篇就够了!

用户头像
大数据老哥1 月 12 日

我们在做实时数仓时数据往往都是保存到数据库中例如MySQL,当有一条数据新增或修改需要马上将数据同步到kafka中或其他的数据库中,这时候我们需要借助阿里开源出来的Canal,来实现我们功能。

https://static001.geekbang.org/infoq/b5/b5988f49fbb6c01dd16f7202ae4400bd.jpeg?x-oss-process=image/resize,w_416,h_234

美团外卖实时数仓建设实践

用户头像
DorisDB2020 年 10 月 15 日

本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。

hive 拉链表优化·百亿量级数据支持准实时更新

用户头像
誓约·追光者2020 年 8 月 12 日

通过hive sql实现百亿量级数据的准实时更新,保证数据强一致性,改动极小,对上下游没有任何影响

https://static001.geekbang.org/infoq/5a/5a36e9d6b0e069eec8c8140df6c6e718.png?x-oss-process=image/resize,w_416,h_234

什么是实时数仓,与离线数仓的区别是什么?

用户头像
程序员小陶2020 年 5 月 12 日

今天主要聊聊离线数仓和实时数仓的区别。

实时数仓_实时数仓资料文章-InfoQ写作平台