写点什么

实时数仓

1 人感兴趣 · 49 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/3a/3a524395fcfe0cb33deaf4893956a467.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

倒计时 2 天!本周六,Apache Doris 年度技术盛会相约北京!

倒计时 2 天!Apache Doris 首届线下峰会将于 2023 年 10 月 21 日在北京丽亭华苑酒店召开。欢迎你来报名!

https://static001.geekbang.org/infoq/34/34edc09b72d35064c779ce1a3fd0ad56.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

峰会倒计时 3 天!互联网与文娱论坛演讲亮点预告!

2023 年 10 月 21 日,首届线下峰会 Doris Summit Asia 2023 将在北京丽亭华苑酒店正式举行,线下峰会已进入 3 天倒计时 !仅剩少量入场名额,报名从速!

https://static001.geekbang.org/infoq/90/907bf5bad92f0a8ea253d458ad4d1de1.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

即刻报名,企业服务与新经济论坛亮点提前揭秘!

2023 年 10 月 21 日,首届线下峰会 Doris Summit Asia 2023 将在北京丽亭华苑酒店正式举行,线下峰会已进入 3 天倒计时 !仅剩少量入场名额,报名从速!

驱动数字化转型,Doris Summit Asia 2023 智慧金融与政企论坛精彩预告!

2023 年 10 月 21 日,首届线下峰会 Doris Summit Asia 2023 将在北京丽亭华苑酒店正式举行,大会将设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱 4 个平行论坛,欢迎来报名!

https://static001.geekbang.org/infoq/e2/e25baa115e7032def4e1339868949cdf.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Apache Doris 2.0.2 版本正式发布!

亲爱的社区小伙伴们,Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布,该版本对多个功能进行了更新优化,旨在更好地满足用户的需求。

Apache Doris 在小鹅通的应用实践

本文将详细介绍小鹅通直播数据分析平台的优化过程,分享小鹅通基于 Apache Doris 优化写入与查询性能、完善用户标签功能和保障平台稳定性等实践经验,为商家提供了更精细化的用户经营支持。

与创新者同行!Apache Doris 首届线下峰会即将开启,最新议程公开!|即刻预约

时代的洪流滚滚向前,我们也期待能与更多的创新者携手,共同为数据世界带来些改变,这也是我们今年 Doris Summit Asia 2023 的主题——“与创新者同行”。

https://static001.geekbang.org/infoq/16/16fc82779fad0738c8828cec361a690d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

ByConity 技术详解之 ELT

ByConity 作为云原生数据仓库,从0.2.0版本开始逐步支持 Extract-Load-Transform (ELT),使用户免于维护多套异构数据系统。本文将介绍 ByConity 在ELT方面的能力规划,实现原理和使用方式等。

https://static001.geekbang.org/infoq/82/823b4c8b01f0da6dfabb3cd9824d8158.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

实时数仓混沌演练实践

实时数仓业务侧的混沌演练,从0到1,在经过一系列的探索实践后,通过主备链路比对方式,演练期间对于异常波动的指标,可以快速识别感知,从演练结果上,取得了不错的成效,但也存在一定的局限性。

https://static001.geekbang.org/infoq/86/86d8fd7875ef6b8c000def4c593247f2.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

高效构建实时数仓:探秘 NineData 数据复制技术

8月30日,由 NineData 和 SelectDB 共同举办的主题为“实时数据驱动,引领企业智能化数据管理”的线上联合发布会,圆满成功举办!双方聚焦于实时数据仓库技术和数据开发能力,展示如何通过强大的生态开发兼容性,对接丰富的大数据生态产品,助力企业快速开展

https://static001.geekbang.org/infoq/39/3946843218da529f4c18b1b232d24348.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

NineData X SelectDB 联合发布会,8 月 30 日即将上线!

NineData和SelectDB即将联合举办线上发布会,主题为“实时数据驱动,引领企业智能化数据管理”。玖章算术技术副总裁陈长城将介绍NineData的产品架构和数据复制技术,以及它在实时数仓构建方面的优势。

Kafka 实时数据即席查询应用与实践

Kafka中的实时数据是以Topic的概念进行分类存储,而Topic的数据是有一定时效性的,比如保存24小时、36小时、48小时等。而在定位一些实时数据的Case时,如果没有对实时数据进行历史归档,在排查问题时,没有日志追述,会很难定位是哪个环节的问题。

https://static001.geekbang.org/infoq/b9/b9a6e865fa6423e672281fe5e2edc90c.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)

近日,《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程,首次详细展现ByteHouse的整体架构设计及自研核心技术,为云原生数据仓库发展,及企业数字化转型实战运用提供最新的参考和启迪。

如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓

随着大数据应用的不断深入,企业不再满足离线数据加工计算的时效,实时数据需求已成为数据应用新常态。伴随着实时分析需求的不断膨胀,传统的数据架构面临的成本高、实时性无法保证、组件繁冗、运维难度高等问题日益凸显。为了适应业务快速迭代的特点,帮助企

https://static001.geekbang.org/infoq/69/69f4d64513ba763676de28c4beee09c1.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

Tapdata Connector 实用指南:实时数仓场景之数据实时同步至 ClickHouse

用户头像
tapdata
02-24

如今,数据正以极大量级、极细颗粒度、极高时效性、极智能方式影响着企业运作,为了从海量数据中获取有价值的洞察,基于 ClickHouse 的实时数仓方案开始成为很多企业的选择。本文将演示如何快速将数据向 ClickHouse 同步。

DawnSql 超越传统数据仓库

用户头像
陈飞
02-17

当前数据仓库的主流架构:分为两个方向一个是 hadoop 体系,一个是 MPP 数据库。DawnSql 做为新的开源分布式数据库,在构建离线数据仓库和实时数据仓库上面是优于传统数据仓库的。

https://static001.geekbang.org/infoq/81/81b0befb8e37fe82b8086e2876ba42f9.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

明天 9 点!Doris Summit 2022 拉开序幕,立即报名年度技术盛会!

数据是数字经济时代的基础性资源和战略性资源,也是重要的生产力。

https://static001.geekbang.org/infoq/3a/3aec66f65437fd08eabc551235390736.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

CDC ChangeLog Stream 实时流入 CLICKHOUSE 最佳姿势

用户头像
水滴
2022-10-25

通过batch option 可以支持攒批写入,避免频繁写入造成的性能下降问题;同时通过batchTime option兼顾数据实时性 将Flink的Retract Stream(回撤流)、Upsert Stream(更新-插入流)含有状态标记的数据流,写入到ClickHouse的 CollapsingMergeTree引擎表中。

https://static001.geekbang.org/infoq/05/0556194d79ed1862baa63378a7c7e3f7.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

对比传统数据仓库,实时数仓的四大优势

用户头像
雨果
2022-10-08

一,具有实时数据获取感知能力,可快速捕捉到数据和数据变化,能够进行数据的实时计算加工等。

https://static001.geekbang.org/infoq/8c/8cf1c49825e39c760098dcbd902a6f5d.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

实时数仓、湖仓一体、流批一体有什么区别

用户头像
雨果
2022-10-07

数据仓库概念兴起于上世纪90年代,随着IT系统的大发展, 人们发现应用系统越来越多, 但是对于经营决策的问题, 反而越来越难以获取准确的决策信息。

https://static001.geekbang.org/infoq/62/629b9e2275f0b3188b52b0a56af85138.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

clickhouse 准实时数仓能力探索

用户头像
水滴
2022-10-06

通过实践结果对clickhouse作为准实时数仓能力进行总结 数据复用性:通过对数据分层与clickhosue提供的MATERIALIZED view 能力,可以解决数据重复建设,提高数据复用性,同时简化数据处理(不用配置与维护任务调度)。

https://static001.geekbang.org/infoq/ce/cec801c600eabe7873a8bf32a088f297.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

个推 TechDay 直播回顾 | 分享基于 Flink 的实时数仓搭建秘诀 附课件下载

用户头像
个推
2022-09-05

近日,个推TechDay“治数训练营”系列直播课第二期举办。来自每日互动(个推)的资深数据研发工程师为大家详细解读了实时数仓架构演进,分享了实时数仓的技术选型要点,并结合实战案例详细剖析实时数仓搭建秘诀。

https://static001.geekbang.org/infoq/d8/d82e4f1b8420b6322839645ba6a02fff.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

实时数仓 Workshop · 广州站 9.15 邀您参加!

用户头像
Apache Flink
2022-08-26

9月15日,聚焦 Flink + Hologres 实时数仓在数据链路中扮演的角色与在智能商业中的重要价值。

https://static001.geekbang.org/infoq/cb/cb7311f39dca800d1e36f0d37f0e6da7.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

阿里云实时计算 Flink 版 x Hologres: 构建企业级一站式实时数仓

用户头像
Apache Flink
2022-08-26

阿里云 Flink、阿里云 Hologres 构建实时数仓上所具备的核心能力以及二者结合的最佳解决方案。

实时数仓_实时数仓技术文章_InfoQ写作社区