写点什么

数据湖

1 人感兴趣 · 39 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/ef/efdcaf376241f6b0877a038d7cb44593.png?x-oss-process=image/resize,w_416,h_234

新一代数仓架构 -Snowflake 弹性数仓

用户头像
一弦思华年6 月 19 日

随着企业数字化深入推进,企业对云的应用程度也越来越深,对数据仓库的需求进一步发生了变化,推动了第四代数据仓库——以Snowflake为代表的“云原生数据仓库”的崛起。本文是基于国外论文snowflake数仓(The Snowflake Elastic Data Warehouse)翻译。

解密华为云 FusionInsight MRS 新特性:一架构三湖

​​​​​​【本期推荐专题】物联网从业人员必读:华为云专家为你详细解读LiteOS各模块开发及其实现原理。

https://static001.geekbang.org/infoq/40/404a3057bfc6bd6a0ea14c8e63635cd9.webp?x-oss-process=image/resize,w_416,h_234

数据湖 vs 数据仓库 vs 数据集市

用户头像
数据社5 月 24 日

数据湖、数据仓库、数据集市,这三个概念都是干什么的,有什么区别呢?这边文章可以为你解释下他们的异同。

跨湖跨仓场景下如何实现海量数据分钟级分析

​​摘要:华为开发者大会2021(Cloud)大会期间,华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博,分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。

华为云 FusionInsight MRS:千余节点滚动升级业务无中断

​​​​摘要:滚动升级作为大集群数据底座的必备能力,能够完美解决了传统大数据平台操作繁琐、业务停机、升级成本高等问题,实现一个架构的持续演进,业务无中断。

FusionInsight MRS:你的大数据“管家”

​​​​摘要:4月24日-26日,HDC.Cloud2021在深圳大学城成功举办,华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案,为政企客户提供湖仓一体、云原生的大数据解决方案,一个架构可构建3种数据湖:离线数据湖、实时数据湖、逻辑数据湖,更有

释放千行百业数据价值,华为云 DAYU 有一套

​​​​摘要: 结合数字化转型中行业面临的挑战及产品解决方案解读数据使能服务DAYU。

https://static001.geekbang.org/infoq/1a/1ad11083cb66cc4b455ff1e5a11bb382.png?x-oss-process=image/resize,w_416,h_234

Apache Iceberg 学习日志

用户头像
InfoQ_Springup3 月 30 日

【数据湖】【Iceberg学习分享】

https://static001.geekbang.org/infoq/7a/7a53b17d9643f8ce0ca2f57725f7c028.jpeg?x-oss-process=image/resize,w_416,h_234

云端数智新引擎,腾讯云原生数据湖计算重磅发布

用户头像
小小的一朵云3 月 26 日

敏捷高效、开箱即用、成本最优,云端数据湖家族上新

畅想数据湖

用户头像
数据社3 月 24 日

大家好,我是一哥,周末有读者私聊我咨询了一些问题,遂想起了之前看过的一些关于数据湖的知识,下面是基于之前的所见和自己的思考而成文。

https://static001.geekbang.org/infoq/42/426edc4e1a2b3d0d4d80f82dc929336e.jpeg?x-oss-process=image/resize,w_416,h_234

数据湖到底是什么?有什么用?这篇文章告诉你

数据湖作为最近两年兴起的热点概念,各大互联网公司都在对其研究和探索。本文参考了阿里、腾讯和网易等公司的一些资料,将告诉你数据湖到底是什么?有什么用?

华为云 FusionInsight 助力宇宙行打造金融数据湖新标杆

摘要:工行采用了华为云FusionInsight MRS大数据存算分离方案,实现了大数据平台与OBS对象存储服务的对接,将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下,实现了计算与存储独立按需扩容,轻松应对业务浪涌,提升资源整体利用率。

https://static001.geekbang.org/infoq/36/365d5f5fc1a26a47c21c83b226becbbc.png?x-oss-process=image/resize,w_416,h_234

我看好数据湖的未来,但不看好数据湖的现在

用户头像
王知无1 月 31 日

原文链接:我看好数据湖的未来,但不看好数据湖的现在

「顺畅不卡顿」,看华为云如何修炼音视频“内外功”

摘要:云原生时代,视频直播、实时音视频通信等在线音视频服务面临各种复杂的网络环境和流量爆发式的增长,对音视频质量监控和成本优化提出新的严峻挑战。

https://static001.geekbang.org/infoq/f3/f35ed138ef54ce6903e2b2db994c216e.jpeg?x-oss-process=image/resize,w_416,h_234

附 PPT 丨 AWS 基于数据湖构建云上的数据分析架构

用户头像
dbaplus社群2020 年 12 月 23 日

如今很多企业都加大投资力度拥抱新技术,不断加入新的技术人员、使用新的技术,但还是会遇到很多问题。

《华为数据之道》读书笔记:第 1 章 数据驱动的企业数字化转型

用户头像
方志2020 年 11 月 24 日

《华为数据之道》读书笔记:第一章 数据驱动的企业数字化转型。

再拔头筹,FusionInsight 为华为云大数据打造硬实力

用户头像
华为云开发者社区2020 年 11 月 12 日

摘要:在IDC2020大数据报告中,有云服务厂商、传统ICT 厂商,以及大数据时代的创企等三类“玩家”,为何华为云能够脱颖而出?

网易:Flink + Iceberg 数据湖探索与实践

用户头像
Apache Flink2020 年 10 月 23 日

今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。

有了数据湖探索服务,企业决策“新”中有数

用户头像
华为云开发者社区2020 年 9 月 19 日

摘要:全托管Serverless服务DLI就像是我们日常使用的滴滴共享打车,我们不再需要为购买和保养私家车而支出固定成本。

大数据管理:构建数据自己的“独门独院”

用户头像
华为云开发者社区2020 年 9 月 7 日

摘要:海量数据浪涌促成大数据集群不断升级扩容,为减少数据搬迁、避免跨集群用数,大集群出现是发展的必然。

银行大数据新玩法,构建“一湖两库”金融数据湖

用户头像
华为云开发者社区2020 年 8 月 31 日

摘要:烟囱式的数据平台建设导致“数据孤岛”,“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。

https://static001.geekbang.org/infoq/b7/b7d6089e468c590996a26f9b0afa1657.png?x-oss-process=image/resize,w_416,h_234

Ray 分布式计算框架详解

用户头像
lipi2020 年 8 月 30 日

Ray 是 UC Berkeley RISELab 出品的分布式框架。为了应对 增强学习对大数据集实时计算的需求。 Ray 底层对于分布式计算的优化。尤其是采用了 Apache Arrow 的 plasma 内存数据架构性能非常优秀,Ray 的衍生项目 Modin 针对 Pandas 做了优化。值得深入研究。

微服务架构下,DLI 的部署和运维有何奥秘?

用户头像
华为云开发者社区2020 年 8 月 28 日

摘要:探讨DLI两个问题:如何在生产环境中部署与运维实现快速迭代上线,如何实现监控告警来提升整体运维能力。

数据隔离、访问授权,用好大数据为什么这么难?

用户头像
华为云开发者社区2020 年 8 月 27 日

摘要:如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。

技术揭秘:华为云 DLI 背后的核心计算引擎

用户头像
华为云开发者社区2020 年 8 月 27 日

摘要:介绍隐藏在华为云数据湖探索服务背后的核心计算引擎Spark,玩转DLI,,轻松完成大数据的分析处理。

3.7 亿条保单数据怎么分析?这个大数据平台有绝招

用户头像
华为云开发者社区2020 年 8 月 25 日

受到新冠疫情影响,全球经济面临冲击,国内经济已进入复工复产有序发展的新常态阶段,企业想要实现持续增长需另寻突破点,越来越多的企业把视线转向了企业内部,希望通过推进精细化管理来实现降本增效。

数据平台、大数据平台、数据中台……你确定能分得清吗?

用户头像
华为云开发者社区2020 年 8 月 13 日

造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词、新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏、各有趣味。近年来,数据中台之火爆,什么数据平台、数据中台、数据湖、数据集市等等,不同的叫法把大家绕的云里雾

数据湖_数据湖资料文章-InfoQ写作平台