写点什么

数据湖

1 人感兴趣 · 33 次引用

  • 最新
  • 推荐

释放千行百业数据价值,华为云 DAYU 有一套

​​​​摘要: 结合数字化转型中行业面临的挑战及产品解决方案解读数据使能服务DAYU。

https://static001.geekbang.org/infoq/1a/1ad11083cb66cc4b455ff1e5a11bb382.png?x-oss-process=image/resize,w_416,h_234

Apache Iceberg 学习日志

用户头像
InfoQ_Springup3 月 30 日

【数据湖】【Iceberg学习分享】

https://static001.geekbang.org/infoq/7a/7a53b17d9643f8ce0ca2f57725f7c028.jpeg?x-oss-process=image/resize,w_416,h_234

云端数智新引擎,腾讯云原生数据湖计算重磅发布

用户头像
小小的一朵云3 月 26 日

敏捷高效、开箱即用、成本最优,云端数据湖家族上新

畅想数据湖

用户头像
数据社3 月 24 日

大家好,我是一哥,周末有读者私聊我咨询了一些问题,遂想起了之前看过的一些关于数据湖的知识,下面是基于之前的所见和自己的思考而成文。

https://static001.geekbang.org/infoq/42/426edc4e1a2b3d0d4d80f82dc929336e.jpeg?x-oss-process=image/resize,w_416,h_234

数据湖到底是什么?有什么用?这篇文章告诉你

数据湖作为最近两年兴起的热点概念,各大互联网公司都在对其研究和探索。本文参考了阿里、腾讯和网易等公司的一些资料,将告诉你数据湖到底是什么?有什么用?

华为云 FusionInsight 助力宇宙行打造金融数据湖新标杆

摘要:工行采用了华为云FusionInsight MRS大数据存算分离方案,实现了大数据平台与OBS对象存储服务的对接,将原有的HDFS数据无缝迁移到OBS上。在保证性能的前提下,实现了计算与存储独立按需扩容,轻松应对业务浪涌,提升资源整体利用率。

https://static001.geekbang.org/infoq/36/365d5f5fc1a26a47c21c83b226becbbc.png?x-oss-process=image/resize,w_416,h_234

我看好数据湖的未来,但不看好数据湖的现在

用户头像
王知无1 月 31 日

原文链接:我看好数据湖的未来,但不看好数据湖的现在

「顺畅不卡顿」,看华为云如何修炼音视频“内外功”

摘要:云原生时代,视频直播、实时音视频通信等在线音视频服务面临各种复杂的网络环境和流量爆发式的增长,对音视频质量监控和成本优化提出新的严峻挑战。

https://static001.geekbang.org/infoq/f3/f35ed138ef54ce6903e2b2db994c216e.jpeg?x-oss-process=image/resize,w_416,h_234

附 PPT 丨 AWS 基于数据湖构建云上的数据分析架构

用户头像
dbaplus社群2020 年 12 月 23 日

如今很多企业都加大投资力度拥抱新技术,不断加入新的技术人员、使用新的技术,但还是会遇到很多问题。

《华为数据之道》读书笔记:第 1 章 数据驱动的企业数字化转型

用户头像
方志2020 年 11 月 24 日

《华为数据之道》读书笔记:第一章 数据驱动的企业数字化转型。

再拔头筹,FusionInsight 为华为云大数据打造硬实力

用户头像
华为云开发者社区2020 年 11 月 12 日

摘要:在IDC2020大数据报告中,有云服务厂商、传统ICT 厂商,以及大数据时代的创企等三类“玩家”,为何华为云能够脱颖而出?

网易:Flink + Iceberg 数据湖探索与实践

用户头像
Apache Flink2020 年 10 月 23 日

今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。

有了数据湖探索服务,企业决策“新”中有数

用户头像
华为云开发者社区2020 年 9 月 19 日

摘要:全托管Serverless服务DLI就像是我们日常使用的滴滴共享打车,我们不再需要为购买和保养私家车而支出固定成本。

大数据管理:构建数据自己的“独门独院”

用户头像
华为云开发者社区2020 年 9 月 7 日

摘要:海量数据浪涌促成大数据集群不断升级扩容,为减少数据搬迁、避免跨集群用数,大集群出现是发展的必然。

银行大数据新玩法,构建“一湖两库”金融数据湖

用户头像
华为云开发者社区2020 年 8 月 31 日

摘要:烟囱式的数据平台建设导致“数据孤岛”,“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。

https://static001.geekbang.org/infoq/b7/b7d6089e468c590996a26f9b0afa1657.png?x-oss-process=image/resize,w_416,h_234

Ray 分布式计算框架详解

用户头像
lipi2020 年 8 月 30 日

Ray 是 UC Berkeley RISELab 出品的分布式框架。为了应对 增强学习对大数据集实时计算的需求。 Ray 底层对于分布式计算的优化。尤其是采用了 Apache Arrow 的 plasma 内存数据架构性能非常优秀,Ray 的衍生项目 Modin 针对 Pandas 做了优化。值得深入研究。

微服务架构下,DLI 的部署和运维有何奥秘?

用户头像
华为云开发者社区2020 年 8 月 28 日

摘要:探讨DLI两个问题:如何在生产环境中部署与运维实现快速迭代上线,如何实现监控告警来提升整体运维能力。

数据隔离、访问授权,用好大数据为什么这么难?

用户头像
华为云开发者社区2020 年 8 月 27 日

摘要:如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。

技术揭秘:华为云 DLI 背后的核心计算引擎

用户头像
华为云开发者社区2020 年 8 月 27 日

摘要:介绍隐藏在华为云数据湖探索服务背后的核心计算引擎Spark,玩转DLI,,轻松完成大数据的分析处理。

3.7 亿条保单数据怎么分析?这个大数据平台有绝招

用户头像
华为云开发者社区2020 年 8 月 25 日

受到新冠疫情影响,全球经济面临冲击,国内经济已进入复工复产有序发展的新常态阶段,企业想要实现持续增长需另寻突破点,越来越多的企业把视线转向了企业内部,希望通过推进精细化管理来实现降本增效。

数据平台、大数据平台、数据中台……你确定能分得清吗?

用户头像
华为云开发者社区2020 年 8 月 13 日

造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词、新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏、各有趣味。近年来,数据中台之火爆,什么数据平台、数据中台、数据湖、数据集市等等,不同的叫法把大家绕的云里雾

数据湖应用解析:Spark on Elasticsearch 一致性问题

用户头像
华为云开发者社区2020 年 7 月 21 日

摘要:脏数据对数据计算的正确性带来了很严重的影响。因此,我们需要探索一种方法,能够实现Spark写入Elasticsearch数据的可靠性与正确性。

GaussDB for DWS:内存自适应控制技术总结

用户头像
华为云开发者社区2020 年 7 月 15 日

在SQL语句复杂、处理数据量大的AP场景下,单个查询对内存的需求越来越大,多个语句的并发很容易将系统的内存吃满,造成内存不足的问题。为了应对这种问题,GaussDB for DWS引入了内存自适应控制的技术,在上述场景下能够对运行的作业进行内存级的管控,避免高

奈学:数据湖有哪些缺点?

用户头像
古月木易2020 年 6 月 28 日

数据湖本身是一个中心化的存储,能够存储任意规模的结构化与非结构化数据。数据湖相比数据仓库有很多的优势,但大多是在理想状态下的,一旦执行起来还有很多技术挑战。

奈学:数据湖有哪些缺点?

用户头像
奈学教育2020 年 6 月 28 日

数据湖本身是一个中心化的存储,能够存储任意规模的结构化与非结构化数据。数据湖相比数据仓库有很多的优势,但大多是在理想状态下的,一旦执行起来还有很多技术挑战。

奈学:数据湖和数据仓库的区别有哪些?

用户头像
古月木易2020 年 6 月 28 日

储存方面:数据湖中数据为非结构化的,所有数据都保持原始形式;存储所有数据,并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取,在将数据加载到数据仓库之前,会对数据进行清理与转换。

奈学:数据湖和数据仓库的区别有哪些?

用户头像
奈学教育2020 年 6 月 28 日

储存方面:数据湖中数据为非结构化的,所有数据都保持原始形式;存储所有数据,并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取,在将数据加载到数据仓库之前,会对数据进行清理与转换。

数据湖_数据湖资料文章-InfoQ写作平台