重磅发布！阿里云全链路数据湖开发治理解决方案

2022 年 8 月 17 日
浙江
本文字数：3555 字
阅读完需：约 12 分钟

阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台 E-MapReduce(EMR)+ 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS 等核心产品。

近日，阿里云 EMR 重磅推出新版数据湖 Datalake，100%兼容社区大数据开源组件，具备极强的弹性能力，支持数据湖构建 DLF，数据湖存储 OSS 和 OSS-HDFS，支持 Delta Lake、Hudi、Iceberg 三种湖格式。同时新版本 Datalake 对接阿里云一站式大数据开发治理平台 DataWorks，沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。

另外，解决方案提供了“统一元数据管理、数据入湖、数据存储、缓存加速、弹性计算、容器、数据分析、任务编排、运维管理，以及安全”等全面数据湖能力。通过了工业和信息化部中国信息通信研究院大数据能力专项评测，荣获“云原生数据湖基础能力专项评测证书”。

阿里云全链路数据湖开发治理解决方案架构

阿里云全链路数据湖开发治理解决方案使用 OSS/OSS–HDFS 作为数据湖存储，DLF 作为数据湖构建和管理工具，JindoFS 进行湖缓存加速，EMR 作为弹性计算引擎进行湖计算，DataWorks 进行数据开发和治理。DataWorks 各模块与 DataLake 深度集成，从而实现一站式数据湖开发治理。

EMR新版数据湖集群

核心运维管控能力介绍

弹性能力

弹性伸缩支持按集群负载和按时间 2 种模式
弹性伸缩组支持多种实例规格
支持抢占式实例（相较按量付费成本降低 80%以上）
支持成本优化模式（弹性比例的按量付费+包年包月）

集群管控能力

分钟级别创建和扩容集群，无需手动部署和启动服务
完善的集群监控和告警体系，覆盖硬件和引擎服务，支持配置告警模板

新版数据湖对比 Hadoop 集群优势

性能更优

速度加快

新版数据湖集群节点组扩容速度得到明显提升，单批次大规模节点扩容速度提升 80%

支持并发

支持任务节点（task 节点类型）多节点组并行扩缩容，能够覆盖多种使用场景，业务效率成倍提升。

功能更全

伸缩能力更强大

可以同时配置按时间伸缩和按负载伸缩。支持优先下线负载低的节点。配置规则不依赖于是否运行弹性伸缩活动，可灵活修改配置（仅影响下一次触发）。

执行逻辑更贴近使用场景

多方位调研用户真实使用场景，功能执行逻辑设计更贴近业务实际。如：

1）弹性伸缩扩容策略支持多实例选择并按顺序弹出（兜底库存不足场景），弹性伸缩缩容支持配置优雅下线并默认按负载选择目标节点下线（减少缩容时对集群任务影响）

2）同一节点组多个弹性规则同时触发时，默认按照用户规则排序依次生效（灵活应对多种使用场景）

操作体验优化

更丰富的配置提示和操作引导，并新增配置项预校验逻辑，降低用户学习成本和操作失败概率。

成本更省

弹性伸缩性能更优，功能覆盖更广泛的场景

弹性伸缩生效更快，支持功能更全。可以帮助用户更快更好地对硬件资源进行敏捷管理，根据业务需要设置相关策略，自动变更集群规模，减少硬件资源浪费。

通过灵活配置抢占式实例进一步压缩成本

在新增节点组时，提供完善的抢占式实例配置策略和兜底策略供用户配置，用户可以根据其业务诉求灵活配置，通过配置抢占式实例能够进一步压缩成本。

与 Hadoop 集群全面对比

DataWorks全链路开发治理能力介绍

DataWorks 基于 EMR-Datalake、EMR-ClickHouse、CDP 等大数据引擎，为数据湖/数据仓库/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者，DataWorks 从 2009 年起不断沉淀阿里巴巴大数据建设方法论，通过智能数据建模、全域数据集成、高效数据开发、主动数据治理（数据质量、数据地图等）、全面数据安全、快速分析服务六大全链路数据治理的能力，与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。

智能数据建模

DataWorks 智能数据建模沉淀阿里巴巴数据中台建模方法论，以维度建模为基础，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让数据仓库的建设向规范化，可持续发展方向演进。针对 Datalake 的智能数据建模能力将在 2022 年 8 月份正式发布。

全域数据集成

DataWorks 数据集成是开源 DataX 的商业化团队，在数据湖场景下支持 50+种数据源之间的离线同步，包含数据湖常见的 HDFS、Hive、HBase、OSS、Kafka 等数据源，MySql、Oracle、SQLServer 等数据库。同时，针对 IDC>>云上、云厂商>>云厂商、云产品>>云产品、云账号>>云账号等各种同步场景，提供网络连通的解决方案，让客户在复杂网络环境、丰富的异构数据源之间，依旧保持高速稳定的数据移动能力。

高效数据开发

DataWorks 数据开发（DataStudio）与运维中心面向 EMR-Datalake、EMR-CK、CDH 等引擎，提供可视化开发的主界面，赋予用户智能代码开发、多引擎混编工作流、规范化任务发布的强大能力，帮助用户轻松构建数据湖、离线数仓、实时数仓与即席分析系统，保证数据生产的高效与稳定。

数据开发-核心开发调度能力

支持 EMR Hive、EMR MR、EMR Spark SQL、EMR Spark、EMR shell、EMR Presto、EMR Impala、EMR Spark Streaming 共八种节点。
远超开源的超大规模调度稳定能力（双 11 单日千万级任务实例）
分钟/小时/天/周/月多种调度周期
业务流程全局参数/节点上下文传参