阿里云开源大数据平台 EMR 全面升级 性能最高可提升 6 倍

12 月 27 日,阿里云正式发布云原生开源大数据平台 EMR 2.0，升级后的开源大数据平台在成本持平的情况下，扩缩容性能最高可提升 6 倍。

据悉，阿里云 EMR2.0 为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验，通过 EMR Doctor 健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级，预估运维成本可降低 20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。

EMR2.0与EMR1.0弹性扩容速度对比

云原生趋势下，开源大数据处于重构之中，以 Hadoop 为核心的开源大数据体系，开始转变为多元化技术并行发展。阿里云 EMR 产品负责人何源介绍， 阿里云 EMR 于 2009 年开始服务阿里巴巴集团内部客户，2016 年将过往的技术能力产品化开放，为客户提供商业化服务。作为开源大数据领域的引领产品，EMR 2.0 通过云原生能力重构平台层、数据层、计算层，满足数千客户流处理、数据可视化、交互式分析、数据湖等多场景需求，重新定义了新一代开源大数据平台。为客户构建新一代开源大数据基础设施。

EMR 2.0产品架构图

客户基于 EMR2.0 平台可实现更加低成本、高效率、智能化的大数据集群管控和应用开发。通过使用抢占式实例，生产实证最多可降低百分之八十以上的成本。开启故障实例自动补偿，在全场景集群下，稳定性可以提高 1 个 9。全新发布的 EMR Doctor，通过健康检查服务的集群日报功能，查看集群是否存在资源浪费；通过任务评分倒排 Top N，找到资源浪费最多的作业进行优化；通过持续优化，帮助客户最大化利用资源，避免浪费。同时，还可以帮助客户提前发现一些风险并进行处理。EMR Studio，提供 Notebook 和 Workflow 服务。全托管 Notebook，兼容 用户 Jupyter 使用习惯，可以无缝对接 EMR 各计算、存储引擎，进行交互式的大数据开发和调试，已经开发和调试完的作业可以加入 Workflow 工作流里进行调度和上线。此外 EMR Studio 的 Workflow 服务也还支持 Flink 等的作业。

2022 年 6 月，阿里云 EMR 联合 OSS、 DLF、DataWorks 等构建的云原生数据湖产品方案通过信通院评测认证，是国内首批且唯一满分的产品方案，该方案为用户提供“全托管湖存储、全面湖加速、统一湖管理、多模态湖计算和智能湖治理”等全面数据湖能力。（国内首批！阿里云云原生数据湖产品通过信通院评测认证）

国内知名广告营销服务商汇量科技已使用 EMR 产品 4 年。在业务快速增长的大好形势下，汇量科技面临越来越多的困扰：如数据来源复杂、数据量大、数据维度多、实时运营业务秒级数据新鲜度需求等业务需求；本次升级后，汇量科技在素材平台、热力引擎等业务的大数据平台搭建上，数据同步和及查询效率有数倍提升，系统稳定性显著提升，未再出现之前 cpu、mem、io 负载高等情况。

随着阿里云 EMR2.0 的发布，阿里云 EMR 将技术引领优势，转化为云上产品服务能力。重新定义的新一代 EMR 产品，将为各行业广大客户构建开源大数据平台提供最扎实的基座保障。