FusionInsight MRS：你的大数据“管家”

​​​​摘要：4 月 24 日-26 日，HDC.Cloud2021 在深圳大学城成功举办，华为云 FusionInsight MRS 云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建 3 种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。

本文分享自华为云社区《HDC.Cloud2021  一文回顾华为云FusionInsightMRS云原生数据湖亮点》，原文作者：沙漏。

2021 年 4 月 26 日，HDC.Cloud2021（华为开发者大会 2021）成功落下帷幕。本次大会，华为云 FusionInsight MRS 云原生数据湖带着“一架构三湖”的愿景与使命来到现场，与众多行业客户、合作伙伴、开发者一起，就如何在 5G、AI、IoT 高速发展的当下，用更好的技术创新，赋能千行百业等议题进行深入的探讨。下面，让我们一起再次重温本次活动的精彩瞬间。

数据使能展区华为云 FusionInsight MRS 云原生数据湖绽放光彩

华为云 FusionInsight MRS 一架“构”三湖

​

在数据使能展区，华为云 FusionInsight MRS 云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建 3 种数据湖：离线数据湖、实时数据湖、逻辑数据湖，支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数据仓库、数据接入和治理等大数据应用场景，使政企客户高效用数、简化用数，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快。

离线数据湖：HetuEngine 提供秒级交互式查询能力，数据不出湖，分析链路短，性能比 Impala 快 30%+，分析提效 10 倍+；DLC 提供统一的元数据，数据全局可视；HetuEngine 提供湖内统一 SQL 接口：HDFS、Hive、HBase、ES 等，简化用数。

实时数据湖：流处理 + Hudi 实现数据更新入湖，从 T+1 到 T+0；ClickHouse 提供毫秒级实时 OLAP 分析能力；Flink 提供 FlinkSQL 能力，批流 SQL 接口统一，实现流批一体。

逻辑数据湖：HetuEngine 提供跨湖、跨仓、跨云统一访问，减少数据搬迁，数据高效流动，全域数据秒级协同分析秒级响应，业务上线效率提升 10 倍，由周级缩短至天级。

华为云 FusionInsight MRS 践行产学研合作，全面推进大数据开源技术发展，联合清华大学发布了 IoTDB 时序引擎版本。目前华为云 FusionInsightMRS 已应用于 60 多个国家 3000+客户，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！

华为云 FusionInsight 技术生态工程师黄昊兮讲解实验

​

在华为云 FusionInsight MRS 云原生数据湖展台的一侧，设有开发者实操的沙箱实验室，华为云 FusionInsight 技术生态资深工程师黄昊兮，在现场为大家现身授教，讲述“使用 MRS Hudi 体验实时入湖、使用 MRS Clickhouse 体验实时 OLAP、使用 MRS HetuEngine 体验跨源跨域分析能力”三个实验，通过上手实操体验加深了解各组件的特性你，Hudi 能够支持数据增量更新，从传统 Append 到 Upsert，实现数据实时更新，数据价值释放从 T+1 转变为 T+0；Clickhouse 具备毫秒级的 OLAP 分析能力，实现数据分析不出湖，解决了传统数据冗余、来回搬迁的问题；HetuEngine 提供统一标准 SQL 对分布于多个地域（或数据中心）的多种数据源实现高效访问，屏蔽数据在结构、存储及地域上的差异，实现数据与应用的解耦。

华为云 FusionInsight MRS 云原生数据湖展区

​

展区不仅拥有华为云 FusionInsight MRS 云原生数据湖一架“构”三湖的特性，更有落地实际应用的沙箱体验，让观展嘉宾在获得大数据前沿技术的同时，收获一份上手操作的亲身体验。

名师大讲堂：畅谈新技术、新价值、新趋势

大会期间，由华为技术专家天团打造的《名师大讲堂》系列专题演讲，围绕云原生、大数据、人工智能等话题，探讨技术创新带来的价值，分享创新实践。其中，华为云 FusionInsightMRS 云原生数据湖带来两场专家演讲，由华为云 FusionInsight 解决方案架构师许田立，分享“千级节点的大数据集群如何无业务中断升级”主题，由 HetuEngine 架构师武文博，分享“跨源、跨域场景下如何实现海量数据分钟级分析”主题。       

千级节点的大数据集群滚动升级，业务无中断

华为云 FusionInsight 解决方案架构师许田立演讲

​

随着政企数字化发展，数据湖在政府、金融、运营商、大型企业等中承载越来越多的关键数据分析、处理的业务，在日常升级和维护过程中，对于业务连续性保障的要求也越来越高。

而大数据技术迭代快，传统大数据平台采用离线升级方式，需断电、重启等操作，升级操作复杂，运维繁琐，影响现网业务运行，且大集群升级耗时长，突发故障易中断升级动作，为保持业务的连续性和技术引领，急需业务不中断的滚动升级能力，确保大集群数据底座的持续演进。

华为云 FusionInsight MRS 云原生数据湖提供超大规模集群，支持单集群 2 万+节点规模，并可联邦无限扩容，同时，从 500+节点集群的标配开始，华为云 FusionInsightMRS 云原生数据湖已提供滚动升级能力，截止目前升级成功率为 100%。

通过华为云 FusionInsight MRS 云原生数据湖滚动升级能力，助力政企客户实现大集群分批次、循环滚动升级，业务 0 中断；故障节点隔离功能确保升级动作的稳定运行，实现 7*24 小时不间断服务；1000+精细化运维指标及可视化操作简化运维，实现一个架构持续演进。

海量数据跨湖跨仓分钟级分析

HetuEngine 架构师武文博演讲

​

HetuEngine 是统一高效的数据虚拟化分析引擎，与大数据生态无缝融合，实现海量数据秒级查询；业界首创多源异构协同，实现一站式 SQL 融合分析，海量数据协同分析分钟级。

高性能交互式查询：传统大数据通过 Hive 引擎构建即席查询任务，查询时间长， HetuEngine 通过启发式索引和执行计划 Cache，实现秒级查询响应；

跨湖跨仓跨云融合：传统数据分析需先统一数据格式，HetuEngine 可实现不同数据格式间的 join，减少数据搬迁，较传统方案提效 30%；传统 DC 分析要建手工摆渡数据，HetuEngine 可通过 DC Connector 进行连接，数据全局可视，协同耗时从数天缩短至分钟级；

多引擎融合：传统大数据在进行多引擎组件开发时，需涉及多组件定制开发，HetuEngine 可统一 SQL 接口访问大数据，降低用数门槛，开发提效 2-10 倍。

结语

大幕拉下，并不是终点，而是新一段征程的起点。华为云 FusionInsight MRS 云原生数据湖将不忘初心，砥砺前行，保持技术创新源动力，做大数字世界黑土地，携手 800+ISV 为客户提供持续演进的湖仓一体解决方案，可以在一个架构上实现离线数据湖、实时数据湖、逻辑数据湖，在千行百业构筑“一企一湖，一城一湖”。

点击关注，第一时间了解华为云新鲜技术~