华为云 FusionInsight MRS:助力企业构建“一企一湖,一城一湖”
摘要:华为云 FusionInsight MRS 新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!让数据价值近在眼前!
10 月 30 日,以“携手共赢·数创未来”为主题的第二届数据分析技术与应用高峰论坛在深圳举行。会上,华为云大数据高级营销经理王宁进行了主题演讲“华为云 FusionInsight MRS 跨越技术裂谷,助力客户实现一企一湖,一城一湖”!
大数据技术创新焦点已转向 LakeHouse,企业创新焦点已转向湖仓一体
“随着大数据技术的愈发成熟和 5G、AI、IoT 技术的规模商用,政企客户需要商业诉求与技术创新的双轮驱动,实现数字化转型。企业构建技术领先的大数据平台,选择具有竞争力的数字底座至关重要。面向数字化转型中的政企客户,近年来,华为云大数据与世界同步,持续创新,致力于打造技术领先的数字底座,让大数据越用越快、越用越易、越用越稳、越用越省!把复杂留给自己,把简单留给伙伴,助力客户数字化转型成功!” 王宁分享到。那么数字底座如此关键,大数据作为主要承载技术,未来它将如何发展呢?
2011 年以后随着信息化的浪潮和大数据的成熟,企业开始利用大数据等技术构建数据湖,满足多样性数据的存储,数据湖虽然适合存储数据,但缺少一些支撑业务的关键能力:比如不支持实时增量更新,不支持事务,无法实时分析等。据预测到 2025 年,全球数据量将从 2018 年的 33ZB 快速增长到 180ZB,客户为应对呈指数级增长的数据资产,采用大规模、高效率、一站式多场景的大数据处理系统的需求越来越迫切。到 2020 年,大数据技术创新趋势的焦点已转向 LakeHouse、企业创新焦点已转向湖仓一体。
数据湖向 LakeHouse 发展,基于数据湖实现与数仓类同的数据结构和数据管理能力支持实时更新、BI 交互分析、混合负载;数据湖、数据仓库向融合分析架构发展,Hadoop 与 MPPDB 具备数据共享和跨库分析能力,支持互联互通、计算下推、协同计算,让大数据与数仓互联互通、协同计算,兼顾过去与未来!华为云大数据技术与世界同步,积极拥抱开源,汲取全球顶尖大数据实践经验。封闭使人落后,其他主流厂商在近年来主动拥抱开源。大数据开源、开放技术仍在蓬勃发展,以前,驾驭大数据“三驾马车”可转遍大数据的池塘,现如今,大数据技术已发展成一片海洋,社区已具有 100+开源项目,大数据技术创新进入深水区。现在大数据不仅限于 Hadoop 生态,已是多种主流数据处理技术的集合,在不同场景有着丰富的组件进行支撑。
华为云打造技术领先的云原生数据湖,实现一企一湖,一城一湖
作为技术创新、市场份额双领先的数据湖,华为云 FusionInsight MRS 具备 3 个硬核能力:
1)让政企客户在大、快、融、稳的一个云原生数据湖架构下持续演进
大:传统大数据单集群扩容受限,往往扩容到 2000 节点就难以突破,存在分割集群运维复杂、成本高、资源利用率不高、关键任务无法保障等问题。华为云 FusionInsight MRS 通过大集群突破扩展性瓶颈,支持最大 2 万+节点大规模集群,还可集群联邦无限扩容,让政企客户在一个架构上持续演进。在 BI 增强方面,可实现热数据的毫秒级实时分析,高效支撑 BI;增强 Spark,支持 JDBC 多实例,增加 BI 报表连接数!
大规模特性已在华为内部得到实践。华为集团 IT 通过 FusionInsight 构建 OneData 大数据集群,实现大数据平台在大规模场景下的开拓,OneData 集群其规模已至 1 万+节点;同时,实现了统一的数据管理服务,在菩提海 UniDB 产品中,把 50+物理分散的计算集群(Hadoop+MPP),通过逻辑统一方式形成近湖仓一体的统一架构,支撑上千个企业租户近 60PB 的数据分析需求。华为集团 IT OneData 大集群历经两次滚动升级,业务 0 中断,已稳定运行六年。华为云 FusionInsight 最大单集群可支持 2 万规模超大集群,让客户的业务系统稳如磐石,10 年无忧!
快:数据的不断增大,势必带来分析效率降低的问题。华为云大数据打破性能瓶颈, 直面客户业务构建主题数据,分析链路短,越用越快,无需等待!传统大数据存在“慢、难、贵”的问题,数据链路长,事后报表为主;FusionInsight MRS 可实时增量更新数据,并可实现毫秒级实时 OLAP,让大数据分析从此无需等待!
在金融某行,行内集群总计 100+节点,总数据量 1PB,每天更新 10 万张表,通过 FusionInsight MRS 实现 PB 级数据实时同步,100+节点数据入库时间从 12 小时降至 1 小时以内。
解决了大数据可扩展、高性能方面的问题,政企用户想要深度释放数据价值,还需跨源、跨域的融合分析。
融:消除数据孤岛,五大融合,跨源跨域跨引擎融合分析,让数据分析越来越简单,消除数据孤岛,无需冗余!传统大数据分析面临类型多、分布散、协同难等问题;FusionInsight MRS 通过 HetuEngine 实现五大融合,统一 SQL 接口,简化用数,全民 BI,让大数据越用越简单!
某行基于 FusionInsight MRS 构建金融大数据,通过 HetuEngine 统一 SQL 接口,解决数据分散,组件多、语言多等难题,降低技术开发门槛,跨源跨域跨引擎融合分析,数据免搬迁,降低整体 TCO。
华为云 FusionInsight MRS 除了越用越快、越用越简单、保护客户已有投资外,还关心政企客户使用大数据运行的稳定性及是否可持续发展,无需全新重构!
稳:数据的增长是无限的,小集群总会成长为大集群,一个技术领先、可平滑升级、可持续演进的底座非常重要。FusionInsight MRS 可保障一企一湖连续性,在线滚动升级,业务永远在线,无需拆集群、搬应用,彻底解决传统大数据集群多、效率低、管理难、升级难等问题,让升级过程中关键业务不中断,确保业务连续性,稳如磐石!
某运营商使用 FusionInsight MRS 搭建大数据平台应对 5G 数据浪涌,先后两次滚动升级实现了大数据平台的平滑演进,实现业务无中断,升级无感知,用户体验持续在线,单集群规模已扩展至 1500+节点,支撑了各类政务、民生等 200+大数据应用服务,覆盖用户 1.3 亿+,并让客户业务永不停、服务永在线、技术永最新!
2)实时数据湖
实时数据湖,让数据实时增量入湖,T + 0 实时分析;实现贴源数据实时多维分析,缩短分析链路,提高分析效率,走向实时数据湖,让数据价值近在眼前!
3)云原生数据湖
华为云 FusionInsight MRS 具有统一元数据和存算分离等云原生特性。通过 Data Lake Catalog 数据湖目录,为超大规模分析引擎提供统一元数据服务,让数据全局可视可得;在数据存储方面,通过 OBS 存算分离方案,实现计算、存储按需扩容,基于企业级 EC 实现最低 1.2 副本,总体 TCO 下降 20%+,让数据每 bit 成本更优!湖内提供交互式分析引擎,可无缝对接 BI 报表和自助分析,实现秒级用数,数据免搬迁;湖内统一 SQL 接口,降低技术开发门槛,简化用数,实现技术创新的云原生数据湖。
一企一湖的云原生数据湖,已是政企客户的标准底座,一站式支撑全场景高效分析
通过以上特点,华为云 FusionInsight MRS 新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!让数据价值近在眼前!
华为云 FusionInsight MRS 坚定开放路线,坚持回馈社区,持续投入,与世界同行
基于华为云大数据强大的创新能力,华为云 FusionInsight 在业内成绩斐然,持续多年获得多个权威机构认可。2020 年,华为云 FusionInsight 已连续四年入围中国大数据企业 50 强,并荣获中国信息通信大数据行业影响力奖、中国大数据平台类最佳解决方案奖。华为云引领大数据技术发展,理解客户不断发展的业务诉求,持续高强度投入 10 多年,拥有专利超过 500 余件,关键领域 PMC、Committer 占比近 50%。同时,华为云大数据坚持平台+生态战略,与合作伙伴一起服务全球政企客户。华为云 FusionInsight MRS 坚定开放路线,与世界同行,持续投入,做好数字世界的黑土地。同时,我们坚持将好的经验,持续在华为云大数据社区为大家开放,让大江大洋也阻隔不了勇攀大数据技术高峰的决心。华为云 FusionInsight MRS 把“复杂”留给自己,把“简单”留给伙伴,共建社区繁荣生态,联合 800+ISV,共创共赢,助力政企数字化转型成功!
华为云 FusionInsight 联合 800+伙伴,共创共赢,加速政企数字化转型
近期,IDC 将公布 2020 中国大数据管理平台厂商评估报告,华为云 FusionInsight 智能数据湖凭借多年对行业业务的理解,坚持技术创新引领全球大数据发展,相信也将交出一份满意的答卷。
华为云 FusionInsight MRS 已成为 60+国家地区、3000+客户数字化转型的共同选择,广泛应用于政府、运营商、金融、能源、医疗、制造、交通、互联网等多个行业,释放海量数据价值,用数据驱动业务增长,助力政企客户实现“一企一湖,一城一湖”!
版权声明: 本文为 InfoQ 作者【华为云开发者社区】的原创文章。
原文链接:【http://xie.infoq.cn/article/5dc7903b27762aa4158865359】。文章转载请联系作者。
评论