华为云 FusionInsight MRS 融合大数据平台进阶之路

用户头像
FI洞见
关注
发布于: 19 分钟前

       大数据诞生之初聚焦在海量数据的批分析,实际使用场景基本都是海量数据T+1的跑批业务,随着用户业务的不断发展,对数据使用维度的复杂性和T+0时效性要求也在不断增加,而且每个需求上都有细粒度甚至苛刻的定义。为此,华为研发队伍不断的加大MRS研发力度,FusionInsight 8.0 MRS版本是产品演进过程中一个较大的转折点,产品在保障跑批及跑批性能的同时,考虑到用户对T+0数据时效的贴源分析场景,引入了更高性能的交互式查询引擎,实现企业全量数据分析从T+0贴源分析,到全量数据融合分析,再到结果的交互式探索分析,解决了过去数据共享难、使用效率低、跨系统链路复杂等难题,实现了统一分析的一站式所见即所得平台。

       除此之外,新版本对Spark、Hive等组件进行了增强,使得原有业务应用的性能得到大幅提升,在MRS平台上构建海量数据融合批、流、交互式的一站式分析平台。

       FusionInsight 8.0 MRS的版本已正式发布,本文意在结合融合大数据场景重点介绍新版本的核心产品能力。


支持事务ACID,实现全量数据T+0入湖,一站式融合分析,消除数据孤岛

       事务以及事务的ACID是数据处理中永恒的话题,原本是经典的数据库设计理论,现在已经逐渐衍生到各种数据平台产品中,MRS也不例外,目的是为了解决在Hadoop生态中数据时效达到T+0贴源分析。

       实际上在MRS早期版本中已经沿用并增强了Hive本身对事务的支持,但实际场景中使用效果并不理想,既要兼顾列式引擎的极致查询性能,又要兼顾传统MPP基于事务能力的行式存储,这给研发人员提出了很大的挑战。FusionInsight 8.0 MRS的版本里,由华为贡献的顶级项目CarbonData升级到 2.0版本,在保证列式存储天然的优势外,极大的提升了ACID能力,同时也提升了Upsert操作的性能,使得T+0贴源分析的数据应用场景的业务需求得到充分满足,让用户得到同OLAP几乎一致的体验感。

       除此之外,FusionInsight 8.0 MRS还支持Merge操作,极大的丰富了SQL的语法且能保证一致的性能。





传统大数据平台中T+1流水线示例





传统大数据平台中T+0流水线示例

       在业务场景上,受Lambda/Kappa架构思想的影响,过去用户往往会建立两条流水线作业,一条是T+1从Source->PDM->SUM->MARK的分层结构的批处理模型,另一条是基于Flink/Kafka的流式处理引擎实现实时数据的消费,遗憾的是,仅T+0的数据无法满足业务需求,还是要依赖T+1的方式来实现。





FusionInsight 8.0 MRS新版本中的统一分析新方案

       FusionInsight 8.0 MRS中,Carondata引入事务机制,将两条作业流水线完美融合,流式引擎可以以实时或者准实时的方式处理后存储在Carbondata中,直接以T+0的方式进行贴源数据的加工和分析。给用户提供了一种完整的贴源Source->PDM->SUM->MARK统一分析新方案。


Carbondata提供丰富的索引和物化视图,提升Spark/Hive性能

      索引的多样性是Carbondata的一大特色,这给开发者更多的优化手段和极大的优化空间,让SQL解析的过程向数据库优化器功能更进一步。在FusionInsight 8.0 MRS版本中,引入了二级索引、时序索引、空间索引、Segment级别MINMAX索引、倒排索引和分桶索引。





FusionInsight 8.0 MRS的三级索引方案

       其中,一级索引在Driver端利用分区和块级索引实现粗粒度的分区剪裁;二级索引在节点内使用块内索引实现细粒度数据过滤;三级索引在文件内实现倒排索引快速定位到明细数据。三层索引按序使用,对于非主键的精确查询秒级响应,极大的提升了OLAP分析性能。

       Carbondata实现了数据库的物化视图能力,不仅支持很多场景下数据的动态实时更新,还支持物化视图中对Join、Group By、Order By等SQL能力,实现了基于物化视图的复杂查询秒级响应。


HetuEngine 提供高性能交互式查询

       HetuEngine是一个高性能的交互式查询工具,可以直接查询Hive数据,无需将数据从Hive中迁移到其它数据库,通过一个引擎可以访问所有格式的数据,且兼容SQL2003标准。HetuEngine 的核心架构采用管道式多线程任务,CPU资源可以充分利用,相比较Hive+MR的机制,大大提升响应能力;数据处理在内存中完成,内存块之间的数据交换避免了磁盘的IO开销,极大的提升了性能。

       与此同时,HetuEngine将计算资源统一交给Yarn进行资源管理,无需像Impala一样规划单独的节点部署,同时还充分享受到了YARN的多租户资源隔离机制,可实现计算资源的弹性伸缩。实现了真正的数据共享、计算隔离、弹性伸缩。满足了企业越来越多的高并发即席分析场景,大集群的扩展能力,灵活的租户分配机制,通过横向扩展能力可轻松实现10000+并发的即席分析。





HetuEngine

       HetuEngine对跨源、跨域的数据融合也做到了极强的支撑,通过公共的连接插件层整合了多种数据源的连接插件,对于异构平台的HBase/Hive/ElasticSearch,以及高斯DWS,都能实现融合关联分析。


“一份数据 + 一个引擎”支持数据湖全场景使用

       以HBase、MongoDB或者ElasticSearch为代表的Nosql数据库,虽然可以支持实时查询类业务,但是均不支持存算分离的部署架构,为了满足PB级别存储的需求,需要启动更多的计算节点,消耗更多的CPU和存储成本,同时还要付出更多的运维成本,计算和存储的紧密耦合也意味着更低的计算和存储利用率。

       以Spark on Parquet、Hive on ORC为代表的Hadoop生态数据仓库解决方案,支持将数据放在对象存储服务上,但是没有对数据构建高效的索引,使得明细数据查询或者复杂查询都很慢。

       为了实现“又方便又快又便宜”的任性,FusionInsight 8.0 MRS引入了HetuEngine 和Carbondata 2.0,对接并完全发挥了Carbondata的优势,能够像关系型数据库一样高效执行复杂交互式的SQL查询,又可以兼备NoSQL的索引性能优势,还能和Spark/Hive一样享受文件存储成本优势和高度可扩展性的数据并行处理。


异构融合,平滑演进

       对于计算引擎来说,基于Carbondata 2.0,原先已经投产的Flink、Hive、Hetu等计算引擎怎么办?FusionInsight 8.0 MRS支持异构引擎无缝接入,不会因为新组件的引入造成原组件无法使用或性能降低。

       对存储引擎来说,在引入了Carbondata之后,之前基于Parquet或者ORC格式存储的文件怎么办?是否需要迁移?HetuEngine 支持对Parquet、ORC、CarbonData数据进行统一访问,无需迁移即可实现全域数据的统一管理和使用。如果想全部用CarbonData存储格式实现统一的数据管理和非异构的数据关联,Carbondata 2.0支持PB级别Parquet数据平滑导入,完全不必担心新组件引入带来的迁移障碍。


基于FusionInsight MRS新版本的企业大数据参考架构

       在典型的基于Hadoop生态的企业架构中,数据仓库基于Hive构建,如下图所示,跑批业务从文件交换区读取当天的数据增量开始,以T+1的方式顺次加工处理并整合到各个逻辑存储层,如下红色箭头代表了T+1时效的数据流向。实时业务在没有Carbondata之前,仅仅通过Kafka/Flink引擎将数据采集并存储到贴源区,供用户直接使用。由于不支持事务ACID,实时数据无法保证数据一致性,密集的交易数据无法通过数据处理逻辑(贴源->ODS->PDM->SUM->MARK)而保证业务的上的数据准确。引入Carbondata和HetuEngine 之后,T+0的数据完全可以保证事务ACID机制,从而实时数据经过业务逻辑层次按序加工后,保证准确性和一致性。





FusionInsight 8.0 MRS新版本的企业大数据参考架构

总结:

       FusionInsight 8.0 MRS基于CarbonData 2.0和HetuEngine 以及其它社区组件的升级与增强,提供了一种全新的企业级的融合大数据平台解决方案,基于事务的增强,用户可以完全实现T+0时效的数据消费和贴源分析,一份数据同时支持多种应用场景,一个引擎支持多种数据存储模式,充分利用资源,消除数据孤岛。支持的数据规模达到EB级,ACID能力增强,查询性能秒级响应,多索引优化,高性能交互式查询以及异构融合。使用一套生态体系完成全部业务场景的愿景得以实现。



用户头像

FI洞见

关注

还未添加个人签名 2020.07.01 加入

还未添加个人简介

评论

发布
暂无评论
华为云FusionInsight MRS融合大数据平台进阶之路