华为云 FusionInsight MRS 通过信通院大数据能力评估 单集群突破 2 万 + 规模

用户头像
FI洞见
关注
发布于: 2020 年 07 月 09 日

7月9日,以“数据新要素 产业新动能”为主题的大数据产业峰会线上直播正式开启。会上,中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书,华为云FusionInsight MRS超大规模单集群以测试项全部满分的成绩顺利通过评估,并成功突破单集群2万节点的超大规模,树立行业新标杆。

 中国信通院云所大数据与区块链副主任姜春宇发布评测证书

中国信通院大数据产品评测是国内最权威的大数据评测体系,评测范围涵盖大数据产品的基础能力与性能专项,历经六年的蓬勃发展,大数据产品认证已经成为政企客户选购选型过程中的重要参考,是业界衡量大数据产品质量和能力的重要标准。

华为云FusionInsight MRS大数据为政企客户提供一站式企业级大数据平台,满足客户对全栈大数据平台高性能、低成本、灵活易用的诉求,助力企业快速构建海量数据信息处理平台。在本次评估测试中,华为云FusionInsight MRS一次性通过了27个必选用例,此外,在集群无宕机升级、双集群互备、运维监控模块失效及恢复、跨数据库关联操作、在线水平搜索能力等六个可选用例中也实现了一次性通过,100%的通过率使得FusionInsight MRS在本次评估测试中交出了一份完美的答卷。

丰硕的成果离不开辛勤的劳作,在整个研发过程中,华为云FusionInsight MRS超大规模单集群的实践也遇到了诸多挑战,华为云大数据研发团队凭借雄厚的研发实力和丰富的探索实践经验,通过以下七个方面实现了业界首个单集群突破2万+规模,具体如下:

  • 运维管理架构改造:将原来的集约主从模式调整成了可弹性伸缩的分布式模式,提升了主备模式的监控、告警、配置、元数据存储模块的性能,成功解决了运维管理面临的难题。

  • Superior超级调度器:自研调度引擎,支持35w/s个Container的调度速率,资源利用率达到98%以上,超出开源Capacity的能力近一倍。

  • 文件对象管理优化:利用合并单次读写流程中的交互次数、使用改良的数据通信压缩算法、DataMovementTool等技术方案,在确保文件对象管理性能的同时,自动均衡不同命名空间之间的数据,大大降低了集群维护成本。

  • 多租户的资源隔离能力:支持标签存储、多服务、多实例、DN分组等方式进行细粒度隔离,提升多租户的资源隔离能力。

  • 元数据优化:支持分布式缓存Redis方案,结合分布式锁、缓存黑白名单机制、缓存生命周期管理等技术手段突破了Hive服务的元数据读写性能瓶颈,使得元数据能够在大规模的单集群上规模商用。

  • 跨AZ的网络带宽消减:存储上提供感知AZ的文件存储策略,计算上提供感知AZ的任务调度机制,优先在同AZ下进行存储与计算,减少跨AZ的网络带宽消耗。

  • 可靠性增强:支持多种机制保障任务的可靠运行,如Hive不中断业务的能力可确保发生异常时任务不中断;Application Master的断点续传能力可记录任务状态,待AM恢复后继续执行。

得益于以上七个方面的大数据技术增强与优化,华为云FusionInsight MRS顺利通过信通院分布式批处理平台基础能力测试,节点规模达 21000,成为业界首个单集群突破2万节点的商用大数据产品。

华为云FusionInsight已是60+国家,3000+客户的共同选择,广泛布局于政府、金融、安平、大企业、互联网等领域。FusionInsight联合800+合作伙伴,践行“平台+生态”战略,释放政企数据价值,让数据“慧”说话,使企业更智能。

了解更多FusionInsight详情请点击



用户头像

FI洞见

关注

还未添加个人签名 2020.07.01 加入

还未添加个人简介

评论

发布
暂无评论
华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模