华为云 FusionInsight MRS 通过信通院大数据能力评估 单集群突破 2 万 + 规模

7 月 9 日，以“数据新要素 产业新动能”为主题的大数据产业峰会线上直播正式开启。会上，中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书，华为云 FusionInsight MRS 超大规模单集群以测试项全部满分的成绩顺利通过评估，并成功突破单集群 2 万节点的超大规模，树立行业新标杆。

 中国信通院云所大数据与区块链副主任姜春宇发布评测证书

中国信通院大数据产品评测是国内最权威的大数据评测体系，评测范围涵盖大数据产品的基础能力与性能专项，历经六年的蓬勃发展，大数据产品认证已经成为政企客户选购选型过程中的重要参考，是业界衡量大数据产品质量和能力的重要标准。

华为云 FusionInsight MRS 大数据为政企客户提供一站式企业级大数据平台，满足客户对全栈大数据平台高性能、低成本、灵活易用的诉求，助力企业快速构建海量数据信息处理平台。在本次评估测试中，华为云 FusionInsight MRS 一次性通过了 27 个必选用例，此外，在集群无宕机升级、双集群互备、运维监控模块失效及恢复、跨数据库关联操作、在线水平搜索能力等六个可选用例中也实现了一次性通过，100%的通过率使得 FusionInsight MRS 在本次评估测试中交出了一份完美的答卷。

丰硕的成果离不开辛勤的劳作，在整个研发过程中，华为云 FusionInsight MRS 超大规模单集群的实践也遇到了诸多挑战，华为云大数据研发团队凭借雄厚的研发实力和丰富的探索实践经验，通过以下七个方面实现了业界首个单集群突破 2 万+规模，具体如下：

• 运维管理架构改造：将原来的集约主从模式调整成了可弹性伸缩的分布式模式，提升了主备模式的监控、告警、配置、元数据存储模块的性能，成功解决了运维管理面临的难题。

• Superior 超级调度器：自研调度引擎，支持 35w/s 个 Container 的调度速率，资源利用率达到 98%以上，超出开源 Capacity 的能力近一倍。

• 文件对象管理优化：利用合并单次读写流程中的交互次数、使用改良的数据通信压缩算法、DataMovementTool 等技术方案，在确保文件对象管理性能的同时，自动均衡不同命名空间之间的数据，大大降低了集群维护成本。

• 多租户的资源隔离能力：支持标签存储、多服务、多实例、DN 分组等方式进行细粒度隔离，提升多租户的资源隔离能力。

• 元数据优化：支持分布式缓存 Redis 方案，结合分布式锁、缓存黑白名单机制、缓存生命周期管理等技术手段突破了 Hive 服务的元数据读写性能瓶颈，使得元数据能够在大规模的单集群上规模商用。

• 跨 AZ 的网络带宽消减：存储上提供感知 AZ 的文件存储策略，计算上提供感知 AZ 的任务调度机制，优先在同 AZ 下进行存储与计算，减少跨 AZ 的网络带宽消耗。

• 可靠性增强：支持多种机制保障任务的可靠运行，如 Hive 不中断业务的能力可确保发生异常时任务不中断；Application Master 的断点续传能力可记录任务状态，待 AM 恢复后继续执行。

得益于以上七个方面的大数据技术增强与优化，华为云 FusionInsight MRS 顺利通过信通院分布式批处理平台基础能力测试，节点规模达 21000，成为业界首个单集群突破 2 万节点的商用大数据产品。

华为云 FusionInsight 已是 60+国家，3000+客户的共同选择，广泛布局于政府、金融、安平、大企业、互联网等领域。FusionInsight 联合 800+合作伙伴，践行“平台+生态”战略，释放政企数据价值，让数据“慧”说话，使企业更智能。

了解更多FusionInsight详情请点击