写点什么

性能提升 40%!阿里云神龙大数据加速引擎获 TPCx-BB 世界排名第一

  • 2021 年 12 月 31 日
  • 本文字数:792 字

    阅读完需:约 3 分钟

性能提升40%!阿里云神龙大数据加速引擎获TPCx-BB世界排名第一

近日,Benchmark Express-BigBench(简称 TPCx-BB)公布了最新的世界排名,阿里云自主研发的神龙大数据加速器荣获 TPCx-BB@3000 世界排名第一


TPCx-BB 测试分为性能与性价比两个维度。其中,在性能维度,在本次排名中,阿里云领先第二名高达 41.6%,达到了 2187.42 BBQpm,性价比领先第二名 40%,降低到 346.53 USD/BBQpm。



(TPCx-BB@3000 性能维度排行)

 


(TPCx-BB@3000 性价比维度排行)

 

TPCx-BB 是由国际标准化测试权威组织(TPC)发布的基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有 30 个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。TPCx-BB 的测试具有数据量大、特征复杂、来源复杂等特点,与真实业务场景较为接近,对各行业的基础设施选型有着重要参考意义


TPCx-BB 的测试结果,可以全面准确的反映端到端的大数据系统的整体运行性能。测试涵盖了结构化、半结构化和非结构化数据,能够从客户实际场景角度更全面的评估大数据系统软硬件性能、性价比、服务和功耗等各个方面。


阿里云自研的神龙大数据加速引擎 MRACC(Apasara Compute MapReduce Accelerator),是这次荣登世界第一的杀手锏。神龙大数据加速引擎,针对大数据常用组件,如 Spark、Hadoop、Alluxio 等,结合阿里云神龙架构的特性,进行软硬一体化优化,形成独一无二的性能优势,最终,使复杂 SQL 查询场景性能相比社区版 spark 提升 2-3 倍,使用 eRDMA 加速 Spark 性能提升 30%


具体来说,针对大数据任务重 IO 特性,MRACC 在网络和存储方面结合云上的架构优势进行软硬件加速,包括软件的 SQL 引擎优化,使用缓存、文件裁剪、索引等优化手段,并尝试将压缩等运算卸载到异构器件;还使用 eRDMA 进行网络加速,将 shuffle 阶段的数据交换运行在 eRDMA 网络,使得延时降低、CPU 利用率大幅提升。


MRACC 与神龙云服务器的结合,给云上大数据带来了新的想象空间,给用户带来了更高的性能和性价比。

发布于: 1 小时前
用户头像

澎湃算力,无处不在。 2018.08.24 加入

阿里云弹性计算团队,关注虚拟化、通用计算、异构计算以及云上HPC和云上运维CloudOps。

评论

发布
暂无评论
性能提升40%!阿里云神龙大数据加速引擎获TPCx-BB世界排名第一