​

 前一段时间我参加了 E-MapReduce 极客挑战赛，很幸运的获得了季军。在这把我的比赛攻略给大家分享一下，希望可以抛砖引玉。

赛题分析与理解

赛题背景：

大数据时代，上云已成为越来越多终端客户大数据方案的落地选择，阿里云 EMR 以其易用性高，性能强，弹性大的特点，成为了广大用户的首选。英特尔® 傲腾™持久内存是兼具出色的内存与存储性能的解决方案，将高性价比的大容量内存与对数据持久性的支持巧妙地结合在一起。本题结合阿里云 EMR 和英特尔® 傲腾™数据中心级持久内存（后文简称 PMEM）以及 Intel OAP（Optimized Analytic Package for Spark）软件包，优化软件系统和利用硬件的特征，追求 TPC-DS 测试集的最优性能。

赛题描述：

EMR 团队提供用于比赛的 Spark 3.1.2 代码分支，选手进行 Spark 代码优化和参数调优以提升 SparkSQL 执行效率，同时组委会提供性能测评工具供选手自行测试（单机环境或 EMR 集群环境）。在比赛阶段，选手将最终优化后的 Spark 代码和调优参数打包，通过天池平台提交，天池平台会使用相同的性能测评工具，进行评测和排名。

EMR 软件版本：EMR-5.2.1Master 节点：ecs.g6e.4xlarge 1 台 Worker 节点：ecs.re6p.4xlarge 3 台，单机系统盘 100GB ESSD 1 块，数据盘 200GB ESSD 4 块，持久内存 252 GiB。

赛题要求：

1、比赛使用的测试数据集大小为 1T，1 TB TPC-DS 数据集已经提前生成，数据格式为 Parquet，生成数据集的随机因子组委会不公开。2、比赛使用 SQL query 为 TPC-DS 工具生成的 99 个 SQL，组委会从中选择 30 条 SQL 进行评测，具体选取的 SQL 组委会不公开。3、选手可以进行 Spark 参数优化，SQL 优化，执行 Plan 算子优化，引擎优化，调度优化，数据传输优化等，以便让 SQL 作业执行更快速。

关键技术：

用到的关键技术包括：E-MapReduce，Spark，Intel Optane (PMEM)及 Intel OAP。如下图所示：

​

赛题分析

通过对赛题分析可以发现，主要可以通过参数优化、硬件优化及代码优化来实现对 Spark 效率的提升。如下图所示：

​

整体方案与优化

整体方案

考虑到初赛和复赛的 Worker 的配置差异主要是复赛的 Worker 有傲腾持久内存，所以初赛以参数优化为主，复赛以硬件优化及代码优化为主。

​

利用 Optane

复赛开始使用 Optane，通过 Optane 提升比赛成绩 

​

通过参数优化及应用 Optane，最后成绩 760 左右。

经验与感想

IT 系统调优是一个复杂的工程，需要对软件系统、硬件平台、技术体系进行深入的了解。查找资料，借鉴前人经验，可以大大的加快调优的进度。根据软硬件情况，合理的规划，可以做到事半功倍。

通过这次比赛对 Spark、硬件加速、湖仓一体架构等有了更深入的了解。

感谢主办方这么一个机会，让我可以参与这么有意思的比赛。感谢各位导师对我问题的耐心解答和帮助，辛苦大家了，谢谢。

查看更多内容，欢迎访问天池技术圈官方地址：E-MapReduce极客挑战赛季军方案_天池技术圈-阿里云天池

​