OPPO 大数据诊断平台“罗盘”正式开源

一、背景

OPPO 大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户经常对自己的任务运行状况“摸不着头脑”，不管是性能问题，还是参数配置问题，甚至是一些常见的权限报错问题，都需要咨询平台给出具体的解决方案；另一方面是平台面对各类繁杂任务，运维人员经常需要对任务故障定位和排除，由于任务链路长，组件日志多，运维压力大。因此急需对任务进行实时监控和诊断，不仅要能够帮助用户快速定位异常问题，还需给出具体的建议和优化方案，同时还能治理各类“僵尸”和不合理任务，从而达到降本增效的目的。据调研，目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台，通过诊断平台周优化任务实例数超 2 万，取得了良好的效果。

“罗盘”（Compass）便是基于 OPPO 内部大数据诊断平台的开源项目（项目地址：https://github.com/cubefs/compass），可用于诊断 DolphinScheduler、Airflow 等调度平台上所运行的大数据任务。我们希望通过“罗盘”（Compass）回馈开源社区，也希望更多人参与进来，共同解决任务诊断的痛点和难题。

二、罗盘核心功能

罗盘目前已支持以下功能和特性：

• 非侵入式，即时诊断，无需修改已有的调度平台，即可体验诊断效果。

• 支持多种主流调度平台，例如 DolphinScheduler、Airflow 或自研等。

• 支持多版本 Spark、Hadoop 2.x 和 3.x 任务日志诊断和解析。

• 支持工作流层异常诊断，识别各种失败和基线耗时异常问题。

• 支持引擎层异常诊断，包含数据倾斜、大表扫描、内存浪费等 14 种异常类型。

• 支持各种日志匹配规则编写和异常阈值调整，可自行根据实际场景优化。

罗盘已支持诊断类型概览：

（一）非侵入式，即时诊断

这里以 DolphinScheduler 调度平台为例。

从架构上看，MasterServer 主要负责 DAG 任务切分、任务提交监控并持久化任务实例数据到 DB 中，WorkerServer 主要负责任务的执行和提供日志服务，同时在 UI 提供了查看远程日志的功能。为了能够获取任务元数据和相关日志进行诊断，一个方式是在 MasterServer 中监听任务状态事件，另一个方式是订阅 MySQL binlog 日志。为了减少对 DolphinScheduler 的修改，我们采取了第二种方式。

因此只需要在 DolphinScheduler 创建一个工作流，并运行，等待运行结束，我们便可在罗盘上看到该任务运行失败等异常。

罗盘不但实现了对调度平台的解耦，还能在任务运行结束后即时诊断，同时提供了丰富的 UI 展示服务。如果您不需要我们提供的 UI 服务，那也可以直接查询罗盘诊断的元数据，展示在需要的地方。

（二）工作流层异常诊断

对于工作流层的任务实例，常见问题可分为两类：一类是失败的任务，例如首次失败、最终运行失败和长期失败；另一类是耗时异常的任务，例如基线时间异常、基线耗时异常和运行耗时长。

1. 诊断失败的任务

用户经常忽略首次失败，甚至加大重试次数，如果不重视，最终可能会演变为最终失败。罗盘记录和诊断分析了每次失败的原因，不仅可以为用户快速定位问题，还可以在故障回溯时找到根因。对于长期失败的任务，需要通知用户整改或清理，避免造成资源浪费。

2.     诊断耗时异常的任务

针对需要 SLA 保障的任务，罗盘不仅分析了相对于历史正常结束时间，是否提前结束或者晚点结束的任务，即基线时间异常，也分析了相对于历史正常运行时长，是否运行时间过长或者过短的任务，即基线耗时异常。对于运行耗时长的任务，例如超过几个小时以上的大任务，用户和平台都需要分析是任务本身的问题，还是平台的问题。

（三）Spark 引擎层异常诊断

  对于 Spark 任务，常见的问题可以归为三类：一类是运行时报错，另一类是运行时效率，最后一类是资源使用率问题。

1. 诊断运行时报错异常

引擎层常见报错有 sql 失败、shuffle 失败和内存溢出等。此类报错具有明显的日志特征，可根据关键字提取分类，使用已有的知识库，提供给用户具体的解决方案，提升用户体验和效率。

罗盘提供了 sql 失败日志分析的规则，通常涉及到操作权限，库表不存在及语法等问题，此类问题可直接指引用户去申请权限。

shuffle 问题会严重影响任务运行甚至导致失败，需要重点关注，如果您目前没有更好的解决方案，也可以参考 OPPO 开源的高性能远程 shuffle 服务。

( https://github.com/cubefs/shuttle )

内存溢出也是经常导致任务失败的一大问题，可提取关键日志诊断分析并建议用户优化内存配置参数。

除了以上问题，罗盘还提供了 40+的日志识别规则及建议，也可自行根据实际场景扩展识别规则。

1. 诊断运行时效率异常

如果任务执行耗时较长或者突然变慢，用户直接在调度平台无法判断是任务自身问题，还是调度平台问题，亦或是计算引擎的问题。为了排查 Spark 引擎，一般需要专业分析 SparkUI，比较不直观。罗盘对影响引擎执行效率的问题做了全面的检测，覆盖大表扫描，数据倾斜，Task 长尾，全局排序，OOM 风险，Job/stage 耗时异常，HDFS 卡顿，推测执行 Task 过多等问题。

• 大表扫描

罗盘对执行的 SQL 扫描表行数，直观呈现在表格中。如果用户没有进行分区条件筛选，可能会发生全表扫描，需要提醒用户优化 SQL，避免导致内存溢出和影响集群，以提升运行效率。

• 数据倾斜

罗盘检测每个 Task 的数据处理量并判断数据是否倾斜。当数据倾斜时，可能会导致任务内存溢出，计算资源利用率低，作业执行时间超出预期。

• Task 长尾

罗盘检测所有 Task 的耗时，并按 Stage 呈现在柱状图中，方便用户判断是哪个 Stage 执行耗时异常。形成的原因一般是读取数据过多或读取数据慢。如果是数据倾斜造成读取数据过多，则按数据倾斜方式处理。如果同时 HDFS 发生卡顿，则会导致读取数据慢，则需要排查集群问题。

• 全局排序异常

用户经常在 SQL 中使用了排序函数却不加分区限制，会导致全局排序。如果只有一个 Task 处理数据，需要建议用户重新分区，避免造成资源浪费和影响运行效率。

• OOM 预警分析

罗盘检测执行 SQL 广播内存占比，当广播数据过大，会导致 driver 或 executor 出现 OOM 风险，需要提醒用户禁用广播或取消强制广播，必要时申请增加内存。

• Job/stage 耗时异常

罗盘计算每个 Job/stage 实际计算时间和空闲时间，一般是资源不足时出现，需要关注集群资源问题。

• HDFS 卡顿 

当出现 HDFS 卡顿时，会影响 Task 读取数据速率，从而影响执行效率，需要关注 HDFS 集群运行状态。

• 推测执行 Task 过多

推测执行(speculative)是指作业执行单元 Task 在同一个 Stage 中的执行时间相比其他 Task 执行时间长，在其他 Executor 发起相同 Task 执行，先完成的 Task 将 Kill 另个 Task, 并取得结果。需要关注集群运行状态。

1. 诊断资源使用率异常

对于用户不确定任务 CPU 和内存使用情况，不知道怎么申请多大规格资源的问题，罗盘直观呈现了 CPU 和内存使用占比，方便用户优化资源配置参数，以节约资源成本。

罗盘还提供了 GC 日志分析功能，可查看执行过程 GC 是否存在性能问题。

（四）一键诊断、报告总览等功能

除了以上功能，我们还提供了一键诊断的功能，为用户提供详细的诊断报告。同时还有报告总览数据和白名单功能等。

三、罗盘技术架构

罗盘主要由同步工作流层任务元数据模块、同步 Yarn/Spark App 元数据模块、关联工作流层/引擎层 App 元数据模块、工作流任务异常检测模块，引擎层异常检测模块，Portal 展示模块组成。

整体架构图

整体架构分 3 层：

• 第一层为对接外部系统，包括调度器、Yarn、HistoryServer、HDFS 等系统，同步元数据、集群状态、运行环境状态、日志等到诊断系统分析；

• 第二层为架构层，包括数据采集、元数据关联 &模型标准化、异常检测、诊断 Portal 模块；

• 第三层为基础组件层，包括 MySQL、Elasticsearch、Kafka、Redis 等组件。

具体模块流程阶段：

（1）数据采集阶段：从调度系统将用户、DAG、作业、执行记录等工作流元数据同步至诊断系统；定时同步 Yarn ResourceManager、Spark HistoryServer App 元数据至诊断系统，标志作业运行指标存储路径，为后续数据处理阶段作基础；

（2）数据关联 &模型标准化阶段：将分步采集的工作流执行记录、Spark App、Yarn App、集群运行环境配置等数据通过 ApplicationID 介质进行关联，此时，工作流层与引擎层元数据已关联完毕，得到数据标准模型(user, dag, task, application, clusterConfig, time)；

（3）工作流层 &引擎层异常检测阶段：至此已经获得数据标准模型，针对标准模型进一步 Workflow 异常检测流程，同时平台维护着一套沉淀多年的数据治理知识库，加载知识库到标准模型，通过启发式规则，对标准模型的指标数据、日志同时进行异常挖掘，结合集群状态及运行是环境状态，分析得出工作流层、引擎层异常结果；

（4）业务视图：存储、分析数据，提供给用户任务概览、工作流层任务诊断、引擎层作业 Application 诊断，工作流层展示调度器执行任务引发的异常，如任务失败、回环任务、基线偏离任务等问题，计算引擎层展示 Spark 作业执行引发的耗时、资源使用、运行时问题；

四、DolphinScheduler & Compass

DolphinScheduler 是一个分布式和可扩展的开源工作流协调平台，具有强大的 DAG 可视化界面，有着丰富的使用场景，提供 Spark、Hive 和 Flink 等 30+种类型的任务，可靠性高和拓展性强。DolphinScheduler 经历了多年的实践和积累，已经成为了一个成熟的开源项目，并有着广泛的用户群体。

（一）部署体验

这里我们以 DolphinScheduler（2.0.6 版本）为例，体验如何快速集成罗盘。如果你还没有部署 DolphinScheduler，可参考官网部署指南。如果你已经在使用 DolphinScheduler，那么只需要部署罗盘即可。罗盘支持单机和集群部署，如果你想要快速体验罗盘的功能，可使用单机部署模式，罗盘依赖 Kafka、Redis、zookeeper 和 ElasticSearch，需要提前安装，依赖服务完成后即可通过部署脚本进行罗盘部署：

代码编译

git clone https://github.com/cubefs/compass.git

cd compass

mvn package -DskipTests

修改配置

cd dist/compass

# 修改数据源和相关配置,如下图

vim bin/compass_env.sh

一键部署

./bin/start_all.sh

（二）使用示例

首先在 DolphinScheduler 创建好项目，

然后创建一个 SPARK 任务的工作流，

最后上线该任务和运行。

打开罗盘 Web UI，默认路径为 http://localhost:7075/compass/ ，输入 DolphinScheduler 的账号密码，罗盘自动同步了 DolphinScheduler 用户信息。

最后进入任务运行页面，便可以看到所有的异常任务诊断信息。

五、罗盘开源规划

• 罗盘主要围绕离线调度任务、计算引擎两个方面对问题进行定位分析，使用丰富的知识库，提供给用户解决优化方案，同时达到降本增效的目的。

• 目前已开源部分主要包含对任务工作流和 Spark 引擎层的问题诊断，不久将发布针对 Flink 任务的异常和资源问题诊断。

• 未来将引入更深层次的算法和诊断模型，实现去规则和阈值，使异常诊断更加智能化。

六、参与贡献

【Github 地址】： https://github.com/cubefs/compass

欢迎参与贡献，如果您有需求或建议可以提 issue 到 Github，我们将及时为您解答。

关于安第斯智能云

OPPO 安第斯智能云（AndesBrain）是服务个人、家庭与开发者的泛终端智能云，致力于“让终端更智能”。作为 OPPO 三大核心技术之一，安第斯智能云提供端云协同的数据存储与智能计算服务，是万物互融的“数智大脑”。