EMR 重磅发布智能运维诊断系统 (EMR Doctor)——开源大数据平台运维利器

2022 年 9 月 15 日
浙江
本文字数：1034 字
阅读完需：约 3 分钟

大数据运维的挑战—如何保证集群稳定与运行效率

企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战：海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效要求的的运算任务，都会提升运维难度。作为支撑平台，大数据集群的稳定性和运行效率，会直接影响到公司业务的正常运作和发展。

集群管理员往往对整体集群做好了监控运维体系，对于大数据集群，简单的监控运维体系能够帮助管理员在遇到故障的时候定位问题。但对于整体集群的运行效率，集群的状态，通过单纯的监控指标很难给出一个全面的解答。

对于大数据集群，管理员以及 CIO 等更关注以下的内容：

集群内的节点的运行状态和资源使用状况；
运行在集群上的服务组件的状态监控和异常处理，包括 YARN、HDFS、Hive 和 Spark 等；
计算任务运行情况和执行效率；
整体集群的健康程度和如何改进。

面对运维挑战，EMR 重磅推出：智能运维诊断系统(EMR Doctor)

为了提升大数据集群运维效率，辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor（简称 EMR Doctor）。 EMR Doctor 作为开源大数据集群的管家，会自动每日巡检集群。集群管理员只需要定期查看健康检查报告，并且根据报告中的建议对集群做相应的优化调整，即可全局了解集群的健康状况和动态走势，并保持集群的健康度。