写点什么

Doris Manager 24.3 版本正式发布,增强集群巡检能力

作者:SelectDB
  • 2025-05-20
    上海
  • 本文字数:1654 字

    阅读完需:约 5 分钟

Doris Manager 24.3 版本正式发布,增强集群巡检能力

作为 Apache Doris 的智能管理工具,Doris Manager 提供一键部署、实时监控、弹性扩缩容、升级重启等核心功能,并支持告警、日志、审计、巡检等高级运维能力。历经千家企业验证,24.3 版本更稳定高效,让集群管理更简单!在新的版本中,Doris Manager 丰富了集群巡检,监控等能力。

功能更新

在 Doris Manager 24.3 版本中,对以下内容进行了优化改进:


智能集群巡检:


  • 全面健康评估:新增多维度巡检项,覆盖集群健康度,数据健康度,Top SQL 分析,自动生成优化建议;

  • 主动风险发现:快速定位性能瓶颈,提供分片调整,参数优化等方案。


稳定部署保障:


  • 智能预检机制:新增重启动置检查(JAVA_HOME、操作系统参数等),规避环境问题导致失败;

  • 任务流程优化:重构部署升级任务,提升成功率,减少人工干预。


高效监控运维:


  • 精细化磁盘监控:按磁盘维度展示 IO 使用效率及吞吐量,精准定位 IO 问题;

  • 日志精简优化:移除冗余 manager.out 日志,提升日志检索效率。


流畅操作体验:


  • 透明化操作提示:优化升级备份流程,明确展示进度与风险提示;

  • 自动跳转优化:Studio 页面跳转自动携带上下文,减少登录操作。


详细优化与更新功能可以参考 Doris Manager 24.3.0 release notes

集群巡检功能

在 Doris Manager 24.3 版本中,重构了集群巡检功能,为了直观的感受巡检功能的丰富,我们特此录制了巡检能力的 Demo,具体见下方视频:


本次版本更新一共新增了五类巡检项功能:


  • 集群概览:展示集群拓扑与 SQL 延时监控,QPS 监控,导入速率等主要集群监控项;

  • 数据概览:展示数据库数量、表数量、分片数量、总数据量及 Top10 数据量的表,对 Tablet 健康度进行检查,筛选出 tablet 过大或者过小的表并给出提示;

  • 查询分析:按照查询耗时、CPU 消耗、内存消耗、扫描数据行、扫描数据量等不同维度展示 Top10 的 SQL;

  • 参数规范:展示 FE 与 BE 配置文件中非默认的配置参数,对集群主要的参数进行检测并给出修改意见;

  • 机器信息:展示操作系统、CPU、内存、磁盘、网络等机器信息。


启用定期巡检

在设置集群巡检时,可以开启定期巡检,在特定时间周期性的对集群进行检查,并保存巡检报告。如在本例中指定每天两点进行巡检,巡检后通过邮箱与企业微信进行巡检信息推送。巡检会对集群数据进行扫描,占用集群 IO 资源,建议避开集群资源高峰时进行巡检。


查看巡检建议

在巡检后,可以从巡检报告中查看巡检结果与建议。Doris Manager 针对以下内容给出巡检建议:


  • 数据健康:针对 tablet 大小、副本数量、数据倾斜程度、tablet 数量等信息给出优化建议;

  • 参数配置:针对 Doris 系统参数与变量进行检查并给出优化建议;

  • 机器配置:针对 CPU、操作系统参数等进行检查并给出调整建议。


如下例中,对集群参数进行了检查,列出了非默认参数,并针对参数 enable_profile 给出了修改意见。


添加自定义巡检项

用户可以根据业务自定义巡检项,通过脚本添加巡检项。如在下例中,添加了 CheckBadTablet 与 CheckSwapOff 两个用户自定义巡检项,关闭 CheckBadTablet 巡检项,打开 CheckSwapOff 巡检项。


$ cat webserver/inspection/script/user-defined-tasks.json{  "tasks": [    {      "name": "CheckBadTablet",      "source": "DORIS",      "reason": "ensure tablets are all healthy.",      "script": "check-bad-tablet.sh",      "timeout": 600,      "enabled": false    },    {      "name": "CheckSwapOff",      "source": "AGENT",      "reason": "doris be requires swap off.",      "script": "check-swap-off.sh",      "timeout": 600,      "enabled": true    }  ]}
复制代码


自定义巡检支持两种脚本定义类型:


  • DORIS:在脚本中执行 SQL 逻辑,发送到 Doris 集群中,返回结果

  • AGENT:在脚本中执行 Shell 命令,发送到每一个 Agent 的宿主机执行,并返回结果


通过 user-defined-tasks.json 可以关联用户自定义脚本,在巡检时会对自定义项进行巡检操作。


加入交流群

如果您对 Doris Manager 产品感兴趣,或在使用过程中有任何问题与建议,欢迎扫描下方二维码加入产品交流群随时提问反馈!



发布于: 刚刚阅读数: 4
用户头像

SelectDB

关注

极速易用 开源开放 2022-04-20 加入

SelectDB 是基于 Apache Doris 构建的现代化数据仓库,支持大规模实时数据上的极速查询分析。

评论

发布
暂无评论
Doris Manager 24.3 版本正式发布,增强集群巡检能力_Apache_SelectDB_InfoQ写作社区