TiDB 可观测性最佳实践

TiDB 介绍

TiDB，由 PingCAP 公司自主研发的开源分布式关系型数据库，是一款创新的 HTAP 数据库产品，它融合了在线事务处理（OLTP）和在线分析处理（OLAP）的能力，支持水平扩容和缩容，确保金融级的高可用性。TiDB 的实时 HTAP 特性使其能够同时高效处理高速事务和复杂分析查询，同时，它还是一个云原生的分布式数据库，兼容 MySQL 协议和生态，为用户提供一站式的 OLTP、OLAP 和 HTAP 解决方案，非常适合对高可用性、强一致性有较高要求以及需要处理大规模数据的应用场景。

对 TiDB 进行可观测和监控是确保数据库健康、稳定运行的关键，它允许实时跟踪性能指标，及时发现并解决潜在问题，从而优化性能和资源使用。这种监控还有助于预防故障、提升可靠性、保障数据安全、支持合规性要求、增强用户体验，并为业务决策提供洞察。此外，它支持有效的容量规划、成本控制和自动化运维，使得数据库管理更加高效和经济。简而言之，可观测和监控是维护 TiDB 高性能、高可用性和数据一致性的基础，对于满足业务需求和保障系统稳定性至关重要。

观测云

观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。

部署 DataKit

DataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。

登录观测云控制台，在「集成」 - 「DataKit」选择对应安装方式，当前采用 Linux 主机部署 DataKit。

数据采集

前置条件

已经安装好 TiDB，安装方式可以参考：TiDB 数据库快速上手指南 。

以下采集流程，均按照 TiDB 在单机上模拟部署生产环境集群方式进行采集。TiDB 各组件（共 4 个组件）均已暴露 metrics，协议为 http。

配置采集器

进入 DataKit 安装目录下的 conf.d/db 目录，复制 TiDB.conf.sample 。示例如下：

1、TiDB 指标采集

复制配置文件：

  cd /usr/local/datakit/conf.d/prom/  cp prom.conf.sample tidb_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}
[[inputs.prom]]  ## Exporter URLs.  urls = ["http://10.0.1.1:10080/metrics"]...  ## Collector alias.  source = "tidb_prom"...  [inputs.prom.tags]    # some_tag = "some_value"     tidb_cluster="test"

2、PD 指标采集

复制配置文件：

 cd /usr/local/datakit/conf.d/prom/ cp prom.conf.sample tidb_pd_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}
[[inputs.prom]]  ## Exporter URLs.  urls = ["http://10.0.1.1:2379/metrics"]  ## Collector alias.  source = "tidb_pd_prom"...  ## Customize tags.  [inputs.prom.tags]     tidb_cluster="test"...

3、TiKV 指标采集

复制配置文件：

 cd /usr/local/datakit/conf.d/prom/ cp prom.conf.sample tidb_tikv_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}
[[inputs.prom]]  ## Exporter URLs.  urls = ["http://10.0.1.1:20810/metrics", "http://10.0.1.1:20811/metrics", "http://10.0.1.1:20812/metrics"]...  ## Collector alias.  source = "tidb_tikv_prom"...  ## Customize tags.  [inputs.prom.tags]     tidb_cluster="test"...

4、TiFlash 指标采集

复制配置文件：

  cd /usr/local/datakit/conf.d/prom/  cp prom.conf.sample tidb_tiflash_prom.conf

调整配置文件：

# {"version": "1.61.0", "desc": "do NOT edit this line"}
[[inputs.prom]]  ## Exporter URLs.  urls = ["http://10.0.1.1:8234/metrics", "http://10.0.1.1:20292/metrics"]  ## Collector alias.  source = "tidb_tiflash_prom"...  ## Customize tags.  [inputs.prom.tags]     tidb_cluster="test"...

上述配置文件中 urls、source、tidb_cluster 需要修改，其他部分按需修改。

主要参数说明：

• urls：prometheus 指标地址，这里填写对应组件暴露出来的指标 url

• source：采集器别名，建议做区分

• interval：采集间隔

• measurement_prefix: 指标集前缀，方便管理分类

• tls_open：TLS 配置

• metric_types：指标类型，不填，代表采集所有指标，建议按需填写，涉及到时间线

• tags_ignore： 忽略不需要的 tag

• [inputs.prom.tags_rename.mapping]：tag 重命名，如果遇到 tag 与 filed 重名，则需要重命名 tag ，否则整个指标都无法进行采集。

• [inputs.prom.tags] ：设置 tag，应用于当前 metrics 的所有指标

重启 DataKit

重启 DataKit。

关键指标

TiDB 指标

TiKV 指标

PD 指标

场景视图

登录观测云控制台，点击「场景」 -「新建仪表板」，输入 “TiDB”， 选择 “TiDB 监控视图”，点击 “确定” 即可添加视图。

监控器（告警）

TiDB 重载最新的 Schema 信息失败次数过多

TiDB 重载最新的 Schema 信息失败的总次数。如果在 10 分钟之内重载失败次数超过 10 次，则报警。

TiDB 的 P99 请求的响应时间过长

TiDB 处理请求的延时。99% 的请求的响应时间都应在 1 秒之内，否则报警。

TiDB 访问 TiKV 错误重试的次数过多

TiDB 访问 TiKV 发生错误时发起重试的次数。如果在 10 分钟之内重试次数多于 10 次，则报警。

TiDB 中等待执行的 DDL 任务的数量过多

如果 TiDB 中等待执行的 DDL 任务的数量大于 5，则报警。

PD_etcd_write_disk_latenc

fsync 操作延迟大于 1s，代表 etcd 写盘慢，这很容易引起 PD leader 超时或者 TSO 无法及时存盘等问题，从而导致整个集群停止服务。

TiDB 集群空间占用超过 80%

集群空间占用超过 80%。

TiKV_raft_log_lag

这个值偏大，表明 Follower 已经远远落后于 Leader，Raft 没法正常同步了。可能的原因是 Follower 所在的 TiKV 卡住或者挂掉了。

总结

TiDB 作为一款高性能的分布式数据库，通过观测云平台进行统一采集和监控其关键指标，对于维护系统性能和稳定性至关重要。监控指标如缓存命中率、内存使用情况和延迟等，为我们提供了洞察数据库行为和性能的窗口。这些指标的实时追踪不仅帮助我们优化缓存策略，提高效率，还能识别性能瓶颈，预防和快速响应故障，确保系统的高可用性。