技术分享| 如何使用 Prometheus 实现系统进程监控

2023-01-03
上海
本文字数：2341 字
阅读完需：约 8 分钟

如何监控线上正在运营的系统？如何得知系统目前是正常还是异常？ Prometheus 是这么一套数据监控解决方案。它能让运维及开发人员随时掌控系统的运行状态，快速定位出现问题的位置，快速排除故障。只要按照 Prometheus 的方式来做，按部就班地学习和部署，我们就可以监控机器的 CPU、内存等资源的使用情况、应用程序的运行情况以及业务各项指标的实时数据。并且其与 Grafana 配套使用可以呈现出非常多样化的图表配置。对于中小规模的团队来说，可以极大地减少成本，加快研发速度。

一、概述

初识 Prometheus

Prometheus 是由 SoundCloud 开发的开源监控报警系统和时序列数据库。从字面上理解，Prometheus 由两个部分组成，一个是监控报警系统，另一个是自带的时序数据库（TSDB）。

2016 年，由 Google 发起的 Linux 基金会旗下的云原生计算基金会（CNCF）将 Prometheus 纳入作为其第二大开源项目。Prometheus 在开源社区也十分活跃，在 GitHub 上拥有 4 万多 Star,差不多 8K 的 Fork，并且系统每隔一两周就会有一个小版本的更新。

Prometheus 架构

从上图可以看到，整个 Prometheus 可以分为四大部分，分别是：

Prometheus 服务器

Prometheus Server 是 Prometheus 组件中的核心部分，负责实现对监控数据的获取，存储以及查询。

Process-exporter 业务数据源

业务数据源通过 Pull/Push 两种方式推送数据到 Prometheus Server。

AlertManager 报警管理器

Prometheus 通过配置报警规则，如果符合报警规则，那么就将报警推送到 AlertManager，由其进行报警处理。

可视化监控界面

Prometheus 收集到数据之后，由 WebUI 界面进行可视化图标展示。目前我们可以通过自定义的 API 客户端进行调用数据展示，也可以直接使用 Grafana 解决方案来展示。Prometheus 的实现架构并不复杂。其实就是收集数据、处理数据、可视化展示，再进行数据分析进行报警处理。但其珍贵之处在于提供了一整套可行的解决方案，并且形成了一整个生态，能够极大地降低我们的研发成本。

进程监控服务组件的搭建

下面我们介绍一下使用 Prometheus 实现进程监控我们需要搭建的组件：Prometheus + Process-exporter + Grafana。由于目前是在内网验证阶段，所以三个组件均安装在同一台服务器上面（系统：centos7.8）。

安装 Prometheus

首先先去官网下载对应系统的版本。下载后上传到部署的服务器，解压：

tar  -vxf  prometheus-2.40.5.linux-amd64.tar.gz

复制代码

编辑系统服务启动文件

vi/usr/lib/systemd/system/prometheus.service [Unit]Description=prometheusAfter=network.target
[Service]Type=simpleExecStart=/home/prometheus/prometheus/prometheus --config.file=/home/prometheus/prometheus/prometheus.yml --storage.tsdb.path=/home/prometheus/prometheus/data --storage.tsdb.retention=30d --log.level=info --web.external-url=http://192.168.1.108:9090Restart=on-failure
[Install]WantedBy=multi-user.target

复制代码

保存后，使用 systemctl 启动/关闭 Prometheus 服务

systemctl daemon-reloadsystemctl enable prometheussystemctl start prometheus

复制代码

启动后， Prometheus 的 web 界面如下图所示

1.安装 process-exporter

下载 process-exporter

wget https://github.com/ncabatoff/process-exporter/releases/download/v0.7.10/process-exporter-0.7.10.linux-amd64.tar.gz

复制代码

安装部署 process-exporter

tar -xvf process-exporter-0.7.10.linux-amd64.tar.gzmv process-exporter-0.7.10.linux-amd64 process-exporter

复制代码

编写配置文件

cd process-exportervi config.yamlprocess_names:  - name: "{{.Matches}}"    cmdline:    - 'qtalk_api'  - name: "{{.Matches}}"    cmdline:    - 'qtalk_user'  - name: "{{.Matches}}"    cmdline:    - 'qtalk_auth'

复制代码

编写启动脚本

vi /usr/lib/system/system/process-exporter.service[Unit]Description=process_exporterAfter=network.target
[Service]User=rootType=simpleExecStart=/home/prometheus/process-exporter/process-exporter -config.path /home/prometheus/process-exporter/config.yamlRestart=on-failure
[Install]WantedBy=multi-user.target

复制代码

启动

systemctl daemon-reloadsystemctl enable process-exportersystemctl start process-exporter

复制代码

验证

curl 192.168.1.108:9256/metrics

复制代码

注意：metrics 中包含：namedprocess_namegroup_num_procs{groupname=“map[:qtalk_api]”}即代表启动正确，否则查询 config.yaml 配置是否正确。

配置 Prometheus 在原 prometheus.yml 的末端添加下面配置

- job_name: 'process'static_configs:-targets: ['192.168.1.108:9256']

复制代码

热加载 Prometheus

./promtool check config  prometheus.ymlsystemctl reload prometheus.service

复制代码

2.安装 Grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.3.1-1.x86_64.rpmsudo yum install grafana-enterprise-9.3.1-1.x86_64.rpmsystemctl start grafana-server.service

复制代码

启动 Grafana 之后，使用 grafana 的 Web 界面登录之后，添加 Prometheus 的数据源，然后导入 Grafana 的进程监控模版（https://grafana.com/grafana/dashboards/8378-system-processes-metrics/），即可查看 process-exporter 配置的系统进程的运行情况，如下图所示：