背景
在做系统监控时，CPU 的使用率是一个关键的指标，它反映了系统的性能稳定性以及是否存在异常情况，能帮助我们了解系统的负载情况。通过监控 CPU 使用率，可以判断系统是否正常运行或者是否存在性能问题。如果 CPU 使用率过高，可能表示系统存在资源瓶颈，需要进行优化或升级。
CPU 监控的难点
现有的监控平台提供了多种方式来获取容器和 JVM 的 CPU 使用率，并能够实时发送 CPU 跳点的报警。然而，对于运维人员来说，这些功能远远不够，因为我们需要深入了解导致 CPU 高的原因。由于 CPU 是一个动态变化的指标，仅仅在收到报警后通过运维平台的手动操作进行排查，很难抓住事故发生的现场情况。因此，我们需要一个能够自动记录现场的工具。
自动 DUMP 工具
对于 Linux 系统，我们可以通过设置一个周期的定时任务来检测 CPU 使用率。如果我们发现 CPU 使用率高，我们可以获取 CPU 使用率高的线程，并进一步处理 JVM 线程抓包的问题。
我们可以使用 top 命令来获取进程的 CPU 使用率以及线程的 CPU 使用率。针对 JAVA 应用程序，我们可以使用 Jstack 来 dump 当前线程的堆栈信息。然后，我们可以解析这两者的输出，并通过线程号进行匹配，最终生成一个包含 CPU 使用率的线程堆栈清单。最后，我们可以将此清单持久化到一个文本文件中。
最终的输出文件格式如下：
当前JAVA进程ID:205当前JAVA进程ID(205)CPU使用率:99%Top 10 CPU占用线程信息：=======================================================线程TID: 1511, THREAD_NID:5e7, CPU使用率: 77.2%"Thread-31" #415 daemon prio=5 os_prio=0 tid=0x00007f00900cc800 nid=0x5e7 runnable [0x00007f01c5839000]java.lang.Thread.State: RUNNABLEat ......java.lang.reflect.Executable.sharedGetParameterAnnotations(Executable.java:553)at java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1626)at java.lang.Thread.run(Thread.java:748)=======================================================线程TID: 208, THREAD_NID:d0, CPU使用率: 2.0%"Gang worker#0 (Parallel GC Threads)" os_prio=0 tid=0x00007f037c02a000 nid=0xd0 runnable=======================================================线程TID: 209, THREAD_NID:d1, CPU使用率: 2.0%"Gang worker#1 (Parallel GC Threads)" os_prio=0 tid=0x00007f037c02b800 nid=0xd1 runnable=======================================================
复制代码
具体实现步骤如下：
从环境变量中读取 CPU 阈值和线程数阈值，脚本的两个配置项，不同分组和不同环境可以设置不同的阈值。
获取 JAVA 进程 ID：使用 pgrep 命令获取当前运行中的 Java 进程的 PID，并将其保存到变量中。
获取当前 CPU 使用率：使用 top 命令获取当前 CPU 使用率，主要是获取 JAVA 进程的 CPU 使用率。
检查 CPU 使用率是否超过阈值：与预设的 CPU 阈值进行比较，如果超过阈值，则执行后续操作，否则结束。
查找 JAVA 进程内占用 CPU 最高的线程：使用 top 命令查找占用 CPU 最高的前十个线程，并获取它们的相关信息。
捕捉 JVM 线程快照：使用 jstack 命令捕捉 JVM 线程快照，并将其保存到指定的日志文件中。
输出线程信息：解析并匹配线程栈文件，将占用 CPU 最高的前十个线程的信息包括线程的 PID 和堆栈信息合并到同一行输出。
日志记录和保存：将相关的 CPU 使用率及线程快照信息记录到日志文件中，方便后续分析和优化。
使用方式
在应用的启动脚本（start.sh）中添加命令，在 crontab 中添加一个分钟周期的定时任务
echo "* * * * * sh /export/App/bin/cpu-peak-dump.sh" | crontab -
复制代码
注：如果需要更细周期粒度的监控，也可以通过 while true 加 sleep 来控制运行周期，如果使用更细粒度周期时需要注意脚本本身造成的 CPU 使用率。
总结
该脚本是一个用于 CPU 性能监控的实用工具，通过定时检测并触发线程快照的方式，方便我们快速发现 CPU 异常占用以及定位问题所在。通过设置合适的阈值和线程数，可以根据具体项目的需求来应用该脚本，并根据日志记录的线程信息进行问题分析和优化。
注意：在使用该脚本时，需要根据具体环境配置相关的路径和变量，并根据项目的需要进行相应的调整和优化。
希望本文对您理解和运用该脚本提供了一些帮助，如有疑问或需要进一步了解，请随时联系我。
附录
完整的脚本文件 cpu-peak-dump.sh
#!/bin/bash
# 由crontab触发每分钟执行一次，判断CPU使用率大于阈值时触发dump# 使用方式：# 把当前文件放到项目中与start.sh相同的目录# 修改start.sh 在脚本最后加一行，一般是这一行后边 echo "$APP_NAME is up runnig :)"# echo "* * * * * sh /export/App/bin/cpu-peak-dump.sh" | crontab -# 可配置项:# 触发dump的cpu阈值。default 70# STACK_DUMP_CPU_THRESHOLD=xxx# 触发dump时列举的线程数（按使用率由高到低排列) default 10# STACK_DUMP_THREAD_COUNT=xxx# 配置方式，使用行云分组的环境变量配置即可# stack log 存放目录 /export/Logs/# stack log 文件名: jstack_snapshot_$(date +%Y%m%d%H%M%S).log# 最后，记得配置相应的日志清理策略
# 设置CPU阈值，当CPU使用率达到该阈值时触发线程快照CPU_THRESHOLD="${STACK_DUMP_CPU_THRESHOLD:-70}"THREAD_COUNT="${STACK_DUMP_THREAD_COUNT:-10}"
echo "Current CPU_THRESHOLD is $CPU_THRESHOLD"
JAVA_PID=$(pgrep -d, -x java)echo "Current JAVA_PID is $JAVA_PID"
# 使用top命令获取当前CPU使用率，并提取其中的CPU利用率百分比CPU_USAGE=$(top -b -n 1 | grep -A10 "PID USER" | grep java | grep "$JAVA_PID" | awk '{print $9}' | cut -d'.' -f1)
echo "Current Java($JAVA_PID) CPU_USAGE ：$CPU_USAGE"%
if [ -z "$JAVA_PID" ]; then echo "No Java process found." exit 1fi
# 检查CPU使用率是否超过阈值if [[ $CPU_USAGE -gt $CPU_THRESHOLD ]]; then
# 使用top命令查找占用CPU最高的前十个线程，并获取它们的信息 TOP_THREADS=$(top -H -b -n 1 -p "$JAVA_PID" | grep -A$THREAD_COUNT 'PID USER' | head -n $THREAD_COUNT | grep -v 'PID')
# 使用jstack捕捉JVM线程快照 # 请将下面的Java进程ID替换为你要监视的Java进程的实际进程ID JSTACK_OUTPUT=$(/export/servers/jdk1.8.0_191/bin/jstack "$JAVA_PID")
JSTACK_OUTPUT_FILE="/export/Logs/jstack_snapshot_$(date +%Y%m%d%H%M%S).log" echo "当前JAVA进程ID($JAVA_PID)CPU使用率:$CPU_USAGE"% >>$JSTACK_OUTPUT_FILE
# 获取占用CPU最高的前十个线程的信息，包括线程的PID和堆栈信息，并将它们合并到同一行输出 echo "Top ${THREAD_COUNT} CPU占用线程信息：" >>$JSTACK_OUTPUT_FILE while read -r THREAD_INFO; do THREAD_TID=$(echo "$THREAD_INFO" | awk '{print $1}') THREAD_NID=$(printf "%x\n" $THREAD_TID)
THREAD_STACK=$(echo "$JSTACK_OUTPUT" | sed -n "/nid=0x$THREAD_NID /,/^$/p") THREAD_CPU_USAGE=$(echo "$THREAD_INFO" | awk '{print $9}')
echo "=======================================================" >>$JSTACK_OUTPUT_FILE echo "线程TID: $THREAD_TID, THREAD_NID:$THREAD_NID, CPU使用率: $THREAD_CPU_USAGE%" >>$JSTACK_OUTPUT_FILE echo "$THREAD_STACK" >>$JSTACK_OUTPUT_FILE done <<<"$TOP_THREADS"
# echo "====all stack as below:====" >>$JSTACK_OUTPUT_FILE # echo "$JSTACK_OUTPUT" >>$JSTACK_OUTPUT_FILE echo "捕捉了JVM线程快照并保存到 $JSTACK_OUTPUT_FILE"fi
复制代码
评论