Linux 性能问题分析流程与性能优化思路

作者：五分钟学大数据

2022 年 10 月 09 日
北京
本文字数：1464 字
阅读完需：约 5 分钟

排查顺序

1. 整体情况

top/htop/atop 命令查看进程/线程、CPU、内存使用情况，CPU 使用情况；
dstat 2 查看 CPU、磁盘 IO、网络 IO、换页、中断、切换，系统 I/O 状态;
vmstat 2 查看内存使用情况，内存状态；
iostat -d -x 2 查看所有磁盘的 IO 情况，系统 I/O 状态；
iotop 查看 IO 靠前的进程，系统的 I/O 状态；
perf top 查看占用 CPU 最多的函数，CPU 使用情况；
perf record -ag -- sleep 15 perf report 查看 CPU 事件占比，调用栈，CPU 使用情况；
sar -n DEV 2 查看网卡的吞吐，网卡状态；
/usr/share/bcc/tools/filetop -C 查看每个文件的读写情况，系统的 I/O 状态；
/usr/share/bcc/tools/opensnoop 显示正在被打开的文件，系统的 I/O 状态；
mpstat -P ALL 1 单核 CPU 是否被打爆；
ps aux --sort=-%cpu 按 CPU 使用率排序，找出 CPU 消耗最多进程；
ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20 统计前 20 内存占用；
awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20 统计内核前 20slab 的占用；

2. 进程分析，进程占用的资源

pidstat 2 -p 进程号查看可疑进程 CPU 使用率变化情况；
pidstat -w -p 进程号 2 查看可疑进程的上下文切换情况；
pidstat -d -p 进程号 2 查看可疑进程的 IO 情况；
lsof -p 进程号查看进程打开的文件；
strace -f -T -tt -p 进程号显示进程发起的系统调用；

3. 协议栈分析，连接/协议栈状态

ethtool -S 查看网卡硬件情况；
cat /proc/net/softnet_stat/ifconfig eth1 查看网卡驱动情况；
netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n 查看连接状态分布；
ss -ntp 或者 netstat -ntp 查看连接队列；
netstat -s 查看协议栈情况；

4. 方法论

RED 方法：监控服务的请求数（Rate）、错误数（Errors）、响应时间（Duration）。Weave Cloud 在监控微服务性能时提出的思路。

USE 方法：监控系统资源的使用率（Utilization）、饱和度（Saturation）、错误数（Errors）。

5. 性能分析工具

Linux 内核的各个子系统出发，汇总了对各个子系统进行性能分析时，你可以选择的工具。不过，虽然这个图是性能分析最好的参考资料之一，它其实还不够具体。比如，当你需要查看某个性能指标时，这张图里对应的子系统部分，可能有多个性能工具可供选择。但实际上，并非所有这些工具都适用，具体要用哪个，还需要你去查找每个工具的手册，对比分析做出选择。