一次完整的 JVM NativeMemoryTracking 堆外内存泄露分析

PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP

2780 user 11G 11G sleep 59 0 44:16:39 0.0% java/196

user@hostxxx> /opt/jdk1.8.0_40/bin/jstat -gcutil 2780

S0 S1 E O M CCS YGC YGCT FGC FGCT GCT

0.00 100.00 90.60 46.80 98.02 97.10 11323 4049.745 11 225.345 4275.090

分析

服务通过-Xmx=6G 指定最大堆分配为 6G，但实际 RSS 已达到 11G，开始怀疑堆外内存是否有内存泄露。为了有更好详细的数据，就在本地重现这个问题，并且打开了 NMT 持续监控。

NMT 的 Report 如下，重点关注每个分类下的 commit 大小，这个是实际使用的内存大小。

6739: #进程 ID

Native Memory Tracking:

Total: reserved=8491110KB, committed=7220750KB

(mmap: reserved=6293504KB, committed=6291456KB)

【一线大厂Java面试题解析+核心总结学习笔记+最新架构讲解视频+实战项目源码讲义】
浏览器打开：qq.cn.hn/FTf 免费领取

               Class (reserved=1107429KB, committed=66189KB) 

(classes #11979)

(malloc=1509KB #18708)

(mmap: reserved=1105920KB, committed=64680KB)

(thread #156)

(stack: reserved=158720KB, committed=158720KB)

(malloc=482KB #788)

(arena=182KB #310)

(malloc=6262KB #9319)

(mmap: reserved=249600KB, committed=34816KB)

(malloc=166601KB #1714646)

(mmap: reserved=282624KB, committed=282624KB)

(malloc=265KB #856)

(arena=131KB #3)

(malloc=132185KB #276370)

(mmap: reserved=13856KB, committed=13856KB)

(malloc=29209KB #91080)

(arena=2278KB #1)

• Native Memory Tracking (reserved=33212KB, committed=33212KB)

(malloc=168KB #2575)

(tracking overhead=33044KB)

(malloc=2284KB)

(mmap: reserved=12288KB, committed=0KB)

Virtual memory map:

......

并且在服务器上通过 cron job 来定期抓取 NMT 的 report 保存下来做分析，而且同时也把其对应的 RSS 和 PMAP 都抓取了一份。

COLLECTOR_PID=ps -ef|grep "ProcessName" | grep -v grep | awk '{print $2}'

OUTDIR=/opt/chkmem

HOSTNAME=hostname

prstat -s rss 1 1 > $OUTDIR/${HOSTNAME}coll${COLLECTOR_PID}prstatdate '+%Y%m%d_%H%M%S'.txt

/opt/jdk1.8.0_40/bin/jcmd $COLLECTO{R}_{P}IDVM.nativ{e}_{m}emorydetail>${OUTDIR}/${HOSTNAME}coll${COLLECTOR_PID}nmddate '+%Y%m%d_%H%M%S'.txt

pmap -x $COLLECTO{R}_{P}ID>${OUTDIR}/${HOSTNAME}coll${COLLECTOR_PID}pmapdate '+%Y%m%d_%H%M%S'.txt