JVM性能监控与调优之概述命令行篇

背景说明

生产环境中出现的问题

• 生产环境发生了内存溢出该如何处理？
• 生产环境应该给服务器分配多少内存合适？
• 如何对垃圾回收器的性能进行调优？
• 生产环境 CPU 负载期飙高该如何处理？
• 生产环境应该给应用分配多少线程合适？
• 不加 log，如何确定请求是否执行了某一行代码？
• 不加 log，如何实时查看某个方法的入参与返回值？

为什么要调优

• 防止出现 OOM
• 解决 OOM
• 减少 Full GC 出现的频率

不同阶段的考虑

• 上线前
• 项目运行阶段
• 线上出现 OOM

调优概述

监控的依据

• 运行日志
• 异常堆栈
• GC 日志
• 线程快照
• 堆转储快照

调优的大方向

• 合理的编写代码
• 充分并合理使用硬件资源
• 合理地进行 JVM 调优

性能优化的步骤

第一步：性能监控（发现问题）

一种以非强行或者入侵方式收集或查看应用运营性能数据的活动。

监控通常是指一种在生产、质量评估或者开发环境下实施的带有预防或主动性的活动。

当应用相关干系人提出性能问题却没有提供足够多的线索时，首先我们需要进行性能监控，随后是性能分析。

• GC 频繁
• CPU load 过高
• OOM
• 内存泄漏
• 死锁
• 程序响应时间较长

第二步：性能分析（排查问题）

一种以侵入方式收集运行性能数据的活动，它会影响应用的吞吐量或响应性。

性能分析是针对性能问题的答复结果，关注的范围通常比性能监控更加集中。

性能分析很少在生产环境下进行，通常是在质量评估、系统测试或者开发环境下进行，是性能监控之后的步骤。

• 打印 GC 日志，通过GCview或者 http://gceasy.io来分析日志信息
• 灵活运用，命令行工具，jstack、 jmap、 jinfo等
• dump出堆文件，使用内存分析工具分析文件
• 使用阿里Arthas, 或 jconsole, JVisualVM来实时查看 JVM 状态
• jstack查看堆栈信息

第三步：性能调优（解决问题）

一种为改善应用响应性或吞吐量而更改参数、源代码、属性配置的活动，性能调优是在性能监控、性能分析之后的活动。

• 适当增加内存，根据业务背景选择垃圾回收器
• 优化代码，控制内存使用
• 增加机器，分散节点压力
• 合理设置线程池线程数量
• 使用中间件提高程序效率，比如缓存，消息队列等
• ...

性能评价/测试指标

停顿时间（响应时间）

提交请求和返回该请求的响应之间使用的时间，一般比较关注平均响应时间。

常用操作的响应时间列表：

操作	响应时间
打开一个站点	几秒
数据库查询一条记录（有索引）	十几毫秒
机械磁盘一次寻址定位	4 毫秒
从机械磁盘顺序读取 1M 数据	2 毫秒
从 SSD 磁盘顺序读取 1M 数据	0.3 毫秒
从远程分布式换成 Redis 读取一个数据	0.5 毫秒
从内存读取 1M 数据	十几微妙
Java 程序本地方法调用	几微妙
网络传输 2Kb 数据	1 微妙

在垃圾回收环节中：

暂停时间：执行垃圾收集时，程序的工作线程被暂停的时间。

-XX:MaxGCPauseMillis

吞吐量

对单位时间内完成的工作量（请求）的量度

在 GC 中：运行用户代码的时间占总运行时间的比例（总运行时间：程序的运行时间+内存回收的时间）

吞吐量为：1-1/(1+n)

-XX:GCTimeRatio=n

并发数

同一时刻，对服务器有实际交互的请求数。

1000 个人同时在线，估计并发数在 5%-15%之间，也就是同时并发量：50-150 之间。

内存占用

Java 堆区所占的内存大小。

相互间的关系

以高速公路通行状况为例

• 吞吐量：每天通过高速公路收费站的车辆的数据
• 并发数：高速公路上正在行驶的车辆的数
• 响应时间：车速

随着并发数越来越多，响应时间也就是车速会慢慢降低，吞吐量也可能会反而降低。

JVM 监控及诊断工具-命令行

概述

性能诊断是软件工程师在日常工作中需要经常面对和解决的问题，在用户体验至上的今天，解决好应用的性能问题能带来非常大的收益。

Java 作为最流行的编程语言之一，其应用性能诊断一直受到业界广泛关注。可能造成 Java 应用出现性能问题的因素非常多，例如线程控制、磁盘读写、数据库访问、网络 I/O、垃圾收集等。想要定位这些问题，一款优秀的性能诊断工具必不可少。

简单命令行工具

刚接触 java 学习的时候，大家肯定最先了解的两个命令就是javac , java

那么 , 除此之外，还有没有其他的命令可以供我们使用呢？

我们进入到安装 jdk 中的 bin 目录,发现还有一系列辅助工具。这些辅助工具用来获取目标 JVM 不同方面、不同层次的信息，帮助开发人员很好地解决 Java 应用程序的一些疑难杂症。

mac 系统：

jps：查看正在运行的 Java 进程

JPS(Java Process Staflus)：显示指定系统内所有的 HotSpot 虚拟机进程,可用于查询正在运行的虚拟机进程。

测试

/**
 * @author 又坏又迷人
 * 公众号: Java菜鸟程序员
 * @date 2021/2/7
 * @Description: 线程休眠,查看jps命令
 */
public class ThreadSleep {

    public static void main(String[] args) throws InterruptedException {
        TimeUnit.HOURS.sleep(1);
    }

}

运行起来之后，我们在命令行输入 jps 可以查看到该进程 id 以及名称。

对于本地虚拟机进程来说，进程的本地虚拟机 ID与操作系统的进程 ID是一致的，是唯一的。

基本用法

语法格式：

jps [options] [hostid]

options 参数

-q：仅仅显示本地虚拟机唯一 id。不显示名称。

jps -q

-l：输入应用程序朱磊的全类名或如果执行的是 jar 包，则输出 jar 完整路径。

jps -l

-m：输出虚拟机进程启动时传递给主类 main()的参数

jps -m

-v ：列出虚拟机进程启动时的 JVM 参数。比如：-Xms20m -Xmx50m

jps -v

如果 Java 进程关闭了默认开启的UsePerfData参数（即使用参数-XX:-UsePerfData) , 那么 jps 命令以及 jstat 将无法获取该 Java 进程。

hostid 参数

RMI 注册表中注册的主机名。

如果想要远程监控主机上的 java 程序，需要安装 jstatd。

对于具有更严格的安全实践的网络场所而言，可能使用一个自定义的策略文件来显示对特定的可信主机或网络的访问，尽管这种技术容易受到 IP 地址欺诈攻击。

如果安全问题无法使用一个定制的策略文件来处理，那么最安全的操作是不运行 jstatd 服务器，而是在本地使用 jstat 和 jps 工具。

jstat：查看 JVM 统计信息

jstat(JVM Statistics Monitoring Tool): 用于监视虚拟机各种运行状态信息的命令行工具。

它可以显示本地或者远程虚拟机进程中的类装载、内存、垃圾收集、JIT 编译等运行数据。

在没有 GUI 图形界面，只提供了纯文本控制台环境的服务器上，它将是运行期间定位虚拟机性能问题的首选工具。
常用于检测垃圾回收问题以及内存泄漏问题。

基本语法

基本语法为：

jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]]

查看命令相关参数：

jstat -h 或者 jstat -help

option 参数

选项 option 可以由以下值构成 :

类装载相关的：

-class ：显示 ClassLoader 的相关信息：类的装载、卸载数量、总空间、类装载所消耗的时间等

jstat -class PID

JIT 相关的：

-compiler：显示 JIT 编译器编译过的方法、耗时等信息。

jstat -compiler PID

-printcompilation：输出已经被 JIT 编译的方法。

jstat -printcompilation PID

垃圾回收相关的：

/**
 * @author 又坏又迷人
 * 公众号: Java菜鸟程序员
 * @date 2021/2/7
 * @Description: 测试jstat垃圾回收参数相关
 *
 * -Xms60m -Xmx60m -XX:SurvivorRatio=8
 */
public class GCTest {

    public static void main(String[] args) {
        ArrayList<byte[]> list = new ArrayList<>();
        int num = 1000;

        for (int i = 0; i < num; i++) {
            //100KB
            byte[] arr = new byte[1024 * 100];
            list.add(arr);
            try {
                Thread.sleep(100);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }

}

-gc：显示与 GC 相关的堆信息。包括 Eden 区、两个 Survivor 区、老年代、永久代等的容量、已用空间、GC 时间合计等信息。

jstat -gc PID

参数细节

新生代相关

• SOC 是第一个幸存者区的大小（字节）
• S1C 是第二个幸存者区的大小（字节）
• SOU 是第一个幸存者区已使用的大小（字节）
• S1U 是第二个幸存者区已使用的大小（字节）
• EC 是 Eden 空间的大小（字节）
• EU 是 Eden 空间已使用大小（字节）

老年代相关

• OC 是老年代的大小（字节）
• OU 是老年代已使用的大小（字节）

方法区（元空间）相关

• MC 是方法区的大小
• MU 是方法区已使用的大小
• CCSC 是压缩类空间的大小
• CCSU 是压缩类空间已使用的大小

其它

• YGC 是指从应用程序启动到采样时 young gc 次数
• YGCT 是指从应用程序启动到采样时 young gc 消耗的时间（秒）
• FGC 是指从应用程序启动到采样时 full gc 次数
• FGCT 是指从应用程序启动到采样时 full gc 消耗的时间（秒）
• GCT 是指从应用程序启动到采样时 gc 的总时间

-gcutil：显示内容与 -gc 基本相同，但输出主要关注已使用空间占总空间的百分比

jstat -gcutil PID

-gccapacity：显示内容与-gc基本相同，但输出主要关注 Java 堆各个区域使用到的最大、最小空间

jstat -gccapacity PID

-gccause：与 -gcutil 功能一样，但是会额外输出导致最后一次或当前正在发生的 GC 产生的原因。

jstat -gccause PID

-gcnew：显示新生代 GC 状况。

jstat -gcnew PID

• S0C：第一个 survivor 区大小
• S1C：第二个 survivor 区的大小
• S0U：第一个 survivor 区的使用大小
• S1U：第二个 survivor 区的使用大小
• TT：对象在新生代存活的次数
• MTT：对象在新生代存活的最大次数
• DSS：期望的 survivor 区大小
• EC：eden 区的大小
• EU：eden 区的使用大小
• YGC：年轻代垃圾回收次数
• YGCT：年轻代垃圾回收消耗时间

-gcnewcapacity：显示内容与-gcnew基本相同，输出主要关注使用到的最大、最小空间。

jstat -gcnewcapacity PID

• NGCMN：新生代最小容量
• NGCMX：新生代最大容量
• NGC：当前新生代容量
• S0CMX：最大 survivor1 区大小
• S0C：当前 survivor1 区大小
• S1CMX：最大 survivor2 区大小
• S1C：当前 survivor2 区大小
• ECMX：最大 eden 区大小
• EC：当前 eden 区大小
• YGC：年轻代垃圾回收次数
• FGC：老年代回收次数

-gcold: 显示老年代 GC 状况。

jstat -gcold PID

• MC：方法区大小
• MU：方法区使用大小
• CCSC：压缩类空间大小
• CCSU：压缩类空间使用大小
• OC：老年代大小
• OU：老年代使用大小
• YGC：年轻代垃圾回收次数
• FGC：老年代垃圾回收次数
• FGCT：老年代垃圾回收消耗时间
• GCT：垃圾回收消耗总时间

-gcoldcapacity：老年代内存统计，主要关注使用到的最大、最小空间。

jstat -gcoldcapacity PID

• OGCMN：老年代最小容量
• OGCMX：老年代最大容量
• OGC：当前老年代大小
• OC：老年代大小
• YGC：年轻代垃圾回收次数
• FGC：老年代垃圾回收次数
• FGCT：老年代垃圾回收消耗时间
• GCT：垃圾回收消耗总时间

-gcmetacapacity：输出永久代使用到的最大、最小空间。

jstat -gcmetacapacity PID

• MCMN:最小元数据容量
• MCMX：最大元数据容量
• MC：当前元数据空间大小
• CCSMN：最小压缩类空间大小
• CCSMX：最大压缩类空间大小
• CCSC：当前压缩类空间大小
• YGC：年轻代垃圾回收次数
• FGC：老年代垃圾回收次数
• FGCT：老年代垃圾回收消耗时间
• GCT：垃圾回收消耗总时间

-t 参数

可以在输出信息前加上一个 Timestamp 列，显示程序的运行时间。单位：秒。

jstat -class -t PID

-h 参数

可以在周期性数据输出时，输出多少行数据后输出一个表头信息。

jstat -class -hx PID

interval 参数

用于指定输出统计数据的周期，单位为毫秒。即：查询间隔。

jstat -class PID ms

count 参数

用于指定查询的总次数，n 为总次数

jstat -class PID ms n

jstat 还可以用来判断是否出现内存泄漏 :

第 1 步：

在长时间运行的 Java 程序中，我们可以运行 jstat 命令连续获取多行性能数据，并取这几行数据中 OU 列（即已占用的老年代内存）的最小值。

第 2 步：

然后，我们每隔一段较长的时间重复一次上述操作，来获得多组 OU 最小值。
如果这些值呈上涨趋势，则说明该 Java 程序的老年代内存已使用量在不断上涨，这意味着无法回收的对象在不断增加，因此很有可能存在内存泄漏。

jinfo：实时查看和修改 JVM 配置参数

jinfo(Configuralion Info for Java) : 查看虚拟机配置参数信息，也可用于调整虚拟机的配置参数。

在很多情况下，Java 应用程序不会指定所有的 Java 虚拟机参数。而此时，开发人员可能不知道某一个具体的 Java 虚拟机参数的默认值。

在这种情况下，可能需要通过查找文档获取某个参数的默认值。这个查找过程可能是非常艰难的。但有了 jinfo 工具，开发人员可以很方便地找到 Java 虚拟机参数的当前值。

基本语法

jinfo [ options ] pid

[options]:

选项	选项说明
no option	输出全部的参数和系统属性
-flag name	输出对应名称的参数
-flag [+-]name	开启或者关闭对应名称的参数只有被标记为 manageable 的参数才可以被动态修改
-flag name=value	设定对应名称的参数
-flags	输出全部的参数
-sysprops	输出系统属性

查看

-sysprops：可以查看由 System.getProperties()取得的参数。

jinfo -sysprops PID

-flags：查看曾经赋过值的一些参数。

jinfo -flags PID

-flag：查看某个 java 进程具体参数。

 jinfo -flag 具体参数 PID

修改

jinfo 不仅可以查看运行时某一个 Java 虚拟机参数的实际取值，甚至可以在运行时修改部分参数，并使之立即生效。

但是，并非所有参数都支持动态修改。参数只有被标记为 manageable 的 flag 可以被实时修改。其实，这个修改能力是极其有限的。

可以查看被标记为 manageable 的参数。

java -XX:+PrintFlagsFinal -version | grep manageable

intx CMSAbortablePrecleanWaitMillis	=100	{manageable}
intx CMSWaitDuration	=2000	{manageable}
bool HeapDumpAfterFullGC	=false	{manageable}
bool HeapDumpBeforeFullGC	=false	{manageable}
bool HeapDumpOnOutofMemoryError	=false	{manageable}
ccstr HeapDumpPath		{manageable}
uintx MaxHeapFreeRatio	=100	{manageable}
uintx MinHeapFreeRatio	=0	{manageable}
bool PrintClassHistogram	=false	{manageable}
bool PrintClassHistogragAfterFullGC	=false	{manageable}
bool PrintClassHistogramBeforeFullGC	=false	{manageable}
bool PrintConcurrentLocks	=false	{manageable}
bool PrintGC	=false	{manageable}
bool PrintGCDateStamps	=false	{manageable}
bool PrintGCDetails	=false	[manageable}
bool PrintGCTimeStamps	=false	{manageable}

针对 boolean 类型：

jinfo -flag [+-]具体参数 PID

针对非 boolean 类型：

jinfo -flag 具体参数=具体参数值 PID

扩展

• java -XX+PrintFlagslnitial PID：查看所有 JVM 参数启动的初始值。
• java -XX:+PrintFlagsFinal PID:查看所有 JVM 参数的最终值。
• java -XX+PrintCommandLineFlags PID：查看已经被用户或者 JVM 设置过的详细参数名称和值。

jmap：导出内存映像文件/内存使用情况

jmap(JVM Memory Map) : 作用一方面是获取 dump 文件（堆转储快照文件，二进制文件），它还可以获取目标 Java 进程的内存相关信息，包括 Java堆各区域的使用情况、堆中对象的统计信息、类加载信息等。

基本语法

jmap [option] <pid>
jmap [option] <executable <core>
jmap [option] [server_id@]<remote server IP or hostname>

其中 option 包括：

选项	作用
-dump	生成 dump 文件，-dump:live 只保存堆中存活的对象
-heap	输出整个堆空间的详细信息，包括 GC 的使用、堆配置信息，以及内存的使用信息等
-histo	输出堆空间中对象的统计信息，包括类、实例数量和合计容量
-permstat	以 ClassLoader 为统计口径输出永久代的内存状态信息（仅 linux/solaris 平台有效）
-finalizerinfo	显示在 F-Queue 中等待 Finalizer 线程执行 finalize 方法的对象（仅 linux/solaris 平台有效）
-F	当虚拟机进程对-dump 选项没有任何响应时，强制执行生成 dump 文件（仅 linux/solaris 平台有效）

说明：这些参数和 linux 下输入显示的命令多少会有不同，包括也受 jdk 版本的影响。

生成 Java 堆转储快照文件：dump

一般来说，使用 jmap 指令生成 dump 文件的操作算得上是最常用的 jmap 命令之一，将堆中所有存活对象导出至一个文件之中。

Heap Dump 又叫做堆存储文件，指一个 Java 进程在某个时间点的内存快照。Heap Dump 在触发内存快照的时候会保存此刻的信息如下：

• All Object’s

Class, fields, primitive values and references

• All Classes

ClassLoader, name, super class, static fields

• Garbage Collection Roots

Objects defined to be reachable by the JVM

• Thread Stacks and Local Variables

The call-stacks of threads at the moment of the snapshot, and per-frame information about local objects

说明：

1. 通常在写 Heap Dump 文件前会触发一次 Full GC , 所以 Heap Dump 文件里保存的都是 Full GC 后留下的对象信息。
2. 由于生成 dump 文件比较耗时，大家需要耐心等待，尤其是大内存镜像生成的 dump 文件则需要耗费更长的时间来完成。

手动的方式

jmap -dump:format=b,file=<filename.hprof><pid>
jmap -dump:live,format=b,file=<filename.hprof><pid> //存活对象

自动的方式

当程序发生 OOM 退出系统时，一些瞬时信息都随着程序的终止而消失，而重现 OOM 问题往往比较困难或者耗时。
此时若能在 OOM 时，自动导出 dump 文件就显得非常迫切。

这里介绍一种比较常用的取得堆快照文件的方法，即使用：

在程序发生 OOM 时，导出应用程序的当前堆快照 :

-XX:+HeapDumpOnOutOfMemoryError

可以指定堆快照的保存位置

-XX:HeapDumpPath=<filename.hprof>

显示堆内存相关信息

查看各区大小

jmap -heap pid

所有类型使用的内存

jmap -histo pid

由于 jmap 将访问堆中的所有对象，为了保证在此过程中不被应用线程干扰，jmap 需要借助安全点机制，让所有线程停留在不改变堆中数据的状态。
也就是说，由 jmap 导出的堆快照必定是安全点位置的。这可能导致基于该堆快照的分析结果存在偏差。

举个例子，假设在编译生成的机器码中，某些对象的生命周期在两个安全点之间，那么 :live 选项将无法探知到这些对象。

另外，如果某个线程长时间无法跑到安全点， jmap 将一直等下去。
与前面讲的 jstat 则不同 , 垃圾回收器会主动将 jstat 所需要的摘要数据保存至固定位置之中， jstat 只需直接读取即可。

jhat：JDK 堆分析工具

jhat(JVM Heap Analysis Topl) :

Sun JDK 提供的jhat命令与 jmap 命令搭配使用，用于分析 jmap 生成的 heap dump 文件（堆转储快照）。
jhat 内置了一个微型的 HTTP/HTML 服务器，生成 dump 文件的分析结果后，用户可以在浏览器中查看分析结果（分析虚拟机转储快照信息）。

使用了 jhat 命令，就启动了一个 http 服务，端口是 7000 , 即 http://localhost:7000/ , 就可以在浏览器里分析。

说明：jhat 命令在 JDK9、JDK10 中已经被删除，官方建议用 VisualVM 代替。

基本语法

jhat [option] [dumpfile]

之后我们访问 localhost:7000

option 参数

参数	含义
-stack false、true	关闭、打开对象分配调用栈跟踪
-refs false、true	关闭、打开对象引用跟踪
-port port-number	设置 jhat http 端口号 默认 7000
-exclude exclude-file	执行对象查询时需要排除的数据成员列表文件
-baseline exclude-file	制定一个基准堆转储
-debug int	设置 debug 级别
-version	启动后显示版本信息后就退出
-J <flag>	传入启动参数，比如 -J -Xmx512m

jstack：打印 JVM 中线程快照

jstack(JVM stlack Trace)：用于生成虚拟机指定进程当前时刻的线程快照（虚拟机堆栈跟踪）。线程快照 : 当前虚拟机内指定进程的每一条线程正在执行的方法堆栈的集合。

生成线程快照的作用：可用于定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间等待等问题。

这些都是导致线程长时间停顿的常见原因。当线程出现停顿时，就可以用 jstack 显示各个线程调用的堆栈情况。

在 thread dump 中，要留意下面几种状态：

• 死锁，Deadlock
• 等待资源，Waiting on condition
• 等待获取监视器，Waiting on monitor entry
• 阻塞，Blocked
• 执行中，Runnable
• 暂停，Suspended
• 对象等待中，Object.wait() 或 TIMED_WAITING
• 停止，Parked

基本语法

jstack [option] pid

jstack 管理远程进程的话，需要在远程程序的启动参数中增加：

• Djava.rmi.server.hostname=……
• Dcom.sun.management.jmxremote
• Dcom.sun.management.jmxremote.port=8888
• Dcom.sun.management.jmxremote.authenticate=false
• Dcom.sun.management.jmxremote.ssl=false

/**
 * @author 又坏又迷人
 * 公众号: Java菜鸟程序员
 * @date 2021/2/7
 * @Description: 死锁demo
 */
public class DeadLock {

    private static Object firstMonitor = new Object();
    private static Object secondMonitor = new Object();

    public static void main(String[] args) {
        new Thread(() -> {
            while (true) {
                synchronized (firstMonitor) {
                    synchronized (secondMonitor) {
                        System.out.println("Thread1");
                    }
                }
            }
        }).start();

        new Thread(() -> {
            while (true) {
                synchronized (secondMonitor) {
                    synchronized (firstMonitor) {
                        System.out.println("Thread2");
                    }
                }
            }
        }).start();
    }

}

option 参数

参数	含义
-F	当正常输出的请求不被响应时，强制输出线程堆栈
-I	出堆栈外，显示关于锁的附加信息
-m	如果调用到本地方法，可以显示 C/C++的堆栈
-h	帮助操作

jcmd：多功能命令行

在 JDK 1.7 以后，新增了一个命令行工具 jcmd 。
它是一个多功能的工具，可以用来实现前面除了 jstat 之外所有命令的功能。比如：用它来导出堆、内存使用、查看Java 进程、导出线程信息、执行GC、JVM 运行时间等。

jcmd 拥有 jmap 的大部分功能，并且在 Oracle 的官方网站上也推荐使用 jcmd 命令代 jmap 命令。

基本语法

jcmd -help

jcmd -l：列出所有的 JVM 进程

jcmd pid help：针对指定的进程，列出支持的所有命令

jcmd pid 具体命令：显示指定进程的指令命令数据。