分代收集理论与垃圾回收算法

垃圾回收算法

垃圾收集算法的实现涉及大量的程序细节，且各个平台的虚拟机操作内存的方法都有差异，此处我们暂不过多讨论算法实现，只重点介绍分代收集理论和几种算法思想及其发展过程。

从如何判定对象消亡的角度出发，垃圾收集算法可以划分为：

• “引用计数式垃圾收集”（Reference Counting GC），也常被称作“直接垃圾收集”
• “追踪式垃圾收集”（Tracing GC），也常被称作“间接垃圾收集”

由于引用计数式垃圾收集算法在主流Java虚拟机中均未涉及，所以下面介绍的所有算法均属于追踪式垃圾收集的范畴。

分代收集理论

强、弱分代假说

当前商业虚拟机的垃圾收集器，大多数都遵循了“分代收集”（Generational Collection）的理论[1]进行设计，分代收集名为理论，实质是一套符合大多数程序运行实际情况的经验法则，它建立在两个分代假说之上：

1. 弱分代假说（Weak Generational Hypothesis）：绝大多数对象都是朝生夕灭的。
2. 强分代假说（Strong Generational Hypothesis）：熬过越多次垃圾收集过程的对象就越难以消亡。

[1]值得注意的是，分代收集理论也有其缺陷，最新出现（或在实验中）的几款垃圾收集器都展现出了面向全区域收集设计的思想，或者可以支持全区域不分代的收集的工作模式。

这两个分代假说共同奠定了多款常用的垃圾收集器的一致的设计原则：

1. 收集器应该将Java堆划分出不同的区域，然后将回收对象依据其年龄（年龄即对象熬过垃圾收集过程的次数）分配到不同的区域之中存储。（分代处理）
2. 如果一个区域中大多数对象都是朝生夕灭，那么每次回收时只须关注如何保留少量存活的对象，就能以较低代价回收到大量的空间；（处理新生代）
3. 如果一个区域中大多数对象都是难以消亡的，那么虚拟机便可以使用较低的频率来回收这个区域，这就同时兼顾了垃圾收集的时间开销和内存的空间有效利用。（处理老年代）

在Java堆划分出不同的区域之后：

• 垃圾收集器才可以每次只回收其中某一个或者某些部分的区域——因而才有了“Minor GC”“Major GC”“Full GC”这样的回收类型的划分；
• 针对不同的区域使用相匹配的垃圾收集算法——因而发展出了“标记-复制算法”“标记-清除算法”“标记-整理算法”等针对性的垃圾收集算法。

把分代收集理论具体放到现在的商用Java虚拟机里，设计者一般至少会把Java堆划分为新生代（Young Generation）和老年代（Old Generation）两个区域。顾名思义，在新生代中，每次垃圾收集时都发现有大批对象死去，而每次回收后存活的少量对象，将会逐步晋升到老年代中存放。

跨代引用假说

但不同区域的对象不是孤立的，对象之间会存在跨代引用，比如新生代中的对象完全有可能被老年代中的对象引用。所以如果只需要进行新生代的一次垃圾收集，为确保可达性分析正确，就还需要遍历整个老年代中的所有对象，反之也一样[2]。但遍历所有的老年代对象的方案会带来很大的性能负担，为了解决这个问题，就需要使用第三条经验法则：

1. 跨代引用假说（Intergenerational Reference Hypothesis）：跨代引用相对于同代引用来说仅占极少数。

[2]通常能单独发生收集行为的只是新生代，所以这里“反过来”的情况只是理论上允许，实际上除了CMS收集器，其他都不存在只针对老年代的收集。

依据这条假说，我们就不应再为了少量的跨代引用去扫描整个老年代，也不必浪费空间专门记录每一个对象是否存在及存在哪些跨代引用，只需在新生代上建立一个全局的数据结构（该结构被称为“记忆集”，Remembered Set），这个结构把老年代划分成若干小块，标识出老年代的哪一块内存会存在跨代引用。此后当发生Minor GC时（指新生代的垃圾收集），只有包含了跨代引用的小块内存里的对象才会被加入到GC Roots进行扫描。虽然这种方法需要在对象改变引用关系（如将自己或者某个属性赋值）时维护记录数据的正确性，会增加一些运行时的开销，但比起收集时扫描整个老年代来说仍然是划算的。

为避免产生混淆，这里统一定义一下回收类型的划分：

• 部分收集（Partial GC）：指目标不是完整收集整个Java堆的垃圾收集，其中又分为：

  • 新生代收集（Minor GC/Young GC）：指目标只是新生代的垃圾收集。
  • 老年代收集（Major GC/Old GC）：指目标只是老年代的垃圾收集。目前只有CMS收集器会有单独收集老年代的行为。另外请注意“Major GC”这个说法在不同资料上常有不同所指，需按上下文区分到底是指老年代的收集还是整堆收集。
• 混合收集（Mixed GC）：指目标是收集整个新生代以及部分老年代的垃圾收集。目前只有G1收集器会有这种行为。
• 整堆收集（Full GC）：收集整个Java堆和方法区的垃圾收集。

标记-清除算法

最早出现也是最基础的垃圾收集算法是“标记-清除”（Mark-Sweep）算法，在1960年由Lisp之父John McCarthy所提出。

算法分为“标记”和“清除”两个阶段：

• 首先标记出所有需要回收的对象，在标记完成后，统一回收掉所有被标记的对象
• 也可以反过来，标记存活的对象，统一回收所有未被标记的对象。

所以不管标记的是什么对象，清除的始终是垃圾对象。标记过程就是对象是否属于垃圾的判定过程，即可达性分析算法的过程。

后续的收集算法大多都是以标记-清除算法为基础，对其缺点进行改进而得到的。它的主要缺点有两个：

1. 执行效率不稳定。如果Java堆中包含大量对象，且其中大部分是需要被回收的，就必须进行大量标记和清除的动作，导致标记和清除两个过程的执行效率都随对象数量增长而降低；
2. 内存空间的碎片化。标记、清除之后会产生大量不连续的内存碎片，空间碎片太多可能会导致当以后在程序运行过程中需要分配较大对象时无法找到足够的连续内存而不得不提前触发另一次垃圾收集动作。

标记-复制算法

标记-复制算法常被简称为复制算法。

半区复制

为了解决标记-清除算法面对大量可回收对象时执行效率低的问题，1969年Fenichel提出了一种称为“半区复制”（Semispace Copying）的垃圾收集算法：

1. 将可用内存按容量划分为大小相等的两块，每次只使用其中的一块。
2. 当这一块的内存用完了，就将还存活着的对象复制到另外一块上面，然后再把已使用过的内存空间一次清理掉。

半区复制算法的优点：

1. 对于多数对象都是可回收的情况，算法需要复制的就是占少数的存活对象，执行效率高
2. 每次都是针对整个半区进行内存回收，分配内存时也就不用考虑有空间碎片的复杂情况，只要移动堆顶指针，按顺序分配即可。

现在的商用Java虚拟机大多都优先采用了这种收集算法去回收新生代，不过并不需要按照1∶1的比例来划分新生代的内存空间。

Appel式回收

在1989年，Andrew Appel针对具备“朝生夕灭”特点的对象，提出了一种更优化的半区复制分代策略，现在称为“Appel式回收”。HotSpot虚拟机的Serial、ParNew等新生代收集器均采用了这种策略来设计新生代的内存布局[1]。Appel式回收的具体做法是：

1. 把新生代分为一块较大的Eden空间和两块较小的Survivor空间，每次分配内存只使用Eden和其中一块Survivor。
2. 发生垃圾搜集时，将Eden和Survivor中仍然存活的对象一次性复制到另外一块Survivor空间上，然后直接清理掉Eden和已用过的那块Survivor空间。

HotSpot虚拟机默认Eden和Survivor的大小比例是8∶1，也即每次新生代中可用内存空间为整个新生代容量的90%（Eden的80%加上一个Survivor的10%），只有一个Survivor空间，即10%的新生代是会被“浪费”的。

但任何人都没有办法百分百保证每次回收都只有不多于10%的对象存活，因此Appel式回收还有一个充当罕见情况的“逃生门”的安全设计，当Survivor空间不足以容纳一次Minor GC之后存活的对象时，就需要依赖其他内存区域（实际上大多就是老年代）进行分配担保（Handle Promotion）。

标记-整理算法

老年代一般不能直接使用标记-清除算法，因为：

1. 标记-复制算法在对象存活率较高时就要进行较多的复制操作，效率将会降低。
2. 如果不想浪费50%的空间，就需要有额外的空间进行分配担保，以应对所有对象都100%存活的极端情况

针对老年代对象的存亡特征，1974年Edward Lueders提出了另外一种有针对性的“标记-整理”（Mark-Compact）算法，其中的标记过程仍然与“标记-清除”算法一样，但后续步骤不是直接对可回收对象进行清理，而是让所有存活的对象都向内存空间一端移动，然后直接清理掉边界以外的内存。

标记-清除算法与标记-整理算法的本质差异在于前者是一种非移动式的回收算法，而后者是移动式的。是否移动回收后的存活对象是一项优缺点并存的风险决策：

1. 如果移动存活对象，移动存活对象并更新所有引用这些对象的地方将会是一种极为负重的操作，而且这种对象移动操作必须全程暂停用户应用程序才能进行[1]，这样的停顿被最初的虚拟机设计者形象地描述为“Stop The World”[2]。
2. 但如果跟标记-清除算法那样完全不考虑移动和整理存活对象的话，弥散于堆中的存活对象导致的空间碎片化问题就只能依赖更为复杂的内存分配器和内存访问器来解决。譬如通过“分区空闲分配链表”来解决内存分配问题（计算机硬盘存储大文件就不要求物理连续的磁盘空间，能够在碎片化的硬盘上存储和访问就是通过硬盘分区表实现的）。内存的访问是用户程序最频繁的操作，甚至都没有之一，假如在这个环节上增加了额外的负担，势必会直接影响应用程序的吞吐量。

【1】最新的ZGC和Shenandoah收集器使用读屏障（Read Barrier）技术实现了整理过程与用户线程的并发执行
【2】通常标记-清除算法也是需要停顿用户线程来标记、清理可回收对象的，只是停顿时间相对而言要来的短而已。

基于以上两点，是否移动对象都存在弊端，移动则内存回收时会更复杂，不移动则内存分配时会更复杂。

从垃圾收集的停顿时间来看，不移动对象停顿时间会更短，甚至可以不需要停顿，但是从整个程序的吞吐量来看，移动对象会更划算。HotSpot虚拟机里面关注吞吐量的Parallel Scavenge收集器是基于标记-整理算法的，而关注延迟的CMS收集器则是基于标记-清除算法的，这也从侧面印证这点。

另外，还有一种“和稀泥式”解决方案可以不在内存分配和访问上增加太大额外负担，做法是让虚拟机平时多数时间都采用标记-清除算法，暂时容忍内存碎片的存在，直到内存空间的碎片化程度已经大到影响对象分配时，再采用标记-整理算法收集一次，以获得规整的内存空间。前面提到的基于标记-清除算法的CMS收集器面临空间碎片过多时采用的就是这种处理办法。

个人总结

分代收集理论的三个假说是什么？

1. 弱分代假说（Weak Generational Hypothesis）：绝大多数对象都是朝生夕灭的。
2. 强分代假说（Strong Generational Hypothesis）：熬过越多次垃圾收集过程的对象就越难以消亡。
3. 跨代引用假说（Intergenerational Reference Hypothesis）：跨代引用相对于同代引用来说仅占极少数。

三个分代假说的作用分别是什么？

1. 弱分代假说和强分代假说指导Java堆划分为了不同的区域，不同区域存放不同年龄的对象，在不同区域上使用不同的垃圾收集算法。
2. 跨代引用假说指导我们在进行新生代区域的垃圾收集时，不必为了少量的跨代引用去扫描整个老年代的对象，只需要扫描部分存在跨代引用的老年代的对象。

回收类型划分的一般定义是什么？

• 部分收集（Partial GC）：指目标不是完整收集整个Java堆的垃圾收集，其中又分为：

  • 新生代收集（Minor GC/Young GC）：指目标只是新生代的垃圾收集。
  • 老年代收集（Major GC/Old GC）：指目标只是老年代的垃圾收集。目前只有CMS收集器会有单独收集老年代的行为。另外请注意“Major GC”这个说法在不同资料上常有不同所指，需按上下文区分到底是指老年代的收集还是整堆收集。
• 混合收集（Mixed GC）：指目标是收集整个新生代以及部分老年代的垃圾收集。目前只有G1收集器会有这种行为。
• 整堆收集（Full GC）：收集整个Java堆和方法区的垃圾收集。

标记-清除算法的缺点？

• 执行效率不稳定。如果Java堆中包含大量对象，且其中大部分是需要被回收的，就必须进行大量标记和清除的动作，导致标记和清除两个过程的执行效率都随对象数量增长而降低；所以不适用于新生代，更适合老年代。
• 标记、清除之后会产生大量不连续的内存碎片

标记-复制算法主要应用在哪部分空间？HotSpot中的新生代内存默认是怎么划分的？

1. 标记-复制算法主要应用在堆的新生代。
2. Appel式回收将新生代划分为一块Eden空间和两块Survivor空间，HotSpot默认Eden和Survivor的大小比例是8∶1。

标记-整理算法的过程是怎样的？标记-整理和标记-清除算法的区别是什么？

1. 标记整理算法的标记过程与“标记-清除”算法一样，但后续步骤不是直接对可回收对象进行清理，而是让所有存活的对象都向内存空间一端移动，然后直接清理掉边界以外的内存。

2. 标记-清除算法与标记-整理算法的本质差异在于前者是一种非移动式的回收算法，而后者是移动式的。

   1. 移动则内存回收时会更复杂，停顿时间更长，但整个程序的吞吐量高。
   2. 不移动则内存分配时会更复杂，整个程序吞吐量低，但停顿时间更短。

参考资料

• 《深入理解Java虚拟机（第三版）》