JVM优化之调整大内存分页(LargePage)

http://kenwu.me/tune-large-page-for-jvm-optimization

本文将从内存分页的原理，如何调整分页大小两节内容，向你阐述LargePage对JVM的性能有何提升作用，并在文末点明了大内分页的副作用。OK，让我们开始吧！

内存分页大小对性能的提升原理

首先，我们需要回顾一小部分计算机组成原理，这对理解大内存分页至于JVM性能的提升是有好处的。

什么是内存分页？
我们知道，CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~0xFFFFFFFF ，计算后得到的大小是4G，也就是说可支持的物理内存最大是4G。

但在实践过程中，碰到了这样的问题，程序使用4G内存，而可用物理内存小于4G，导致程序不得不降低内存占用。
为了解决此类问题，现代CPU引入了 MMU （Memory Management Unit 内存管理单元）。

MMU 中的核心思想是用虚拟地址替代物理地址，即CPU寻址时使用虚址，由 MMU 负责将虚址映射为物理地址。
这种设计解决了物理内存小于4G对程序的限制，对程序来说，自己就像在使用4G内存一样。

 

内存分页(Paging)是在使用MMU的基础上，提出的一种有效内存管理机制。它将虚拟地址和物理地址按固定大小（4K）切割成页(page)和页帧(page frame)，并且保证页与页帧的大小相同。

分页的好处是，提高访问内存的效率，支持非连续性内存分配，在程序内存不够用时，可以将不常用的物理内存页转移到其他存储设备上，比如磁盘，但必须以页为单位传输，这就是大家耳熟能详的虚拟内存。

在上文中提到，虚拟地址与物理地址要映射。这个映射的关系, 目前是被 MMU 存储在物理内存上一个被称之为页表(page table)的地方。
如下图：

从这张图中，可以清晰地看到CPU与页表，物理内存之间的交互关系。

进一步优化，引入TLB（Translation lookaside buffer，页表寄存器缓冲）
由上一节可知，页表是存储在内存中的。我们知道CPU通过总线访问内存，是慢于直接访问寄存器的。
为了进一步优化性能，现代CPU架构引入了TLB ，用来缓存一部分经常访问的页表内容。
如下图：

对比 9.6 那张图，在中间加入了TLB。

为什么要支持大内存分页？
TLB是有限的，这点毫无疑问。当超出TLB的存储极限时，就会发生 TLB miss，于是OS就会命令CPU去访问内存上的页表。如果频繁的出现TLB miss，程序的性能会下降地很快。

为了让TLB可以存储更多的页地址映射关系，我们的做法是调大内存分页大小。

如果一个页4M，对比一个页4K，前者可以让TLB多存储1000个页地址映射关系，性能的提升是比较可观的。

调整OS和JVM内存分页

在Linux和windows下要启用大内存页，有一些限制和设置步骤。

Linux：
限制：需要2.6内核以上或2.4内核已打大内存页补丁。
确认是否支持，请在终端敲如下命令：

# cat /proc/meminfo | grep Huge
HugePages_Total: 0
HugePages_Free: 0
Hugepagesize: 2048 kB

如果有HugePage字样的输出内容，说明你的OS是支持大内存分页的。Hugepagesize就是默认的大内存页size。
接下来，为了让JVM可以调整大内存页size，需要设置下OS 共享内存段最大值 和 大内存页数量。

共享内存段最大值
建议这个值大于Java Heap size，这个例子里设置了4G内存。

# echo 4294967295 > /proc/sys/kernel/shmmax

大内存页数量

# echo 154 > /proc/sys/vm/nr_hugepages

这个值一般是 Java进程占用最大内存/单个页的大小 ，比如java设置 1.5G，单个页 10M，那么数量为  1536/10 = 154。
注意：因为proc是内存FS，为了不让你的设置在重启后被冲掉，建议写个脚本放到 init 阶段(rc.local)。

Windows:
限制：仅支持 windows server 2003 以上server版本
操作步骤:

1. Control Panel -> Administrative Tools -> Local Security Policy
2. Local Policies -> User Rights Assignment
3. 双击 “Lock pages in memory”, 添加用户和组
4. 重启电脑

注意: 需要管理员操作。

单个页大小调整
JVM启用时加参数 -XX:LargePageSizeInBytes=10m
如果JDK是在1.5 update5以前的，还需要加 -XX:+UseLargePages，作用是启用大内存页支持。

大内存分页的副作用

因为每页size变大了，导致JVM在计算Heap内部分区（perm, new, old）内存占用比例时，会出现超出正常值的划分。最坏情况下是，某个区会多占用一个页的大小。不过后续jvm版本也在调整这个策略。

一般情况，不建议将页size调得太大，4-64M，是可以接受的（默认是4M），风险较小。为了合理设置这个值，你应该做对你的系统做一下benchmark。
网上我见过调得最猛的是，256M，从benchmark报表上看，不是太坏。如果你是64位的大内存机器，不妨尝试一下。

另外，网上很多GC调优的文章内容中都有提到 LargePageSizeInBytes，但未提任何OS限制。在OS不支持的情况下，这个参数，将仅仅是个摆设。