KVM 性能优化之内存优化

二、KVM 内存性能调优    

 

      我们说完CPU方面的优化，接着我们继续第二块内容，也就是内存方面的优化。内存方面有以下四个方向去着手：

      1. EPT 技术

      2. 大页和透明大页

      3. KSM 技术

      4. 内存限制

 

      2.1. EPT技术

      EPT也就是扩展页表，这是intel开创的硬件辅助内存虚拟化技术。我们知道内存的使用，是一个逻辑地址跟物理地址转换的过程。虚拟机内部有逻辑地址转成成物理地址的过程，然后再跳出来，虚拟机这块内存又跟宿主机存在逻辑到物理的转换。有了EPT技术，那么能够将虚拟机的物理地址直接翻译为宿主机的物理地址，从而把后面那个转换过程去掉了，增加了效率。

      那么这项技术，现在的服务器都支持，只要在BIOS打开了intel 的VT设置，那么这个也一起打开了。

    

      2.2 大页和透明大页

      我们先解释什么叫大页。

      所谓的大页指的是内存的大页面。当然，有大页面必然有对应的小页面... 我们知道内存采用的是分页机制，当初这个机制提出的时候，计算机的内存大小也就几十M，所以当时内存默认的页面大小都是4KB，那么这个4KB 也就是所谓的小页面。但是随着计算机的硬件发展，现在的内存基本上都是几十G 甚至上百G了，虽然，如果还是4KB小页的方式，那么必然会存在一些问题。那么会有哪些问题呢？操作系统如果还是小页存在，那么将会产生较多的TLB Miss和缺页中断，从而大大影响性能。

       为什么小页就存在较多的Miss和缺页中断呢？比如说系统里的一个应用程序需要2MB的内容，如果操作系统还是以4KB小页为单位，那么内存里就要有512个页面（512*4KB=2M），所以在TLB里就需要512个表项以及512个页表项，因此操作系统就要经历512次的TLB miss和512次的缺页中断才能将2MB的应用程序空间全部映射到物理内存里。想想，2MB内存的需要就要经历512次的操作，如果内存需求大呢？必然操作数量会大大增加，从而间接的影响性能。

       如果把这个4KB变成2MB呢？那就很轻松了，一次TLB Miss和缺页中断操作就完成了，大大的增加了效率。

       所以，虚拟机可以通过分配巨型页也就是刚才说的大页来提高运行性能。

       那么具体怎么操作呢？也就是说如何把这个4KB的小页变成2MB甚至1GB的大页，然后把这个大页赋给虚拟机使用？

       我们可以先通过命令 cat /proc/meminfo | grep HugePages 查看当前系统有多少个大页：

       

       我们看到，当前数量是0。

       那么如何设置大页的数量呢？也就是上面的HugePages_Total的数量。

       只要运行 echo 2000 > /proc/sys/vm/nr_hugepages 这个命令即可：

        

       已经变成了2000了。

       当然这样重启会失效，我们运行这个命令让它永久生效 ：sysctl -w vm.nr_hugepages=2000 

        运行了这个命令系统重启的话，大页的数量也将是保持2000，不会变。

 

       接下来，我们还得把大页进行挂载，我们运行：

       # mount -t hugetlbfs hugetlbfs /dev/hugepages

       这个hugetlbfs 是一种特殊文件系统，那至于为什么采用这样的文件系统是因为这样花费的代价小。

       那么通过这几步操作，开启->设置大页数量->挂载， 那么宿主机这块就没什么问题了。

 

       如果我们KVM里面的某个虚拟机要使用宿主机的大页，那么我们还得做如下操作：

       1. 重启下libvirtd服务

       2. 虚拟机也开启透明巨型页

       3. 关闭虚拟机编辑虚拟机XML设置虚拟机可以使用宿主机的巨型页数量

 

       我们先看看，当前的大页是没进程用的， hugepages_free是2000：

       

       我们先把libvirtd服务重启：systemctl restart libvirtd.service

       然后，我们看看虚拟机的透明大页有没有打开，一般默认系统是打开的，我们确认下：       我们看到是always状态，那么就是打开的，OK，我们进行下一步。

       编辑虚拟机XML文件，让它使用宿主机的大页。

       我们先把虚拟机关闭，然后 virsh edit vmname 命令修改，添加下图中红色框框的内容：        修改后，保存，然后开启虚拟机，注意这个虚拟机的内存是2G的配置。

       最后我们在宿主机运行 cat /proc/meminfo | grep -i HugePages 查看下大页的使用情况：

       

       我们发现hugepages_free 已经变成了912个了，那么使用了2000-912=1088 个。

         Hugepagesize是2M，也就是每页页面的大小，使用了1088个页面，那么2*1088=2176M  正好跟虚拟机内存的大小2G差不多。

 

       如果想让虚拟机释放大页，那么只要把这个虚拟机关机或者删除XML里刚才添加的配置。

       刚才的操作，我们只是针对一个虚拟机的，也就是说我们把大页面赋给了一个虚拟机。如果我们要赋予多个虚拟机怎么办？

       那么要让大页同时让多个虚拟机享用，有以下两步要做：

       1. 给NUMA 各个node节点分配多个2MB或者1GB的大页

       2. 编辑虚拟机xml文件以使用node里分配好的大页

       我们可以运行下面两个命令就可以给宿主机各个NUMA Node分配大页

    # echo 4 > /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages

    # echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

      这两个命令的意思就是先给node0里分配4个1GB的大页，然后再给node1分配1024个2MB的大页。

      然后执行相关挂载操作，这跟刚才我们做的操作类似：

    # mkdir /dev/hugepages1G

    # mount -t hugetlbfs -o pagesize=1G none /dev/hugepages1G

    # mkdir /dev/hugepages2M

    # mount -t hugetlbfs -o pagesize=2M none /dev/hugepages2M

      挂载成功后，重启下libvirtd服务，然后虚拟机就可以使用了，但是这里要注意的是，1GB的大页，虚拟机是不能直接使用的，需要在XML里指定。

      那么怎么指定? 我们目前宿主机NUMA node1和node2里面分别有4个1GB的和1024个2MB的大页。因此，只要跑在这两node上的虚拟机都可以享用了。

      比如刚才我们那虚拟机，我们要让它使用1GB的大页，我们只需要在XML里这样定义

    <memoryBacking>

          <hugepages/>

              <page size="1" unit="G" nodeset="0-3,5"/>

              <page size="2" unit="M" nodeset="4"/>

          </hugepages>

    </memoryBacking>

       红色的部分就是要添加的参数，size是1，表示第一个使用的page；然后单位unit是G，nodeset="0-3,5" 意思是虚拟机的NUMA node0，node1, node2 , node3和node5将使用1GB的大页 ； 虚拟机的node4将用2MB的大页。

       注意，这里的nodeset指的是虚拟机的节点，同时还要注意的是，如果宿主机大页面不够用了，你这样配置了，虚拟机是会起不来的。

      以上就是给虚拟机分配大页的方法。当然如果你想把宿主机的大页关闭，只要执行：

      # sysctl vm.nr_hugepages=0

      # umount hugetlbfs

  

      接下来我们讲下透明大页。

      从Centos6开始，linux系统自带了一技术叫透明巨型页（transparent huge page），它允许所有的空余内存被用作缓存以提高性能，而且这个设置是默认开启的，我们不需要手动去操作。

     Centos下，我们用 cat /sys/kernel/mm/transparent_hugepage/enabled 可以查看：

   

     我们看到这个中括号把这个always括起来了，说明这机器的透明巨型页的功能是打开的。当有512个页面可以整合的时候，就会合成一个2MB的大页；如果是在括号把never括起来了，那么就是关闭状态；madvise的话就是避免改变内存占用。

     当然，如果你想改变透明巨型页的状态，比如说关闭它，那么运行下面的命令即可。

     # echo never >/sys/kernel/mm/transparent_hugepage/enabled

      最后要注意的是透明巨型页跟刚才我们说的hugetlbfs 文件挂载大页是不冲突的，如果你没做任何大页的指定和挂载，那么KVM就会使用透明大页的方式。

      那么说到这，大家就会疑问，既然有透明大页，我为何还要费劲的去做相关大页的指定？ 其实这两种方式都差不多，区别就是一个是手动的一，个是自动的。如果你对你宿主机资源把握的更加精准，推荐的还是手动指定。

 

      2.3. KSM 技术

      KSM是什么呢？KSM（Kernel SamePage Merging），也就是所谓的相同页面内存压缩技术。

      KSM服务在linux系统里默认是开启的，它的作用就是让内存利用的更加高效，我们知道内存是分页的，如果多个程序中用的内存都是相同的页面，那么KSM就会把相同的内存合并，这样就能腾出更多的空间。

      KSM在系统里有个守护进程，它的作用就是不断的扫描宿主机的内存情况，检测有相同的页面就会合并，当然这或多或少会消耗点CPU。

 

      如果你的环境，内存资源比较丰富，建议这个功能开不开启都无所谓；如果不够，又想跑多一点的虚拟机，那么可以打开这个功能，但是你一定要清楚，这个是一种内存超用的方案，假如你的大部分虚拟机内存变化比较频繁（比如内存使用率一下高，一下低），那么不建议开启，因为内存不够了，就会用到swap，那么这个会严重影响虚拟机性能。

     下面有几个命令设置大家要了解：

     首先是开关KSM服务

     systemctl start|stop ksmd

     systemctl start|stop ksmtuned 

     systemctl enable|disable ksmd

     systemctl enable|disable ksmtuned

     其次是在宿主机KSM服务打开的情况下，如果不想让虚拟机受宿主机KSM的影响，那么可以这么操作：

     编辑虚拟机的XML文件，添加：

     <memoryBacking>

        <nosharepages/>

     </memoryBacking>

     这样，这个KSM就不会去合并这个虚拟机的内存了

     总的来说，用不用KSM视你自己的生产环境具体情况而定。

 

     2.4. 内存限制技术

     通过虚拟机内存限制，可以让虚拟机的内存使用限制在一定范围内。

     那么这个操作有什么作用呢？比如你的一台KVM宿主机，里面跑着多个业务的虚拟机，有的虚拟机业务比较大，吃得内存多，有的业务比较低，用不了多少内存，那么我们可以通过内存限制技术来手动调节宿主机的内存分配。

     当然这里要说明的是，使用这个必须对你虚拟化环境特别清楚，比如宿主机平时的负载情况以及各个虚拟机的负载情况。

     那么具体如何操作呢？我们通过memtune命令或者通过改虚拟机的XML文件来设定内存的限制。

     这个memtune命令有以下4个参数：

     hard_limit：强制设置虚拟机最大使用内存，单位为KB

     soft_limit：可用最大内存，单位为KB

     swap_hard_limit：虚拟机最多使用的内存加上swap的大小，单位为KB

     min_guarantee：强制设置虚拟机最低使用的内存，单位为KB

     最后一个参数虽然OPTIONS里有列出，但是实测是发现CentOS7.0 以上系统不能支持，执行的时候会报下面这样的错误：

     centos6 虽然不会报这个错，但是这命令貌似也不会有实际效果

     官方解释这是一个bug，大家可以参考下面的链接：

     https://bugzilla.redhat.com/show_bug.cgi?id=1122455

     --config ： 写入配置文件中，虚拟机重启后生效

     --live ：让设置立即生效，但是虚拟机重启后，效果消失 （如果不加--config --live --current 那么默认是这个）

     --current ：影响关机或者运行状态的虚拟机，如果当前虚拟机正在运行，那么虚拟机停止后，效果会消失

     例：

      # memtune VM3_CentOS7.1  --hard-limit 9437184 --config

       给虚拟机VM3_CentOS7.1  设置最大使用内存为9G

 

     # memtune VM3_CentOS7.1  --soft-limit 8388608 --config

     给虚拟机VM3_CentOS7.1  设置最大可用内存为8G

 

     # memtune VM3_CentOS7.1 --swap-hard-limit 10485760 --config

     限制虚拟机VM3_CentOS7.1最大内加可以使用的宿主机swap不超过10GB内存，注意设置这个值的时候必须大于hard-limit的所设置的值。

 

     这个设置可以慎用，因为虚拟机使用了swap那么速度性能肯定会下降很多，而且要注意的是，这里设置的内存大小必须大于hard-limit

http://mp.weixin.qq.com/s?__biz=MzA3Mzk0ODk5MA==&mid=2651603847&idx=1&sn=8353c4a62afeeb12cc59d8907edc4e78&scene=23&srcid=0505csByxccqe9cW8eE0T4R2#rd

     # memtune VM3_CentOS7.1  --min-guarantee 4194304 --config

     这个命令我们可以操作下，但是演示会发现前面所说的error

 

     以上是通过命令的方式，我们刚才说了，还可以通过修改XML的方式来现在虚拟机的内存。

     我们在XML里添加下面这个配置即可：

     <memtune>

          <hard_limit unit='KiB'>9437184</hard_limit>

          <soft_limit unit='KiB'>8388608</soft_limit>

          <swap_hard_limit unit='KiB'>10485760</swap_hard_limit>

     </memtune>

     注意第四个参数min_guarantee加里面会报错，虚拟机启动不了。

     以上几点就是KVM在内存方面的优化设置，大家要根据自己的生产环境情况，去做相关的调试。

 

参考链接：

http://blog.csdn.net/summer_liuwei/article/details/6013255

https://www.ibm.com/developerworks/cn/linux/l-cn-hugetlb/

http://lduan.blog.51cto.com/5428084/1716188

http://www.oracle.com/technetwork/cn/articles/servers-storage-dev/hugepages-2099009-zhs.html

https://access.redhat.com/documentation/zh-CN/Red_Hat_Enterprise_Linux/7/html/Virtualization_Tuning_and_Optimization_Guide/chap-Virtualization_Tuning_Optimization_Guide-Introduction.html#sect-Virtualization_Tuning_Optimization_Guide-Introduction-KVM_Overview

 

 

 

http://mp.weixin.qq.com/s?__biz=MzA3Mzk0ODk5MA==&mid=2651603847&idx=1&sn=8353c4a62afeeb12cc59d8907edc4e78&scene=23&srcid=0505csByxccqe9cW8eE0T4R2#rd