`
jzkangta
  • 浏览: 160978 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

九 redis学习笔记之虚拟内存(转)

    博客分类:
  • JAVA
 
阅读更多
原文地址:http://www.cnblogs.com/xhan/archive/2011/02/07/1949717.html

   首先说明下redis的虚拟内存与os的虚拟内存不是一码事,但是思路和目的都是相同的。就是暂时把不经常访问的数据从内存交换到磁盘中,从而腾出宝贵的 内存空间用于其他需要访问的数据。尤其是对于redis这样的内存数据库,内存总是不够用的。除了可以将数据分割到多个redis server外。另外的能够提高数据库容量的办法就是使用vm把那些不经常访问的数据交换的磁盘上。如果我们的存储的数据总是有少部分数据被经常访问,大 部分数据很少被访问,对于网站来说确实总是只有少量用户经常活跃。当少量数据被经常访问时,使用vm不但能提高单台redis server数据库的容量,而且也不会对性能造成太多影响。

        redis没有使用os提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内存机制,作者在自己的blog专门解释了其中原因。http://antirez.com/post/redis-virtual-memory-story.html
主要的理由有两点

1.os 的虚拟内存是已4k页面为最小单位进行交换的。而redis的大多数对象都远小于4k,所以一个os页面上可能有多个redis对象。另外redis的集 合对象类型如list,set可能存在与多个os页面上。最终可能造成只有10%key被经常访问,但是所有os页面都会被os认为是活跃的,这样只有内 存真正耗尽时os才会交换页面。

2.相比于os的交换方式。redis可以将被交换到磁盘的对象进行压缩,保存到磁盘的对象可以去除指针和对象元数据信息。一般压缩后的对象会比内存中的对象小10倍。这样redis的vm会比os vm能少做很多io操作。

下面是vm相关配置
vm-enabled yes                          #开启vm功能
vm-swap-file /tmp/redis.swap                 #交换出来的value保存的文件路径/tmp/redis.swap
vm-max-memory 1000000                    #redis使用的最大内存上限,超过上限后redis开始交换value到磁盘文件中。
vm-page-size 32                    #每个页面的大小32个字节
vm-pages 134217728                 #最多使用在文件中使用多少页面,交换文件的大小 = vm-page-size * vm-pages
vm-max-threads 4                    #用于执行value对象换入换出的工作线程数量。0表示不使用工作线程(后面介绍)

       redis的vm在设计上为了保证key的查找速度,只会将value交换到swap文件中。所以如果是内存问题是由于太多value很小的key造成 的,那么vm并不能解决。和os一样redis也是按页面来交换对象的。redis规定同一个页面只能保存一个对象。但是一个对象可以保存在多个页面中。 在redis使用的内存没超过vm-max-memory之前是不会交换任何value的。当超过最大内存限制后,redis会选择较老的对象。如果两个 对象一样老会优先交换比较大的对象,精确的公式swappability = age*log(size_in_memory)。 对于vm-page-size的设置应该根据自己的应用将页面的大小设置为可以容纳大多数对象的大小。太大了会浪费磁盘空间,太小了会造成交换文件出现碎 片。对于交换文件中的每个页面,redis会在内存中对应一个1bit值来记录页面的空闲状态。所以像上面配置中页面数量(vm-pages 134217728 )会占用16M内存用来记录页面空闲状态。vm-max-threads表示用做交换任务的线程数量。如果大于0推荐设为服务器的cpu core的数量。如果是0则交换过程在主线程进行。

参数配置讨论完后,在来简单介绍下vm是如何工作的,
当vm-max-threads设为0时(Blocking VM)
换出
主线程定期检查发现内存超出最大上限后,会直接已阻塞的方式,将选中的对象保存到swap文件中,并释放对象占用的内存,此过程会一直重复直到下面条件满足
1.内存使用降到最大限制以下
2.swap文件满了
3.几乎全部的对象都被交换到磁盘了

换入
当有client请求value被换出的key时。主线程会以阻塞的方式从文件中加载对应的value对象,加载时此时会阻塞所以client。然后处理client的请求

当vm-max-threads大于0(Threaded VM)
换出
当主线程检测到使用内存超过最大上限,会将选中的要交换的对象信息放到一个队列中交由工作线程后台处理,主线程会继续处理client请求。

换入
如果有client请求的key被换出了,主线程先阻塞发出命令的client,然后将加载对象的信息放到一个队列中,让工作线程去加载。加载完毕后工作线程通知主线程。主线程再执行client的命令。这种方式只阻塞请求value被换出key的client

总 的来说blocking vm的方式总的性能会好一些,因为不需要线程同步,创建线程和恢复被阻塞的client等开销。但是也相应的牺牲了响应性。threaded vm的方式主线程不会阻塞在磁盘io上,所以响应性更好。如果我们的应用不太经常发生换入换出,而且也不太在意有点延迟的话则推荐使用blocking vm的方式。关于redis vm的更详细介绍可以参考下面链接
http://antirez.com/post/redis-virtual-memory-story.html
http://redis.io/topics/internals-vm
分享到:
评论

相关推荐

    Redis学习笔记整理

    一、 redis 环境搭建 2 二、 redis学习笔记之数据类型 3 三、 redis学习笔记之排序 11 四、 redis学习笔记之事务 16 五、 redis学习笔记之pipeline 20 六、 redis学习笔记之发布订阅...九、 redis学习笔记之虚拟内存 31

    Redis学习笔记.rar

    redis学习笔记整理 一、 redis 环境搭建 2 二、 redis学习笔记之数据类型 3 三、 redis学习笔记之排序 11 四、 redis学习笔记之事务 16 五、 redis学习笔记之pipeline 20 ...九、 redis学习笔记之虚拟内存 31

    redis 缓存技术学习笔记

    ### Redis缓存技术学习笔记 #### 一、Redis概述 Redis是一个开源的、高性能的键值存储系统。它提供了一种灵活的方式来进行数据管理和存储,适用于多种应用场景,如缓存、消息队列等。与传统的键值存储系统...

    Redis学习笔记

    Redis学习笔记涵盖了Redis数据库的基础知识、性能特点、核心功能以及配置安装流程,为IT运维人员及开发者提供了从入门到进阶的参考指南。 一、Redis介绍 Redis是一个开源的高性能key-value数据库,它通过提供多种...

    redis学习笔记

    **九、Redis 虚拟内存** 虽然 Redis 默认将所有数据存储在内存中,但在内存不足时,可以通过虚拟内存设置将部分不常用的数据换出到磁盘。 以上就是 Redis 的基础知识点,了解并掌握这些内容将有助于你更好地利用 ...

    Redis的学习笔记

    此外,Redis 还有一些优化措施,如使用虚拟内存(Volatile LRU)策略处理内存不足的情况,将不常访问的数据淘汰到磁盘。Redis 的配置管理相当灵活,可以根据实际需求调整各项参数,以达到最佳性能和资源利用。 总的...

    redis阅读笔记.zip

    7. 虚拟内存:Redis的VM(Virtual Memory)特性允许将部分数据存储在磁盘上,以应对内存不足的情况,但这一特性在现代版本的Redis中已被弃用,转而推荐使用内存管理策略(如maxmemory)和淘汰策略来控制内存。...

    linux学习笔记.docx

    Linux学习笔记 Linux是一种自由和开放源码的操作系统,它基于Unix,被广泛应用于服务器、超级计算机、嵌入式设备等各种领域。这份笔记主要涵盖了Linux的基础知识,包括常用命令、安装配置、软件安装以及特定服务的...

    MYSQL开发学习笔记

    ### MySQL开发学习笔记知识点梳理 #### 一、基础知识概述 - **数据库定义**: 数据库(database)是用于存储数据的仓库,它可以高效地存储和处理数据。主要存储介质有两种:磁盘和内存(RAM)。 - **数据库分类**: - *...

    创建一个mysql学习笔记仓库.zip

    - 使用缓存:如使用MySQL的内存表或外部缓存系统(如Redis)。 8. **复制与集群** - 数据复制:主从复制确保数据冗余,提高可用性。 - 集群:MySQL集群提供高可用性和负载均衡。 9. **最新版本与社区** - ...

    Hadoop学习笔记

    【Hadoop学习笔记】 Hadoop 是一个开源框架,主要用于处理和存储大数据。它源自于解决互联网公司面临的海量数据处理问题,特别是Google发布的三篇技术论文,即GFS(Google File System)、MapReduce以及BigTable。...

    leetcode下载-study:学习笔记

    虚拟内存与物理内存转化 CPU 调度方式 进程栈大小 进程与线程区别 线程状态 网络 TCP 四次挥手 SYN Flood 如何避免 HTTP 头部字段 HTTP 请求方式 AIO OSI 七层模型 ARP 协议 Mysql Mysql 数据存储原理 Mysql 索引 ...

    【狂神说】笔记(史上最全)含各类md笔记.zip

    【狂神说】笔记系列是全面且深入的IT学习资源,涵盖了从基础到进阶的各种技术领域。这个压缩包包含了JavaScript、JavaWeb、Java基础、MyBatis、MySQL、Redis、Spring、Spring Boot以及SpringMVC和Vue等多个关键知识...

    学习笔记::books:JAVA,Spring,SpringMVC,SpringBoot,Mybatis,Vue,MySQL,MongoDB,Radis,Docker,Nginx,......笔记

    这些学习笔记涵盖了IT领域的多个重要方面,包括编程语言、框架、数据库、缓存技术、容器化和Web服务器等。下面将分别对这些知识点进行详细解释。 1. **Java**: Java是一种广泛使用的面向对象的编程语言,以其跨平台...

    群晖NAS系列教程.zip

    2. **硬件配置**:了解如何选择合适的群晖NAS型号,包括处理器、内存、硬盘数量和类型等,以及如何进行硬件升级,如增加内存或更换更强大的硬盘。 3. **DSM(DiskStation Manager)操作系统**:DSM是群晖NAS的核心...

Global site tag (gtag.js) - Google Analytics