`
annan211
  • 浏览: 463149 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

nginx + memcached session 同步

 
阅读更多

squid 缓存疑问 问题归纳:
1 squid 缓存的数据,何时过期,如何判断缓存的数据已经过期,如何把最新的数据缓入squid 并且替换掉旧的内容
2 如何判断数据是否应该被缓存
3 校验失败时,是否给出缓存中旧的内容

上面的几个问题  都可以通过 squid中的 refresh_pattern 配置项 找到答案。
答案简单归纳如下
1 何时过期 要根据配置选项
  squid 配置项 refresh_pattern [-i] regex min percent max [options]
  这个配置项中 min 和 max 是针对请求停留在cache中的时间设置的,
  min 参数是分钟数量,它是过时响应的最低时间限制。
如果某个响应驻留在cache里的时间没有超过这个最低限制,
那么它不会过期。同样max 参数是存活响应的最高时间限制。
如果某个响应驻留在cache里的时间高于这个最高限制,那么它必须被刷新

min max 并不是精确控制参数,如果需要精确控制 可以使用 percent
percent 会计算得出一个时间 以首页index.html为例,假设 有效期为 7分钟,
在 3:00缓入squid, 如果在这段有效期内,有改变则把最新的index.html返还给squid ,
而squid 收到会更新缓存,然后把新的index.html 返还给客户端,
同时根据新页面中的Last_Modified 和取页面的时间,重新计算resource age,同样也重新计算存活时间
如果没有改变的话 7分钟过后,首页过期,如果这段时间没有index.html的请求,
index.html会一直缓存中,如果有index.html 请求,squid收到请求后,
由于已经过期,squid 会像源服务器发一个index.html是否有改变的请求,
如果源服务器收到请求后,如果index.html没有更新,squid就不用缓存,
直接会把缓存中的内容给客户端;同时,重置对象进入cache的时间为源服务器确认的时间。

2 一个object的header部分被squid得到之后,是要判断一下,这个object在过期校验层面上,
是否适合被缓存。如果不适合(要校验一个object主要有2种手段,If-Modified-Since和If-None-Match,
一个需要Last-Modified头,一个需要ETag头。这两个头如果都没有的话,object也是不能缓存的。),
将直接不缓存这个object。
如果 过期时间 大于 配置文件中的minimum_expiry_time这个配置项 则会缓存,否则不会缓存。

3 检查当回源校验失败时,是否能将已经过期的object给出去。如果一次回源校验,
原站给出了一个5xx的话,squid为了能让客户端继续拿到内容,可能会将磁盘上的旧内容发给客户端,
但要有一定的条件,即检查object是否已经“严重过期”。
 

squid 配置文件中有 refresh_pattern 配置项

refresh_pattern最主要的作用,过期校验
Squid的过期校验是访问驱动的,如果一个object过期了,却又一直没人访问,
那么squid会一直把这个object扔在那里,而不会主动地回源校验它。
只有当客户端访问到了这个object的时候,squid才会校验。


先介绍一下refresh_pattern的配置方法:
refresh_pattern [-i] regex min percent max [options]
-i表示正则匹配时不区分大小写  - i 选项是忽略大小写,
regex是与url进行匹配的正则表达式
min,percent,max 是3个数字,min, max的单位是分钟,percent就是百分比。
min 参数是分钟数量,它是过时响应的最低时间限制。
如果某个响应驻留在cache里的时间没有超过这个最低限制,
那么它不会过期。同样max 参数是存活响应的最高时间限制。
如果某个响应驻留在cache里的时间高于这个最高限制,那么它必须被刷新
options是refresh_pattern的其他选项,包括以下几种
override-expire
override-lastmod
reload-into-ims
ignore-reload
ignore-no-cache
ignore-private
ignore-auth
stale-while-revalidate=NN
ignore-stale-while-revalidate
max-stale=NN
negative-ttl=NN


refresh_pattern  算法解析如下

squid的refresh_pattern 算法的简单描述
       1   如果响应年龄超过refresh_pattern 的max值,该响应过期;
       2  如果LM-factor 少于refresh_pattern 的percent的值。该响应存活
       3  如果响应年龄少于refresh_pattern 的min值,该响应存活
       4  其他情况,响应过期

Refresh_pattern  percent 计算方法
      Resource age=对象进入cache的时间 – 对象的last_modified
      Response age= 当前时间 – 对象进入cache的时间
      LM-factor   =(response age)/(resource age )


Date一般是Squid从后面取页面的时间,Last-Modified 一般是页面生成时间。
(当前时间定义为CURRENT_DATE)
1) If ((CURRENT_DATE-DATE(就是LM里定义的时间)) < min),cache是新鲜的
2) else if ((CURRENT_DATE-DATE) < (min + (max-min)*percent),cache是新鲜的
3) else cache是过期的

如果希望页面一进入cache就不删除,直到被主动purge掉为止,可以加上ignore-reload选项
该项常用在mp3,wma,wmv,gif 之类
一般情况可以使用 reload-into-ims。
举例:
refresh_pattern -i \.gif$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.jpg$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.png$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.mp3$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.wmv$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.rm$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.swf$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.mpeg$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.wma$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.css$ 10 50% 60 reload-into-ims
refresh_pattern -i \.js$ 10 50% 60 reload-into-ims
refresh_pattern -i \.xml$ 10 50% 30 reload-into-ims

举个例子解析 refresh_pattern 的配置项
refresh_pattern 20%
    假如源服务器上www.aaa.com/index.html - --lastmodified 是2007-04-10 02:00:00
         Squid 上的proxy.aaa.com/index.html  index.html存入cache的时间2007-04-10 03:00:00
   1  如果当前时间 2007-04-10 03:00:00
      Resource age =3点 – 2点 =60分钟
      Response age =0 分钟
      Index.html 还可以在cache 中停留的时间(resource age)*20%= 12 分钟,换句话说,
   index.html 进入cache后,可以停留十二分钟,才被重新载入
    2  如果当前时间是 2007-04-10 03:05:00
      Resource age =3点 – 2点 =60 分钟
      Response age=5 分钟
      Index.html 还可以在cache中停留的时间
     ( resource age)*20%=12 分钟-5=7分钟
      LM-factor=5/60 =8.3% <20%
    3  所有说2007-04-10 03:12:00 LM-factor=12/60=20% 之后,
        cache中的页面index.html 终于stale,如果这段时间没有index.html的请求,
index.html会一直缓存中,如果有index.html 请求,squid收到请求后,
由于已经过期,squid 会像源服务器发一个index.html是否有改变的请求,
如果源服务器收到请求后,如果index.html没有更新,squid就不用缓存,
直接会把缓存中的内容给客户端;同时,重置对象进入cache的时间为源服务器确认的时间。
比如2007-04-10 03:13:00 ,如果正好在这个后重新确认了页面。重置后,resource age 变长,
相应在cache中的cache中存活的时间也同样变长
   如果有改变则把最新的index.html返还给squid ,而squid 收到会更新缓存,
然后把新的index.html 返还给客户端,同时根据新页面中的Last_Modified 和取页面的时间,
重新计算resource age,同样也重新计算存活时间
    实际上,一个对象进入cache后,同样他的存活时间就确定了,即(resource age)* percent ,
直到被重新确认











分享到:
评论

相关推荐

    tomcat8+memcached session共享

    描述中提到的“nginx+tomcat8+memcached session共享所需jar包,直接放到tomcat/lib下即可”,暗示了实现这一功能需要一些特定的Java库(JAR包)。这些JAR包将集成到Tomcat的运行环境中,使Tomcat能够与Memcached...

    Windows7 + Nginx + Memcached + Tomcat 集群 session 共享

    `memcachedNodes`指定了Memcached服务器的地址,`sessionBackupAsync`控制是否异步备份,`sessionMode`设置为"sticky"表示粘滞会话,使得同一用户的请求总是被转发到同一台服务器,以减少session同步的复杂性。...

    nginx+tomcat+memcached

    这样,每次创建或更新session时,`tomcat`都会将操作同步到`memcached`。 3. **配置nginx**:在`nginx`配置文件中,设置负载均衡策略,如轮询、权重分配等,并配置session持久化,确保用户在同一个session ID下始终...

    Linux下Nginx+Memcached+Tomcat负载均衡集群服务搭建所需jar包

    通过添加特定的jar包(如做session共享所需jar包),可以实现Tomcat间的Session同步。 4. **负载均衡策略**: - **轮询(Round Robin)**:每个请求按顺序分配到不同的服务器。 - **权重轮询(Weighted Round ...

    Tomcat+memcached+Nginx实现session共享

    Tomcat、Nginx和memcached的组合是常见的Web服务器架构,其中session共享是解决多服务器间用户状态同步的关键问题。本方案主要通过MSM(Memcached Session Manager)来实现这一功能。 1. **MSM原理**: MSM是一个...

    Nginx+Tomcat+Memcached实现tomcat集群和session共享.docx

    在Tomcat集群中,通过Memcached来存储和同步session数据,确保用户在集群中的任何一台服务器上都能保持其会话状态。 **Nginx配置负载均衡和session共享** 1. **配置负载均衡** 在Nginx的配置文件(如`/usr/local/...

    nginx配置session+memcached所需jar包

    上述配置中,`memcachedNodes`指定了Memcached服务器的地址和端口,`sticky`表示是否启用会话粘滞性,`sessionBackupAsync`和`lockingMode`则关乎Session的同步策略,`requestUriIgnorePattern`可以忽略某些URL进行...

    nginx+tomcat7+memcached所需jar

    "nginx+tomcat7+memcached所需jar"的组合提供了一种解决方案,利用Memcached作为分布式缓存来实现跨服务器的session共享,提高系统的可扩展性和可用性。这个组合的关键在于`memcached session manager`,它使得...

    Windows+Nginx+Tomcat7+Memcached.zip

    在这个组合中,MSM JAR与Memcached结合,允许Tomcat实例之间的会话同步。当Nginx将请求转发到不同的Tomcat服务器时,通过Memcached,每个服务器都能访问并更新相同的会话数据。 具体实施步骤可能包括以下几点: 1. ...

    nginx tomcat memcached 集群 session共享

    当用户在任一Tomcat实例上登录或创建session后,这个session数据会被同步到Memcached。之后,无论用户请求哪个Tomcat实例,Nginx都会根据session ID查找对应的session数据,从而保持用户状态的一致性。 5. **配置...

    nginx + 多个tomcat8 + memercached session 共享--所需的jar包

    这段配置指定了Memcached服务器的地址,设置为非粘滞模式,选择自动锁定模式,并定义了哪些请求URL不应进行session同步。 最后,为了确保所有Tomcat实例都能正确地读取和写入session,需要确保使用的序列化库(如...

    nginx+tomcat6+session共享

    标题中的“nginx+tomcat6+session共享”指的是在Web服务器和应用服务器的集群环境中,如何通过Nginx、Tomcat6以及Session共享技术来实现用户会话在多个服务器之间的同步。这一配置对于高并发、高可用的系统设计至关...

    memcached+nginx+tomcat

    例如,`memcached-session-manager` 可能包含需要在 tomcat 中部署的 JAR 文件,以实现 memcached 与 tomcat 之间的 session 同步。 **文件名列表** 1. `memcached-session-manager.zip`: 这个文件可能包含了一个...

    nginx+tomcat7+session共享 kryo序列化所需要包

    nginx+tomcat7+session共享 kryo序列化所需要包 1.将上面所提到的包全部拷贝到tomcat的lib下(三台tomcat都需要) 2.修改每台tomcat的conf目录下得context.xml文件或者server.xml文件,在其中加入如下任意一段代码...

    Nginx+tomcat6+memcache配置集群session共享所需jar包

    这里我们关注的是如何通过Nginx、Tomcat6和Memcached实现集群中的session共享。这个压缩包“Nginx+tomcat6+memcache所需jar包”提供了实现这一目标所需的组件。 首先,Nginx是一个高性能的反向代理服务器,常用于...

    session共享 tomcat+nginx+memcache

    5. **Nginx配置**:在Nginx的配置文件中,你可以使用`ip_hash`或`sticky`模块来基于用户的IP地址或特定cookie保持会话粘滞,确保同一用户的请求始终路由到同一台Tomcat服务器,以减少Session同步的需求。 6. **测试...

    apache-tomcat-7.0.54+memcached+nginx

    2. 会话复制:使用`ReplicationManager`或其他支持的`Manager`实现,如`org.apache.catalina.ha.session.DeltaManager`,确保会话状态在节点间同步。 3. 配置通信通道:如`SimpleTcpCluster`,它使用TCP进行节点间的...

    tomcat使用memcached配置session同步的所有jar包

    tomcat使用memcached配置session同步的所有jar包,里面有asm-5.2.jar、kryo-4.0.0.jar、kryo-serializers-0.38.jar、memcached-session-manager-1.9.7.jar、minlog-1.3.0.jar、msm-kryo-serializer-1.9.7.jar、...

Global site tag (gtag.js) - Google Analytics