- 浏览: 78429 次
文章分类
- 全部博客 (82)
- java (5)
- gearman (1)
- jvm (3)
- 面试 (1)
- Nginx、Resin (1)
- 性能调优 (1)
- 架构 (1)
- OpenGIS 介绍(转) (1)
- 推荐系统 (1)
- elipse、tomcat (2)
- http (3)
- linux (6)
- mongodb (4)
- 感悟 (4)
- 开源 (7)
- 监控 (1)
- varnish (4)
- tomcat (7)
- tom (1)
- 项目网站 (1)
- 数据结构 (1)
- 前端 (2)
- 大神必杀技 (1)
- 算法 (2)
- 浏览器 (1)
- spring (2)
- 队列 (1)
- 测试 (1)
- nginx (1)
- nosql (1)
- thirft (1)
- oracle (1)
- solr (7)
- redis (1)
- 缓存 (1)
- hadoop (3)
- git (1)
- connection pool (1)
最新评论
-
wangluo605:
太牛叉了。我这一两月就假死一次。访问没响应。看tomcat还在 ...
Tomcat 假死原因分析 -
sina_jerry_chen:
朴兄谬赞了!!!
我这十年 -
85977328:
光哥威武~
我这十年
varnish缓存的配置优化
Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid,性能比以前更好。
但与老牌的squid相比,各有各的优劣势,网上大量的相对比较只是在其个人对自己熟悉的应用的最大使用上的发挥而已,可能squid到了有能力的人手上才足以发挥最强大的威力
Varnish采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。
通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存,这一点是Squid不能具备的。
本人就varnish的一些见解与配置方法做简单的介绍与笔记
实验环境:Red Hat Enterprise Linux Server release 5.4 (Tikanga)
内核2.6.18-164.el5
yum install pcre-devel ##预先安装一个软件包,不然会提示错误
tar zxvf varnish-2.1.3.tar.gz
cd varnish-2.1.3
./configure --prefix=/usr/local/varnish-2.1.3
make && make install
编辑配置文件,有模版,但太多注释,最好自己新建一个
vim /usr/local/varnish-2.1.3/etc/varnish/varnish.conf
############下面附上配置文件的内容及注释#######################
#http请求处理过程
#1,receive请求入口状态,根据vcl判断pass还是lookup本地查询
#lookup,在hash表中查找数据,若找到则进入hit状态,否则进入fetch状态
#pass,选择后台,进入fetch状态
#fetch,对请求进行后端的获取,发送请求,获得数据,并进行本地存储
#deliver,将数据发送给客户端,进入done
#done,处理结束
##########配置后端服务器##############
backend kangta01 {
.host = "192.168.1.142";
.port = "7070";
.probe = {
.timeout = 5s;
.interval = 2s;
.window = 10;
.threshold = 8;
}
}
backend kangta02 {
.host = "192.168.1.141";
.port = "7070";
.probe = {
.timeout = 5s;
.interval = 2s;
.window = 10;
.threshold = 8;
}
}
##############配置后端服务器组,进行健康检测6秒,使用random方式设置权重########
#########另一种方式round-robin则默认轮询机制####################
director kangta15474 random
{ .retries = 6;
{ .backend = kangta02;
.weight = 2;
}
{ .backend = kangta01;
.weight = 2;
}
}
##########定义访问列表,允许下列地址清除varnish缓存#######################
acl local {
"localhost";
"127.0.0.1";
}
########从url判断针对哪类后面服务器及缓存配置############################
sub vcl_recv
{
if (req.http.host ~ "^kangta15474.vicp.net") #匹配域名跳转后台服务器
{ set req.backend = kangta15474; }
else { error 404 "Unknown HostName!"; }
if (req.request == "PURGE") #不允许非访问控制列表内的IP清除varnish缓存
{ if (!client.ip ~ local)
{
error 405 "Not Allowed.";
return (lookup);
}
}
#清除url中有jpg等文件的cookie
if (req.request == "GET" && req.url ~ "\.(jpg|png|gif|swf|jpeg|ico)$")
{
unset req.http.cookie;
}
#判断req.http.X-Forwarded-For 如果前端有多重反向代理,这样可以获取客户端IP地址。
if (req.http.x-forwarded-for)
{
set req.http.X-Forwarded-For = req.http.X-Forwarded-For ", " client.ip;
}
else { set req.http.X-Forwarded-For = client.ip; }
##varnish实现图片的防盗链
# if (req.http.referer ~ "http://.*)
# {
# if ( !(req.http.referer ~ "http://.*vicp\.net" ||
# req.http.referer ~ "http://.*kangta15474\.net" ) )
# {
# set req.http.host = "kangta15474.vicp.net";
# set req.url = "/referer.jpg";
# }
# return(lookup);
# }
# else {return(pass);}
if (req.request != "GET" &&
req.request != "HEAD" &&
req.request != "PUT" &&
req.request != "POST" &&
req.request != "TRACE" &&
req.request != "OPTIONS" &&
req.request != "DELETE")
{ return (pipe); }
#对非GET|HEAD请求的直接转发给后端服务器
if (req.request != "GET" && req.request != "HEAD")
{ return (pass); }
##对GET请求,且url里以.php和.php?结尾的,直接转发给后端服务器
if (req.request == "GET" && req.url ~ "\.(php)($|\?)")
{ return (pass); }
##对请求中有验证及cookie,直接转发给后端服务器
if (req.http.Authorization || req.http.Cookie)
{ return (pass);}
{
##除以上的访问请求,从缓存中查找
return (lookup);
}
##指定的font目录不进行缓存
if (req.url ~ "^/fonts/")
{ return (pass); }
}
sub vcl_pipe
{ return (pipe); }
##进入pass模式,请求被送往后端,后端返回数据给客户端,但不进入缓存处理
sub vcl_pass
{ return (pass); }
sub vcl_hash
{
set req.hash += req.url;
if (req.http.host)
{ set req.hash += req.http.host; }
else { set req.hash += server.ip; }
return (hash);
}
##在lookup后如果在cache中找到请求的缓存,一般以下面几个关键词结束
sub vcl_hit
{
if (!obj.cacheable)
{ return (pass); }
return (deliver);
}
##lookup后没有找到缓存时调用,以下面几个关键词结束,及调用fetch参数重新测试是否加入缓存
sub vcl_miss
{ return (fetch); }
#让varnish服务器缓存的类型,从后端取得数据后调用
sub vcl_fetch
{ if (!beresp.cacheable)
{ return (pass); }
if (beresp.http.Set-Cookie)
{ return (pass); }
##WEB服务器指明不缓存的内容,varnish服务器不缓存
if (beresp.http.Pragma ~ "no-cache" || beresp.http.Cache-Control ~ "no-cache" || beresp.http.Cache-Control ~ "private")
{ return (pass); }
##对访问中get有包含jpg,png等格式的文件进行缓存,缓存时间为7天,s为秒
if (req.request == "GET" && req.url ~ "\.(js|css|mp3|jpg|png|gif|swf|jpeg|ico)$")
{ set beresp.ttl = 7d; }
##对访问get中包含htm等静态页面,缓存300秒
if (req.request == "GET" && req.url ~ "\/[0-9]\.htm$")
{ set beresp.ttl = 300s; }
return (deliver);
}
####添加在页面head头信息中查看缓存命中情况########
sub vcl_deliver
{
set resp.http.x-hits = obj.hits ;
if (obj.hits > 0)
{ set resp.http.X-Cache = "HIT cqtel-bbs"; }
else { set resp.http.X-Cache = "MISS cqtel-bbs"; }
}
#########################以上为 varnish的配置文件##########################
创建用户:
groupadd www
useradd www -g www
创建 varnish_cache的缓存位置
mkdir /data/varnish_cache
启动varnish
ulimit -SHn 8192 ####设置文件描述符,因为我的机子性能并不好,可以按照自己的配置去设置
/usr/local/varnish-2.1.3/sbin/varnishd
-u www -g www -f /usr/local/varnish-2.1.3/etc/varnish/varnish.conf -a
0.0.0.0:80 -s file,/data/varnish_cache/varnish_cache.data,100M -w
1024,8192,10 -t 3600 -T 127.0.0.1:3500
####-u 以什么用运行 -g 以什么组运行 -f varnish配置文件 -a 绑定IP和端口 -s varnish缓存文件位置与大小 -w 最小,最大线程和超时时间 -T varnish管理端口,主要用来清除缓存
#结束varnishd进程
pkill varnishd
启动varnishncsa用来将Varnish访问日志写入日志文件:
/usr/local/varnish-2.1.3/bin/varnishncsa -w /data/logs/varnish.log &
每天0点运行,按天切割Varnish日志,生成一个压缩文件,同时删除上个月旧日志的脚本(/var/logs/cutlog.sh):
vim /usr/local/varnish-2.1.3/etc/varnish/cut_varnish_log.sh
写入以下脚本:
#!/bin/sh
# This file run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /data/logs/varnish.log /data/logs/${date}.log
/usr/local/varnish-2.1.3/bin/varnishncsa -w /data/logs/varnish.log &
mkdir -p /data/logs/varnish/
gzip -c /data/logs/${date}.log > /data/logs/varnish/${date}.log.gz
rm -f /data/logs/${date}.log
rm -f /data/logs/varnish/$(date -d "-1 month" +"%Y-%m*").log.gz
定时任务:
crontab -e
00 00 * * * /usr/local/varnish-2.1.3/etc/varnish/cut_varnish_log.sh
优化Linux内核参数
vi /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000
使配置生效
/sbin/sysctl -p
通过Varnish管理端口,使用正则表达式批量清除缓存
清除所有缓存
/usr/local/varnish-2.1.3/bin/varnishadm -T 127.0.0.1:3500 url.purge *$
清除image目录下所有缓存
/usr/local/varnish-2.1.3/bin/varnishadm -T 127.0.0.1:3500 url.purge /image/
127.0.0.1:3500 为被清除缓存服务器地址 www.kangta.com 为被清除的域名 /static/image/tt.jsp 为被清除的url地址列表
/usr/local/varnish-2.1.3/bin/varnishadm
-T 127.0.0.1:3500 purge "req.http.host ~ www.kangta.com$ &&
req.url ~ /static/image/tt.jsp"
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
一个清除Squid缓存的PHP函数
<?php
function purge($ip, $url)
{
$errstr = '';
$errno = '';
$fp = fsockopen ($ip, 80, $errno, $errstr, 2);
if (!$fp)
{
return false;
}
else
{
$out = "PURGE $url HTTP/1.1\r\n";
$out .= "Host:blog.s135.com\r\n";
$out .= "Connection: close\r\n\r\n";
fputs ($fp, $out);
$out = fgets($fp , 4096);
fclose ($fp);
return true;
}
}
purge("192.168.0.4", "/index.php");
?>
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
配置开机自动启动Varnish
vim /etc/rc.d/rc.local
在末行写入以下内容:
ulimit -SHn 8192
/usr/local/varnish-2.1.3/sbin/varnishd
-u www -g www -f /usr/local/varnish-2.1.3/etc/varnish/varnish.conf -a
0.0.0.0:80 -s file,/data/varnish_cache/varnish_cache.data,100M -w
1024,8192,10 -t 3600 -T 127.0.0.1:3500
/usr/local/varnish-2.1.3/bin/varnishncsa -w /data/logs/varnish.log &
查看Varnish服务器连接数与命中率:
/usr/local/varnish-2.1.3/bin/varnishstat
以上为varnish的状态,
1675 0.00 0.06 Client requests received 为服务端接收的客户端请求次数
179 0.00 0.01 Cache hits 为命中缓存,从缓存中取得数据返回给客户端的次数,即命中率
11 0.00 0.00 Cache misses 为跳过pass缓存,从后端服务应用中取得数据返回给用户的次数
用help看看可以使用哪些Varnish命令:
/usr/local/varnish-2.1.3/bin/varnishadm -T 127.0.0.1:3500 help
相关推荐
Linux系统下Varnish缓存的配置优化知识总结: Varnish是一款开源的高性能HTTP加速器,被广泛用于提高网站的访问速度,减少服务器负载。它通过将内容缓存到内存中,减少了对后端服务器的请求次数。Varnish使用了...
本文深入探讨了影响Varnish缓存命中率的因素以及如何监控和优化这一指标。 首先,缓存区大小限制是影响命中率的重要因素。由于内存资源有限,Varnish需要根据LRU(最近最少使用)算法来决定哪些内容应该被淘汰。LRU...
需要注意的是,通过PURGE请求清空Varnish缓存时,传入的URL不应带有查询参数,因为Varnish将按照URL字符串和正则表达式来匹配和清空缓存。例如,如果URL是带有参数的(如 ***/?tn=sougou),Varnish是无法匹配并清空...
### Varnish缓存系统概述 Varnish是一款高性能的HTTP反向代理服务器和缓存服务器,常用于Web应用的加速。它能够将静态内容缓存在内存中,并提供快速的静态内容服务,从而减轻后端服务器的压力,提高响应速度。...
在Laravel框架中,"laravel-varnishable"是一个扩展包,它使得将Varnish缓存系统集成到Laravel项目变得非常简便。Varnish是一个高性能的HTTP缓存/加速器,通常用于减少服务器负载并提高网站响应速度。通过使用...
4. **不允许非访问控制列表的IP进行varnish缓存清除**: 如配置文件中的`if (!client.ip ~ local)`判断。 5. **清除URL中有特定文件类型的Cookie**: 例如清除`.jpg`、`.png`等图片格式文件的Cookie。 6. **取消服务器...
Varnish缓存清除,也称为缓存刷新或缓存淘汰,是管理Varnish缓存内容的重要环节,确保内容更新能够及时反映到用户面前。本教程将详细介绍Varnish的两种主要缓存清除方法以及通过管理端口执行的Purge命令。 1. **...
3. **安全设置**:确保Varnish和Lighttpd的安全配置,避免被攻击。 4. **日志分析**:定期分析Varnish和Lighttpd的日志,找出性能瓶颈和优化点。 通过Varnish和Lighttpd的组合,你可以构建一个高效、灵活的Web...
优化Varnish缓存的另一个方法是在Java应用中合理地发起PURGE请求。例如,在Java应用中使用Apache HttpClient发起HttpPURGE请求,需要正确添加依赖包,并进行适当的配置,从而有效清除缓存。 需要注意的是,在实施...
Linux环境下的Varnish配置涉及到安装、配置文件的修改、启动和管理、监控以及性能优化等多个环节。理解并掌握Varnish的基本工作原理和VCL语言,是有效利用Varnish提高Web性能的关键。通过不断的实践和调整,Varnish...
给大家一个连我这么丑的blog,命中率都可以达到75%的varnish配置,大家拿去根据自己网站情况再优化下的话,说不定也可以达到90%,这也不是不可能的事。 系统:centos 5.x 软件:varnish-3.0.5 1.安装varnish 怎么安装我就...
Varnish是一款高性能的HTTP加速器,由Poul-Henning Kamp开发,他也是FreeBSD内核的开发者之一。...在实际应用中,根据网站的需求和规模,正确配置Varnish和CDN可以极大地优化网站性能,减轻服务器负担。
《Varnish权威指南》是一本深度探讨Varnish缓存服务器技术的专业书籍,中文版的出版使得更多国内用户能够无障碍地学习和掌握这一高效的内容分发和加速工具。Varnish作为一个开源的HTTP加速器,它在Web性能优化领域...
在配置实例中,可以设置后端服务器的IP地址和端口,以及访问控制列表,允许特定的IP地址清除Varnish缓存。同时,配置中还需要判断请求的主机名,并将请求转发到相应的后端服务器,这一过程可以使用正则表达式来完成...
3. **缓存清理**:当商品信息、价格或其他关键数据更新时,必须能够清除Varnish缓存以显示最新的内容。 4. **健康检查**:监控Varnish的运行状态和性能,确保其不会成为系统瓶颈。 5. **与其他缓存的集成**:...
1. **HTTP 缓存配置**:在服务器端,可以通过设置 HTTP 响应头来控制缓存策略,例如设置 `Cache-Control: max-age=3600` 表示资源在 1 小时内有效。 2. **数据库缓存配置**:根据数据库引擎的特性调整缓存大小、...