- 浏览: 78407 次
文章分类
- 全部博客 (82)
- java (5)
- gearman (1)
- jvm (3)
- 面试 (1)
- Nginx、Resin (1)
- 性能调优 (1)
- 架构 (1)
- OpenGIS 介绍(转) (1)
- 推荐系统 (1)
- elipse、tomcat (2)
- http (3)
- linux (6)
- mongodb (4)
- 感悟 (4)
- 开源 (7)
- 监控 (1)
- varnish (4)
- tomcat (7)
- tom (1)
- 项目网站 (1)
- 数据结构 (1)
- 前端 (2)
- 大神必杀技 (1)
- 算法 (2)
- 浏览器 (1)
- spring (2)
- 队列 (1)
- 测试 (1)
- nginx (1)
- nosql (1)
- thirft (1)
- oracle (1)
- solr (7)
- redis (1)
- 缓存 (1)
- hadoop (3)
- git (1)
- connection pool (1)
最新评论
-
wangluo605:
太牛叉了。我这一两月就假死一次。访问没响应。看tomcat还在 ...
Tomcat 假死原因分析 -
sina_jerry_chen:
朴兄谬赞了!!!
我这十年 -
85977328:
光哥威武~
我这十年
Nginx 反向代理+Varnish 技术
转载了峰哥的劳动成果!!!
一、 Nginx 反向代理
1、 安装条件:
Nginx: http://sysoev.ru/nginx/nginx-0.6.32.tar.gz
SSL: http://www.openssl.org/source/openssl-0.9.8g.tar.gz
Pcre: ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz
Zlib: http://www.zlib.net/zlib-1.2.3.tar.gz
2、 安装:
l Ssl安装:
[root@RedhatAS4U4-Oracle oracle]# tar -zxvf openssl-0.9.8g.tar.gz
[root@RedhatAS4U4-Oracle oracle]# cd openssl-0.9.8g
[root@RedhatAS4U4-Oracle openssl-0.9.8g]#./config --prefix=/usr/local/openssl/
[root@RedhatAS4U4-Oracle openssl-0.9.8g]# make
[root@RedhatAS4U4-Oracle openssl-0.9.8g]# make install
l Pcre 安装:
[root@RedhatAS4U4-Oracle oracle]# tar -zxvf pcre-7.7.tar.gz
[root@RedhatAS4U4-Oracle oracle]# cd pcre-7.7
[root@RedhatAS4U4-Oracle pcre-7.7]# ./configure --prefix=/usr/local/pcre
[root@RedhatAS4U4-Oracle pcre-7.7]# make
[root@RedhatAS4U4-Oracle pcre-7.7]# make install
Make 时报错:
libtool: ignoring unknown tag CXX
libtool: unrecognized option `-DHAVE_CONFIG_H'
Try `libtool --help' for more information.
make[1]: *** [pcrecpp.lo] Error 1
make[1]: Leaving directory `/home/beijing/pcre-7.7'
make: *** [all] Error 2
原因:
pcre-7.7 configuration summary:
Install prefix .................. : /usr/local/pcre
C preprocessor .................. : gcc -E
C compiler ...................... : gcc
C++ preprocessor ................ :
C++ compiler .................... :
Linker .......................... : /usr/bin/ld
C preprocessor flags ............ :
C compiler flags ................ : -O2
C++ compiler flags .............. :
Linker flags .................... :
Extra libraries ................. :
没有装GCC C++包:
gcc-c++-3.4.6-8.i386.rpm libstdc++-devel-3.4.6-8.i386.rpm
l Zlib 安装:
[root@RedhatAS4U4-Oracle oracle]# tar -zxvf zlib-1.2.3.tar.gz
[root@RedhatAS4U4-Oracle oracle]# cd zlib-1.2.3
[root@RedhatAS4U4-Oracle zlib-1.2.3]#
[root@RedhatAS4U4-Oracle zlib-1.2.3]# make
[root@RedhatAS4U4-Oracle zlib-1.2.3]# make install
l Nginx 安装:
[root@RedhatAS4U4-Oracle oracle]# tar -zxvf nginx-0.6.32.tar.gz
[root@RedhatAS4U4-Oracle oracle]# cd nginx-0.6.32
[root@RedhatAS4U4-Oracle nginx-0.6.32]# ./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-pcre=/root/pcre-7.7 --with-zlib=/root/zlib-1.2.3 --with-http_stub_status_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-openssl=/root/openssl-0.9.8g
[root@RedhatAS4U4-Oracle nginx-0.6.32]# make
[root@RedhatAS4U4-Oracle nginx-0.6.32]# make install
3、 配置:
[root@RedhatAS4U4-Oracle oracle]# cat /usr/local/nginx/conf/nginx.conf
user nobody nobody;
worker_processes 30;
error_log logs/error.log notice;
pid logs/nginx.pid;
events {
use epoll;
worker_connections 40960;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] '
'"$request" $status $bytes_sent '
'"$http_referer" "$http_user_agent" '
'"$gzip_ratio"';
keepalive_timeout 150;
server_names_hash_bucket_size 64;
upstream cache {
ip_hash;
server 10.167.26.166:8080; //varnish server 1
server 10.167.26.3;
}
server {
listen 10.167.26.5:80;
server_name cacti.chinarenservice.com;
access_log logs/cacti.wizardial.com.access.log main;
location / {
proxy_pass http://cache;
proxy_redirect http://cacti.chinarenservice.com/ /;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Is-EDU 0;
client_max_body_size 50m;
client_body_buffer_size 256k;
proxy_connect_timeout 10;
proxy_send_timeout 15;
proxy_read_timeout 15;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}
server {
listen 10.167.26.5:81;
server_name nginxstatus.chinarenservice.com 10.167.26.5;
location /NginxStatus {
stub_status on;
access_log off;
allow 210.22.7.147;
allow 127.0.0.1;
deny all;
}
}
}
以上配置为nginx 做反向代理,监听10.167.26.5:80的IP,接收cacti.wizardial.com 的域名请求,转发到后端varnish缓存服务器
4、 优化:
l 修改open files数
显示open files数
[root@RedhatAS4U4-Oracle oracle]# ulimit -a |
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
pending signals (-i) 1024
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
……
修改open files数
[root@RedhatAS4U4-Oracle oracle]# ulimit -n 8192 |
l 优化Linux内核参数
[root@RedhatAS4U4-Oracle oracle]# vi /etc/sysctl.conf |
在末尾增加以下内容:
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000
使配置立即生效:
[root@RedhatAS4U4-Oracle oracle]# /sbin/sysctl -p |
l 不停止Nginx服务的情况下平滑变更Nginx配置
[root@RedhatAS4U4-Oracle oracle]# kill -HUP `cat /usr/local/nginx/logs/nginx.pid` |
l
5、
二、 Varnish 缓存
Varnish优点:
1、Varnish采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。
2、Varnish的稳定性非常好
3、通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存,这一点是Squid不能具备的。
Varnish网站缓存加速器安装:
1、创建www用户和组,以及Varnish缓存文件存放目录(/var/InfiNET/cache):
[root@RedhatAS4U4-Oracle oracle]# /usr/sbin/groupadd www -g 48
[root@RedhatAS4U4-Oracle oracle]# /usr/sbin/useradd -u 48 -g www www
[root@RedhatAS4U4-Oracle oracle]# mkdir -p /var/InfiNET/cache
[root@RedhatAS4U4-Oracle oracle]# chmod +w /var/InfiNET/cache
[root@RedhatAS4U4-Oracle oracle]# chown -R www:www /var/InfiNET/cache
2、创建Varnish日志目录(/var/logs/):
[root@RedhatAS4U4-Oracle oracle]# mkdir -p /usr/local/varnish/logs
[root@RedhatAS4U4-Oracle oracle]# chmod +w /usr/local/varnish/logs
[root@RedhatAS4U4-Oracle oracle]# chown -R www:www /usr/local/varnish/logs
3、编译安装varnish:
下载:
http://sourceforge.net/project/showfiles.php?group_id=155816&package_id=173643&release_id=563022
[root@RedhatAS4U4-Oracle oracle]# wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz
[root@RedhatAS4U4-Oracle oracle]# tar zxvf varnish-1.1.2.tar.gz
[root@RedhatAS4U4-Oracle oracle]# cd varnish-1.1.2
[root@RedhatAS4U4-Oracle oracle]# ./configure --prefix=/usr/local/varnish
[root@RedhatAS4U4-Oracle oracle]# make && make install
./configure -enable-debugging-symbols -enable-developer-warnings -enable-dependency-tracking --prefix=/usr/local/varnish
注意,我在进行make步骤时,出现如下错误:
"varnishhist.c:35:20: error: curses.h: No such file or directory"
造成该问题的原因是因为系统中少了ncurses-devel包
4、创建Varnish配置文件:
[root@RedhatAS4U4-Oracle oracle]# vi /usr/local/varnish/vcl.conf
backend myblogserver {
set backend.host = "10.167.26.3";
set backend.port = "80";
}
acl purge {
"localhost";
"127.0.0.1";
"10.167.0.0"/16;
"210.22.7.147"/32;
}
sub vcl_recv {
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
}
lookup;
}
if (req.http.host ~ "^cacti.chinarenservice.com") {
set req.backend = mymonitorserver;
if (req.request != "GET" && req.request != "HEAD") {
pipe;
}
else {
lookup;
}
}
else {
error 404 "Zhang Yan Cache Server";
lookup;
}
}
sub vcl_hit {
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}
sub vcl_miss {
if (req.request == "PURGE") {
error 404 "Not in cache.";
}
}
sub vcl_fetch {
if (req.request == "GET" && req.url ~ "\.(txt|js|gif|jpg||jpeg|tom|swf|css)$") {
set obj.ttl = 3600s;
}
else {
set obj.ttl = 30d;
}
}
对以上配置文件解释一下:
(1)、Varnish通过反向代理请求后端IP为10.167.26.3,端口为80的apache服务器;
(2)、Varnish允许localhost、127.0.0.1、10.167.0.***源IP通过PURGE方法清除缓存;
(3)、Varnish对域名为cacti.chinarenservice.com的请求进行处理,非cacti.chinarenservice.com域名的请求则返回“freeke Cache Server”;
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存,对POST请求透过,让其直接访问后端Web服务器。之所以这样配置,是因为POST请求一般是发送数据给服务器的,需要服务器接收、处理,所以不缓存;
(5)、Varnish对以.txt和.js等结尾的URL缓存时间设置1小时,对其他的URL缓存时间设置为30天。
5、启动Varnish
[root@RedhatAS4U4-Oracle oracle]# limit -SHn 51200
[root@RedhatAS4U4-Oracle oracle]# /usr/local/varnish/sbin/varnishd -n /var/InfiNET/cache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/InfiNET/cache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
6、启动varnishncsa用来将Varnish访问日志写入日志文件:
[root@RedhatAS4U4-Oracle oracle]# /usr/local/varnish/bin/varnishncsa -n /var/InfiNET/cache -w /usr/local/varnish/logs/varnish.log &
7、配置开机自动启动Varnish
[root@RedhatAS4U4-Oracle oracle]# vi /etc/rc.local
ulimit -SHn 51200
/usr/local/varnish/sbin/varnishd -n /var/InfiNET/cache -f /usr/local/varnish/vcl.conf -a 0.0.0.0:80 -s file,/var/InfiNET/cache/varnish_cache.data,1G -g www -u www -w 30000,51200,10 -T 127.0.0.1:3500 -p client_http11=on
/usr/local/varnish/bin/varnishncsa -n /var/InfiNET/cache -w /usr/local/varnish/logs/varnish.log &
FAQ:
1、 配置 泛域名 的主机
很多二级域名,比如 xx.chinarenservice.com ,一个一个加好麻烦。。。squid 或者nginx 都支持.chinarenservice.com 的
if (req.http.host ~ "^www.chinarenservice.com") {
改成
if (req.http.host ~ ".chinarenservice.com") {
2、 附varnish多站点配置
backend www {
set backend.host = "www.chinarenservice.com";
set backend.port = "80";
}
backend blog {
set backend.host = "blog.chinarenservice.com";
set backend.port = "80";
}
backend image {
set backend.host = "image.chinarenservice.com";
set backend.port = "80";
}
sub vcl_recv {
if (req.http.host ~ "^(www.)?chinarenservice.com$") {
set req.http.host = "www.chinarenservice.com";
set req.backend = www;
} elsif (req.http.host ~ "^blog.chinarenservice.com$") {
set req.backend = blog;
} elsif (req.http.host ~ "^image.chinarenservice.com$") {
set req.backend = image;
} else {
error 404 "Unknown host";
}
相关推荐
1. **Nginx**:一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,在高并发连接方面表现突出。 2. **PHP (FastCGI)**:一种用于处理动态网页的脚本语言,通过FastCGI模式运行可以极大提高PHP...
Nginx和Varnish是当前流行的高性能Web服务器和反向代理服务器,经常用于缓存和负载均衡。针对这两个技术的优化补充知识点,主要围绕提升服务器性能、处理静态内容的能力以及如何正确配置以应对后端服务变更。 首先...
17. Nginx正向代理和反向代理配置:正向代理与反向代理是Nginx重要的代理模式,用于不同的网络环境与需求。 18. Nginx+keepalived+proxy_cache配置高可用nginx群集和高速缓存:介绍如何通过组合Nginx、keepalived和...
【反向代理与负载均衡】在大型互联网环境中,反向代理和负载均衡是提升系统性能和稳定性的关键技术。反向代理与前向代理不同,它充当服务器的代理,对客户端来说,反向代理如同服务器本身。这允许实现多种功能,如...
《Nginx应用技术指南》是一本深入探讨Nginx服务器配置、优化和管理的实用手册,涵盖了Nginx在Web服务领域的广泛应用和技术细节。Nginx以其高性能、高并发和轻量级特性,在现代互联网架构中占据了重要的位置。本指南...
第69节“Nginx+Varnish+基本业务功能+Memcached”涵盖了Web服务器优化的知识,讲解了Nginx和Varnish作为反向代理和负载均衡器的角色,以及它们与Memcached结合使用时如何增强系统的响应速度和并发处理能力。...
1. Nginx:作为一款强大的反向代理服务器,Nginx能够处理大量的并发连接。在秒杀场景下,Nginx可以用于实现安全策略,如限制IP访问频率,防止DDoS攻击;同时,通过设置缓存策略,可以减轻后端服务器的压力,提高响应...
总结来说,LVS + Squid方案是构建高可用性Web服务的关键技术,它结合了LVS强大的负载均衡能力和Squid的高效反向代理功能,确保大规模网站在高并发环境下仍能保持稳定的服务质量。对于大型企业和需要高可用性的Web...
Nginx + PHP5-FPM + Varnish"是为了解决WordPress等动态内容网站的需求,它利用了Ubuntu操作系统、Nginx(发音为"engine-x")作为前端反向代理,PHP5-FPM(FastCGI Process Manager)处理PHP脚本,而Varnish作为一个...
本书的最后一部分是关于Nginx使用缓存技术的方法,共列举了Nginx使用的五大缓存,特别是广泛使用的代理缓存、Memcached和Varnish,另外对于Memcached服务器的使用贯穿了整套书。在本书中着重讲述了它的协议、原理...
本教程会展示如何搭建Nginx反向代理,并遇到的问题及其解决方案。 为了提高Nginx的可用性和性能,本教程提供了Nginx与keepalived和proxy_cache结合使用,构建高可用群集和高速缓存的配置方案。 优化是提高Web服务...
反向代理可以隐藏后端服务器的细节,提高安全性,同时通过负载均衡技术优化服务器资源的分配。 ### 负载均衡 Nginx 1.10.1 提供了内置的负载均衡器,可以将来自客户端的请求分发到多个后端服务器,以平衡各服务器...
本书的最后一部分是关于Nginx使用缓存技术的方法,共列举了Nginx使用的五大缓存,特别是广泛使用的代理缓存、Memcached和Varnish,另外对于Memcached服务器的使用贯穿了整套书。在本书中着重讲述了它的协议、原理...
但是,根据“【标题】”和“【描述】”中提供的信息,我们可以知道这是一本名为《Varnish权威指南(中文版)》的电子书,这本书是关于Varnish的,Varnish是一个高性能的开源Web应用加速器(也叫做HTTP反向代理服务器...
本书的最后一部分是关于Nginx使用缓存技术的方法,共列举了Nginx使用的五大缓存,特别是广泛使用的代理缓存、Memcached和Varnish,另外对于Memcached服务器的使用贯穿了整套书。在本书中着重讲述了它的协议、原理...
#### 十六、搭建 Nginx 反向代理用做内网域名转发 - **情景**:模拟内网域名转发的场景。 - **配置步骤**:详细介绍如何配置 Nginx 实现内网域名转发。 - **遇到的问题**:列出在配置过程中可能遇到的问题及解决...
本文将采用lvs+heartbeat+varnish+nginx+eAccelerator+memcached这一组合,来实现一个能够处理大规模并发访问的企业级解决方案。 首先,LVS(Linux Virtual Server)扮演着负载均衡器的角色,它通过DR(Direct ...
本书的最后一部分是关于Nginx使用缓存技术的方法,共列举了Nginx使用的五大缓存,特别是广泛使用的代理缓存、Memcached和Varnish,另外对于Memcached服务器的使用贯穿了整套书。在本书中着重讲述了它的协议、原理...