`
zhb8015
  • 浏览: 399806 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
Group-logo
Spring Roo杂谈
浏览量:0
社区版块
存档分类
最新评论

(转)利用 squid 反向代理提高网站性能

阅读更多

原文地址:http://www.ibm.com/developerworks/cn/linux/l-cn-squid/

利用 squid 反向代理提高网站性能

本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。

李明慧, 软件工程师, IBM

2009 年 4 月 02 日

  • +内容

本文在介绍 squid 反向代理的工作原理的基础上,指出反向代理技术在提高网站访问速度,增强网站可用性、安全性方面有很好的用途。作者在具体的实验环境下,利用 DNS 轮询和 Squid 反向代理技术,实现了网站的负载均衡,从而提高了网站的可用性和可靠性。

现在有许多大型的门户网站如 SINA 都采用 squid 反向代理技术来加速网站的访问速度,可将不同的 URL 请求分发到后台不同的 WEB 服务器上,同时互联网用户只能看到反向代理服务器的地址,加强了网站的访问安全。

反向代理的概念

反向代理服务器又称为 WEB 加速服务器,它位于 WEB 服务器的前端,充当 WEB 服

务器的内容缓存器。其系统结构如图 1

图 1. 系统结构
系统结构

反向代理服务器是针对 WEB 服务器设置的,后台 WEB 服务器对互联网用户是透明的,用户只能看到反向代理服务器的地址,不清楚后台 WEB 服务器是如何组织架构的。当互联网用户请求 WEB 服务时,DNS 将请求的域名解析为反向代理服务器的 IP 地址,这样 URL 请求将被发送到反向代理服务器,由反向代理服务器负责处理用户的请求与应答、与后台 WEB 服务器交互。利用反向代理服务器减轻了后台 WEB 服务器的负载,提高了访问速度,同时避免了因用户直接与 WEB 服务器通信带来的安全隐患。

 

Squid 反向代理的实现原理

目前有许多反向代理软件,比较有名的有 Nginx 和 Squid 。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。

Squid是由美国政府大力资助的一项研究计划,其目的为解决网络带宽不足的问题,支持HTTP,HTTPS,FTP 等多种协议,是现在 Unix 系统上使用、最多功能也最完整的一套软体。下面将重点介绍 Squid 反向代理的实现原理和在提高网站性能方面的应用。

Squid反向代理服务器位于本地 WEB 服务器和 Internet 之间 , 组织架构如图 2:

图 2. 组织架构
组织架构

客户端请求访问 WEB 服务时,DNS 将访问的域名解析为 Squid 反向代理服务器的 IP 地址,这样客户端的 URL 请求将被发送到反向代理服务器。如果 Squid 反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端,否则反向代理服务器将向后台的 WEB 服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。

Squid 反向代理一般只缓存可缓冲的数据(比如 html 网页和图片等),而一些 CGI 脚本程序或者 ASP、JSP 之类的动态程序默认不缓存。它根据从 WEB 服务器返回的 HTTP 头标记来缓冲静态页面。有四个最重要 HTTP 头标记:

  • Last-Modified: 告诉反向代理页面什么时间被修改
  • Expires: 告诉反向代理页面什么时间应该从缓冲区中删除
  • Cache-Control: 告诉反向代理页面是否应该被缓冲
  • Pragma: 用来包含实现特定的指令,最常用的是 Pragma:no-cache
 

利用 Squid 反向代理加速网站实例

本实例的域名是 wenjin.cache.ibm.com.cn,通过DNS的轮询技术,将客户端的请求分发给其中一台 Squid 反向代理服务器处理,如果这台 Squid 缓存了用户的请求资源,则将请求的资源直接返回给用户,否则这台 Squid 将没有缓存的请求根据配置的规则发送给邻居 Squid 和后台的 WEB 服务器处理,这样既减轻后台 WEB 服务器的负载,又提高整个网站的性能和安全性。该系统结构图 3 如下:

图 3. 系统结构
系统结构

配置的系统环境:

  • 一台 DNS 服务器:操作系统 Freebsd,软件 BIND 9.5,IP 192.168.76.222 ;
  • 三台 Squid 服务器:操作系统 Linux AS 4,软件 Squid 3.0,相应的 IP 如下:
Squid1:192.168.76.223 
 Squid2:192.168.76.224 
 Squid3:192.168.76.225
  • 三台 WEB 服务器:操作系统 Linux AS 4,应用软件 Tomcat 5.0+Mysql,相应的 IP 地址如下:
webServer1:210.82.118.195 
 webServer2:192.168.76.226 
 webServer1:192.168.76.227

应用软件的安装和配置

配置 DNS 服务器

软件利用 Freebsd 自带的 bind 9.5 。然后针对该系统配置 bind,首先修改 bind 的配置文件 /etc/namedb/named.conf,在文件中添加

zone "cache.ibm.com.cn"{ 
        type master; 
        file "master/ cache.ibm.com.cn "; 
 };

再在 /etc/namedb/master 目录下添加 cache.ibm.com.cn 文件,该文件的内容如下:

$TTL    3600 
 @       IN      SOA     search. ibm.com.cn. root. ibm.com.cn.  ( 
                                20080807        ; Serial 
                                3600    ; Refresh 
                                900     ; Retry 
                                3600000 ; Expire 
                                3600 )  ; Minimum 
        IN      NS      search.ibm.com.cn. 
 1       IN      PTR     localhost.ibm.com.cn. 
 wenjin  IN      A       192.168.76.223 
 wenjin  IN      A       192.168.76.224 
 wenjin  IN      A       192.168.76.225

这样当用户请求的时候,DNS 通过轮询机制将 wenjin.cache.ibm.com.cn 的域名解析为 192.168.76.223、192.168.76.224 和 192.168.76.225 其中之一。

配置完成后,运行 rndc star t 启动 bind 服务。可在 /etc/rc.conf 中设置 named_enable="YES" 使得开机自启动。

用 ps – A |grep named 查看 bind 服务是否起来;

用 nslookup wenjin.cache.ibm.com.cn 测试 bind 服务是否正常运行。

配置 Squid1 服务器

  1. 下载 squid-3.0.STABLE8.tar.gz 源码包,将其放在 /home 目录下
  2. 解压缩tar – zxvf squid-3.0.STABLE8.tar.gz
    设置配置参数:cd squid-3.0.STABLE10
    ./configure – prefix=/usr/local/squid

    将 squid 安装在 /usr/local 目录下
  3. 编译安装:make&make install安装完以后会在 /usr/local 目录下看见 squid 目录。
  4. 配置 squid 配置文件

    编辑 squid.conf 文件,vi /usr/local/squid/etc/squid.conf

    cache_effective_user squid 
     cache_effective_group squid 
     ######### 设定 squid 的主机名 , 如无此项 squid 将无法启动
     visible_hostname squid1.nlc.gov.cn 
     ############# 配置 squid 为加速模式 ################# 
     http_port 80 accel vhost vport 
     icp_port 3130 
     ##### 配置 squid2、squid3 为其邻居,当 squid1 在其缓存中没有找到请求的资源时,
              通过 ICP 查询去其邻居中取得缓存
     cache_peer squid2.ibm.com.cn sibling 80 3130 
     cache_peer squid3.ibm.com.cn sibling 80 3130 
     ##### squid1 的三个父节点,originserver 参数指明是源服务器,
     round-robin  参数指明 squid 通过轮询方式将请求分发到其中一台父节点;
     squid 同时会对这些父节点的健康状态进行检查,如果父节点 down 了,
    那么 squid 会从剩余的 origin 服务器中抓取数据
     cache_peer 210.82.118.195 parent 8080 0 no-query originserver round-robin \ 
                                                  name=webServer1 
     cache_peer 192.168.76.226 parent 8080 0 no-query originserver round-robin \ 
                                                  name=webServer2 
     cache_peer 192.168.76.227 parent 8080 0 no-query originserver round-robin \ 
                                                name=webServer3 
     #### 将 wenjin.cache.ibm.com.cn 域的请求通过 RR 轮询方式转发到三个父节点中的一个
     cache_peer_domain webServer1 webServer2 webServer3 wenjin.cache.ibm.com.cn 
     ##### 下面是一些访问控制、日志和缓存目录的设置
     acl localnet src 192.168.76.223 192.168.76.224 192.168.76.225 
     acl all src 0.0.0.0/0.0.0.0 
     http_access allow all 
     icp_access allow localnet 
     cache_log /usr/local/squid/var/logs/cache.log 
     access_log /usr/local/squid/var/logs/access.log squid 
     cache_dir ufs /usr/local/squid/var/cache/ 1000 16 256 
     ####### 对 squid 的一些优化 ############### 
     maximum_object_size 10240 KB  ### 能缓存的最大对象为 10M 
     maximum_object_size_in_memory 512 KB ### 内存中缓存的最大对象 512K 
     cache_mem 256 MB  ###squid 用于缓存的内存量

    保存后 :wq 退出。

    在 /etc/hosts 文件中添加

    192.168.76.223  squid1.ibm.com.cn 
     192.168.76.224  squid2.ibm.com.cn 
     192.168.76.225  squid3.ibm.com.cn

    保存后 : wq 退出。

    检查 squid 配置文件正确与否:/usr/local/squid/bin/squid – k parse

    生成缓存目录/usr/local/squid/bin/squid – z

    启动squid:/usr/local/squid/bin/squid

    配置 squid2 和 squid3 服务器

    squid2 和 squid3 服务器的配置方法和配置参数和 squid1 一样,配置完成后,分别启动这两个服务器上的 squid 服务。

    在 squid 的日志文件 cache.log 中,出现如下日志信息则说明三台 squid 之间成功配置为 sibling,且配置了三个父代理。

    2008/11/17 10:08:47| Configuring Sibling squid1.ibm.com.cn/80/3130 
     2008/11/17 10:08:47| Configuring Sibling squid3.ibm.com.cn/80/3130 
     2008/11/17 10:08:47| Configuring Parent 210.82.118.195/8080/0 
     2008/11/17 10:08:47| Configuring Parent 192.168.76.226/8080/0 
     2008/11/17 10:08:47| Configuring Parent 192.168.76.227/8080/0 
     2008/11/17 10:08:47| Ready to serve requests.

测试

测试之前,保证 DNS 服务、三台 squid 服务和三台 web 服务都正常起来。在客户端输入http://wenjin.cache.ibm.com.cn,则正确的显示该网页。服务器端的响应对客户端是透明的,客户端不知道请求是由哪台 WEB 服务器处理的;而且其中某台 Squid 服务器或 WEB 服务器发生故障,也不影响服务的正常运行。

 

总结

Squid 是一个开源的软件,利用它的反向代理技术可以提高网站系统的访问速度。本文在真实的网络环境下,利用三台 squid 反向代理服务器加速了网站的性能,同时结合 DNS 轮询技术实现了网站的负载均衡。经过一段时间的测试和试运行,该网站的访问速度和可用性方面都有很大的提高,从未出现过网站服务中断情况。

参考资料

分享到:
评论

相关推荐

    利用 squid 反向代理提高网站性能.mht

    下载反向代理服务器软件采用squid,下载地址: http://www.squid-cache.org/Versions/v2/2.2/squid-2.2.STABLE5-src.tar.gz 下载后存放在/usr/local/squid/src目录里,文件名是 squid-2.2.STABLE5 ...

    Squid 反向代理配置

    ### Squid 反向代理配置详解 #### 一、实验背景及目标 ...这对于希望利用Squid提高网络性能或实现负载均衡的应用场景非常有用。通过理解这些配置细节,可以更好地应对实际工作中的网络管理和优化需求。

    Squid代理服务器原理

    2. **反向代理**:Squid可以作为反向代理服务器,隐藏内部服务器的IP地址。客户端请求首先到达Squid,然后由Squid转发到真实的Web服务器,再将响应返回给客户端,提高了服务器的安全性和负载均衡能力。 3. **负载...

    Squid权威指南.rar

    《Squid权威指南》是一本深度探讨Squid缓存代理服务器的全面教程,它涵盖了从基础到高级的所有主题,旨在帮助读者深入理解和有效利用Squid在各种网络环境中优化性能、提升安全性。这份资源包含了Squid的学习资料,是...

    squid缓存服务器的研究

    Squid 作为一种高效的缓存服务器解决方案,在提高网络访问速度、优化带宽利用等方面发挥着重要作用。通过合理配置 Squid 的各项参数,结合其丰富的访问控制功能,能够满足不同场景下的需求,为企业和个人用户提供更...

    squid中文文档,写得很详细

    3. **缓存机制**:Squid的缓存策略包括正向代理和反向代理,文档会解释两者的区别和应用场景。还会涉及缓存命中率、缓存更新策略(如LRU、FIFO)以及缓存过期和刷新机制。 4. **访问控制**:文档会介绍如何通过`...

    Squid 权威指南

    2. **反向代理**:Squid 可以作为 Web 服务器的代理,接收客户端请求并转发到后端服务器,可以实现负载均衡和内容缓存,提高网站性能。 3. **访问控制**:通过 ACL(Access Control List),Squid 可以限制特定 IP ...

    windows 版本 squid

    6. **安全特性**:Squid 支持 SSL 加密,可以提供安全的 HTTPS 代理服务,并有反向代理功能,可以隐藏后端服务器的细节,增强安全性。 **故障排查与维护** 在 Windows 上运行 Squid,可能遇到的问题包括服务无法...

    squid教程 ppt版

    3. **反向代理**:Squid可以作为反向代理服务器,隐藏真实服务器的身份,分发客户端请求到后端多个服务器,提高网站的负载均衡和可用性。 【Squid如何工作】 Squid的工作流程主要包括以下几个步骤: 1. 用户在...

    linux下squid服务器的配置与管理收集.pdf

    3. **Squid反向代理服务器配置**: - 反向代理用于将客户端请求转发给特定的后台服务器,常用于负载均衡和内容分发。 - 配置Squid以代理特定域名或端口,例如设置所有对www.example.com的请求都转至内部服务器。 ...

    Nginx+Squid负载均衡相关的PPT

    Nginx和Squid是两种常用的开源工具,分别以反向代理和缓存服务著称,它们在构建高性能的负载均衡系统中发挥着关键作用。 **Nginx** Nginx是一款高性能的HTTP和反向代理服务器,以其高效、稳定和轻量级的特性而闻名...

    squid资源讲解以及分析

    ### Squid资源讲解及...Squid作为一款高效能的代理服务器软件,在缓存和反向代理领域有着广泛的应用。通过深入了解其工作机制和合理配置,可以极大地提高网络效率和用户体验。希望本文对您理解和运用Squid有所帮助。

    squid中文权威指南

    Squid还支持一些高级特性,如内容转换(content rewriting)、透明代理(transparent proxying)、反向代理(reverse proxying)以及与其他软件的集成,如DNS缓存、CDN服务等。 总之,《Squid中文权威指南》为管理...

    nginx+apache+mysql+php+memcached+squid搭建门户网站

    - **Squid**:安装并配置Squid作为反向代理,同时利用其缓存功能进一步提高服务器响应速度。 #### 八、后记 通过上述步骤,我们可以成功构建一个能够应对大用户量访问的门户网站服务器集群。在实际部署过程中,还...

    nginx+squid广州技术沙龙资料2009

    而Nginx和Squid的配合使用,则是为了利用它们各自的优势,例如Nginx的反向代理、静态文件处理能力,以及Squid的缓存机制,共同构建出更强大的Web服务解决方案。 【标签】"nginx apache squid"这三个标签分别代表了...

    大型网站项目优化 第1部分 共4部分

    Squid作为一款流行的反向代理服务器,在《大型网站项目优化 5 Squid反向代理提高网站性能.mp4》和《大型网站项目优化 4 Squid安装及操作.mp4》中被详细介绍。Squid可以缓解服务器压力,通过缓存静态内容,减少网络...

    Squid.Definitive.Guide

    - **工作模式**:Squid可运行在透明模式、反向代理模式或混合模式下,满足不同场景需求。 2. **Squid安装与配置** - **系统要求**:确保操作系统支持Squid,通常Linux发行版如Ubuntu、CentOS等都可以。 - **安装...

    CDN学习资料可以看看

    CDN(Content Delivery Network)是内容分发网络的缩写,它是一种分布式网络服务,旨在通过将静态内容分发到全球各地的边缘服务器,来提高网站的加载速度和可用性。CDN技术的核心原理是利用缓存技术,将用户访问频繁...

Global site tag (gtag.js) - Google Analytics