`
y806839048
  • 浏览: 1126494 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

nginx---一致性hash反向代理以及upstream的六种调度算法

阅读更多

nginx-fair(第三方):按后端服务器的响应时间来分配请求,响应时间短的优先分配。
   upstream web_pool {
             server 172.23.136.148;
             server 172.23.136.149;
             fair;
            }
说明:表示两个服务器的负载以那个响应速度快的优先承担upstream转发来的请求,起到了路径从速的负载作用,逻辑上实现了地区就近负载的功效。


Nginx的反向代理:
反向代理指以代理服务器来接受Internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给Internet上请求连接到客户端,此时代理服务器对外就表现为一个服务器,而此种工作模式类似于LVS-NET模型。haproxy也有这样的代理功能,只是没有规模化的缓存功能。
反向代理也可以理解为web服务器加速,它是一种通过在繁忙的web服务器和外部网络之间增加的 一个高速web缓冲服务器,用来降低实际的web服务器的负载的一种技术。反向代理是针对web服务器提高加速功能,所有外部网络要访问服务器时的所有请 求都要通过它,这样反向代理服务器负责接收客户端的请求,然后到源服务器上获取内容,把内容返回给用户,并把内容保存在本地,以便日后再收到同样的信息请 求时,它会将本地缓存里的内容直接发给用户,已减少后端web服务器的压力,提高响应速度。因此Nginx还具有缓存功能。
 
反向代理的工作流程:
1)用户通过域名发出访问请求,该域名被解析为反向代理服务器的IP地址;
2)反向代理服务器接收用户的请求;
3)反向代理服务器在本地缓存查找是否存在当前用户所请求的内容,找到则直接把内容返回给用户;
4)如果本地没有用户请求的内容,反向代理服务器会以自己的身份去后端服务器请求同样的信息内容,并把信息内容发给用户,如果信息内容是可以被缓存的,则会将该内容缓存在代理服务器的本地缓存中。
 
反向代理的好处:
1)解决了网站服务器对外可见的问题,提高了网站服务器的安全性;
2)节约了有限的IP地址资源,后端服务器均可使用私有IP地址与代理服务器进行通信;
3)加速了网站的访问速度,减轻了真是web服务器的负荷。

(一)、调度算法
Nginx的upstream指令用于指定proxy_pass和fastcgi_pass所使用的后端服务器,即nginx的反向代理功能,因此可以将两者结合起来使用以达到负载均衡的目的,而Nginx也支持多种调度算法:
1、轮询(默认)
每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,则会跳过该服务器分配至下一个监控的服务器。并且它无需记录当前所有连接的状态,所以它是一种无状态调度。
2、weight
指定在轮询的基础上加上权重,weight和访问比率成正比,即用于表明后端服务器的性能好坏,若后端服务器性能较好则可将大部分请求分配给它,已实现其力所能及。
例如:
我后端服务器172.23.136.148配置:E5520*2 CPU,8G内存
后端服务器172.23.136.148配置:Xeon(TM)2.80GHz * 2,4G内存
我希望在有30个请求到达前端时,其中20个请求交给172.23.136.148处理,剩余10个请求交给172.23.136.149处理,就可做如下配置
upstream web_poll {
server 172.23.136.148 weight=10;
server 172.23.136.149 weight=5;
}
3、ip_hash 
每个请求按访问ip的hash结果分配,当新的请求到达时,先将其客户端IP通过哈希算法进行哈希出一个值,在随后的请求客户端IP的哈希值只要相同,就会被分配至同一个后端服务器,该调度算法可以解决session的问题,但有时会导致分配不均即无法保证负载均衡。
例如:
upstream web_pool {
ip_hash;
server 172.23.136.148:80;
server 172.23.136.149:80;
}
4、fair(第三方)
按后端服务器的响应时间来分配请求,响应时间短的优先分配。
upstream web_pool {
server 172.23.136.148;
server 172.23.136.149;
fair;
}
5、url_hash(第三方)
按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。
例:在upstream中加入hash语句,server语句中不能写入weight等其他的参数,hash_method是使用的hash算法
upstream web_pool {
server squid1:3128;
server squid2:3128;
hash $request_uri;
hash_method crc32;
}
6.tengine增加的第六种方法
:::tengine新增的服务器加速调度算法:::


  • 一致性hash模块
描述
  • 这个模块提供一致性hash作为负载均衡算法。

  • 该模块通过使用客户端信息(如:$ip, $uri, $args等变量)作为参数,使用一致性hash算法将客户端映射到后端机器;

  • 如果后端机器宕机,这请求会被迁移到其他机器;

  • server id 字段,如果配置id字段,则使用id字段作为server标识,否则使用server ip和端口作为server标识,

    使用id字段可以手动设置server的标识,比如一台机器的ip或者端口变化,id仍然可以表示这台机器。使用id字段

    可以减低增减服务器时hash的波动;

  • server weight 字段,作为server权重,对应虚拟节点数目;

  • 具体算法,将每个server虚拟成n个节点,均匀分布到hash环上,每次请求,根据配置的参数计算出一个hash值,在hash环上查找离这个hash最近的虚拟节点,对应的server作为该次请求的后端机器;

  • 该模块可以根据配置参数采取不同的方式将请求均匀映射到后端机器,比如:

    consistent_hash $remote_addr:可以根据客户端ip映射;

    consistent_hash $request_uri: 根据客户端请求的uri映射;

    consistent_hash $args:根据客户端携带的参数进行映射;

例子:
worker_processes  1;

http {
    upstream test {
        consistent_hash $request_uri;

        server 127.0.0.1:9001 id=1001 weight=3;
        server 127.0.0.1:9002 id=1002 weight=10;
        server 127.0.0.1:9003 id=1003 weight=20;
    }
}
分享到:
评论

相关推荐

    nginx-upstream-jvm-route-1.15

    "nginx-upstream-jvm-route-1.15"项目很可能提供了解决这个问题的解决方案,可能包括修改Nginx配置模板、添加特定的模块或者提供一种新的路由策略。 在提供的压缩包文件"nginx-upstream-jvm-route-master"中,可能...

    nginx-upstream-fair-master.zip

    "nginx-upstream-fair-master.zip"是一个包含Nginx公平负载均衡(fair)第三方模块的压缩包,该模块使得Nginx可以根据服务器的实际响应时间来分配请求,从而实现更公平的负载均衡策略。 公平负载均衡(fair)模块...

    nginx-upstream-jvm-route 和 nginx 对应版本,亲测可用

    此资源有两个文件,含 nginx-upstream-jvm-route 和 nginx 对应版本,都是tar.gz文件。 安装方法网上很多就不写了,亲测可用。 不用担心版本不匹配造成安装失败,再浪费积分去到处下载尝试的烦恼。 此资源有两个文件...

    nginx-rtmp模块源码包nginx-rtmp-module-master

    **Nginx-RTMP 模块详解** Nginx-RTMP 模块是 Nginx 的一个扩展,用于处理 Real-Time Messaging Protocol (RTMP) 流,它允许 Nginx 作为 RTMP 服务器运行,支持直播和点播服务。这个源码包 "nginx-rtmp-module-...

    nginx带nginx-http-flv模块windows编译版rtmp

    4. **内容分发**:Nginx的反向代理功能可以用于负载均衡和内容分发,提高视频服务的可扩展性和可用性。 总结,这个压缩包中的"nginx-with-http-flv-moudle"是一个包含Nginx、Nginx-RTMP和Nginx-HTTP-FLV模块的预...

    nginx-http-flv-module-1.2.10(包含nginx-rtmp-module)

    nginx-rtmp-module提供了接收、录制、播放以及推送到其他RTMP服务器的功能。它支持基本的RTMP操作,如连接、发布、播放、弹出数据包,还支持HLS切片和录制功能,使得Nginx能够作为一个完整的流媒体服务器运行。 3. ...

    nginx-1.19.3_nginx-http-flv-module.rar

    Nginx是一款高性能的Web服务器和反向代理服务器,广泛应用于高并发场景,因其轻量级、高效稳定而受到青睐。1.19.3是Nginx的一个具体版本,通常每个新版本都会包含错误修复、性能提升以及新功能的添加。 `nginx-...

    nginx-sticky-module-1.25.zip

    nginx sticky是nginx的module,可以实现基于cookie的负载均衡。 下载后,在编译安装nginx时,用--add-module... ./configure --prefix=/usr/local/nginx-1.6.0 --add-module=../nginx-sticky-module-1.25 --without-...

    fastdfs安装包(fastdfs-6.06,fastdfs-nginx-module-1.22,nginx-1.16.1)

    在本教程中,我们将详细探讨如何利用FastDFS-6.06、fastdfs-nginx-module-1.22和nginx-1.16.1这三个组件来搭建一套完整的FastDFS系统。 首先,我们来看FastDFS-6.06。这是FastDFS的主要部分,负责文件的存储和管理...

    lua-nginx-module-master.zip

    Lua-nginx-module是Nginx服务器的一个扩展模块,它允许我们在Nginx配置文件中直接嵌入 Lua 脚本,极大地增强了Nginx的功能性和灵活性。这个"lua-nginx-module-master.zip"压缩包包含了该模块的源代码,是安装和...

    ingress-nginx-controller(含镜像和代码).rar

    Nginx 作为业界广泛使用的高性能反向代理服务器,其稳定性和性能使得 ingress-nginx 成为了 Kubernetes 集群的首选 ingress 控制器。 二、Ingress 资源理解 Ingress 是 Kubernetes 中的一个 API 对象,用于定义...

    集成了nginx-http-flv-module 1.2.9模块的64位nginx-1.21.4程序

    ### Nginx-1.21.4介绍 Nginx 1.21.4是Nginx的一个稳定版本,提供了许多性能优化和安全改进。它的主要特性包括支持HTTP/2协议、高效的反向代理、负载均衡、缓存功能以及对多种静态和动态内容的处理能力。 ### nginx...

    nginx + nginx-http-flv-module-1.2.9

    Nginx 是一个高性能的 Web 和反向代理服务器,而 nginx-http-flv-module 是 Nginx 的一个扩展模块,专门用于支持实时流媒体(RTMP)和FLV格式的视频流。让我们深入探讨这个组合的相关知识点。 1. **Nginx 概述** ...

    nginx-1.19.6_nginx-http-flv-module(64位)

    Nginx是一款高性能的Web服务器和反向代理服务器,它以其轻量级、高并发和稳定性著称。Nginx-1.19.6是Nginx的一个版本,发布于2020年11月27日。这个版本可能包含了性能优化、错误修复以及新的特性和功能。Nginx的更新...

    nginx-1.19.3-http-flv.zip

    资源说明: 1. 采用nginx最新版编译,包含最新的nginx-http-flv-module,以及基础...1. 将压缩包解压到D:\nginx-1.19.3目录下 2. 使用cmd命令打开DOS,并切换到D:\nginx-1.19.3 3. 使用nginxservice.exe install安装

    nginx-upstream-jvm-route nginx共享Session

    标题 "nginx-upstream-jvm-route nginx共享Session" 涉及到的是在使用Nginx作为反向代理服务器时,如何实现多个Java应用服务器(通常指的是JVM实例)之间的Session共享。这通常在构建高可用性和负载均衡的Web服务...

    nginx-http-flv-module(windows版)

    --> nginx-1.21.6 ======================== 在网上查找半天都只有教程,没有可免费下载的版本,深知没有积分遍地找资源的痛苦,无奈之下只好自己按照教程一步一个坑编译出来的,供大家免费下载使用。(无毒放心使用...

    fastdfs-nginx-module-1.24

    总结来说,FastDFS-nginx-module 1.24 是一个强大且成熟的解决方案,它将 FastDFS 的分布式文件存储能力和 Nginx 的高性能服务相结合,为开发者提供了一种便捷、高效的文件服务器搭建方式,对于需要处理大量文件操作...

    nginx-prometheus-exporter-0.11.0-linux-386.tar.gz

    《Nginx-Prometheus-Exporter:实现高效Web服务器监控》 在现代互联网服务中,监控系统的性能和稳定性至关重要。Nginx作为广泛使用的反向代理和负载均衡服务器,其性能指标的实时监控能帮助我们及时发现并解决问题...

    nginx1.16+nginx-upstream-check-module-master+nginx-upload-module

    这里我们关注的是一个包含特定模块的Nginx配置:`nginx1.16`,`nginx-upstream-check-module-master` 和 `nginx-upload-module`。这三个组件将帮助我们增强Nginx在处理后端服务健康检查、文件上传等方面的功能。 ...

Global site tag (gtag.js) - Google Analytics