nginx限制恶意爬虫

1、通过IP限制

 

在nginx.conf http中增加

 

    include /opt/nginx/conf/blocksip.conf;

  然后打开blocksip.conf文件，编辑

deny xxx.x.x.xxxx;

即可阻止固定IP访问

 

 

2、通过限制user_agent 

 

在nginx.conf  配置中server部分增加

if ($http_user_agent ~* "pyspider") {
          return 403;
}

 可以阻止pyspider的user_agent的爬虫

 

 

3、通过limit_req_zone限制IP的访问

 

#定义一个名为allips的limit_req_zone用来存储session，大小是10M内存，

    #以$binary_remote_addr 为key,限制平均每秒的请求为20个，

    #1M能存储16000个状态，rete的值必须为整数，

    #如果限制两秒钟一个请求，可以设置成30r/m

 

    

limit_req_zone $binary_remote_addr zone=allips:10m rate=20r/s;

 

 

在server中增加

 

 

           #限制每ip每秒不超过20个请求，漏桶数burst为5

            #brust的意思就是，如果第1秒、2,3,4秒请求为19个，

            #第5秒的请求为25个是被允许的。

            #但是如果你第1秒就25个请求，第2秒超过20的请求返回503错误。

            #nodelay，如果不设置该选项，严格使用平均速率限制请求数，

            #第1秒25个请求时，5个请求放到第2秒执行，

            #设置nodelay，25个请求将在第1秒执行。 

 

 

            limit_req zone=allips burst=5 nodelay;