`
jaychang
  • 浏览: 734649 次
  • 性别: Icon_minigender_1
  • 来自: 嘉兴
社区版块
存档分类
最新评论

通过 Nginx 将爬虫和正常用户访问分开到不同的后端运行

 
阅读更多

1. [代码]定义 Map     跳至 [1] [2] [3] [全屏预览]

1 map $http_user_agent $is_bot {
2     default 0;
3     ~[a-z]bot[^a-z] 1;
4     ~[sS]pider[^a-z] 1;
5     'Yahoo! Slurp China' 1;
6     'Mediapartners-Google' 1;
7 }

2. [代码]定义 Location     

1 location @bots {
2     proxy_pass http://osc_bot;
3 }

3. [代码]处理爬虫请求     

1 location / {
2     error_page 418 =200 @bots;
3     if ($is_bot) {
4        return 418;
5     }
6     proxy_pass http://osc_tomcats;
7 }
分享到:
评论

相关推荐

    通过dockerfile将nginx、前端和后端封装成一个镜像文章所需要的nginx压缩包

    通过dockerfile将nginx、前端和后端封装成一个镜像文章所需要的nginx压缩包

    nginx后端健康检测模块

    Nginx 的健康检查模块是其负载均衡策略的一部分,它会定期发送请求到后端服务器以确认它们是否正常工作。这个模块通过检查后端服务器的响应时间、HTTP状态码以及用户自定义的HTTP报头来判断服务器的健康状态。如果...

    nginx.conf 访问后端配置源文件

    nginx配置访问后端源码

    配置Nginx前端Apache后端服务器

    在多台服务器环境下,Nginx还可以配置为负载均衡器,通过轮询、最少连接数等方式将请求分发到多个Apache实例上,从而提高系统的可用性和响应速度。 ### 结论 通过合理配置Nginx和Apache,不仅可以显著提升网站的...

    Nginx安装+nginx_upstream_check_module后端健康检查

    ### Nginx安装与后端健康检查...通过上述步骤,用户不仅可以获得一个高性能的Web服务器,还能轻松实现对后端节点的状态监控,确保服务的稳定性和可靠性。这些配置可以根据实际需求进行调整优化,以满足不同的业务场景。

    Nginx:Nginx与后端语言(PHP,Python)的集成.docx

    Nginx:Nginx与后端语言(PHP,Python)的集成.docx

    Nginx教程 防御ddos,用户访问控制,限流.zip

    本教程将围绕如何利用Nginx进行DDoS防御、用户访问控制以及流量和并发连接数限制展开。 **一、防御DDoS攻击** DDoS(Distributed Denial of Service)分布式拒绝服务攻击是一种常见的网络安全威胁,通过大量恶意...

    项目打包运行dist以及nginx配置

    通过打包工具将开发项目转化为生产就绪的"dist"目录,然后利用Nginx的强大功能进行高效地请求处理和静态资源分发,可以确保应用的稳定性和高性能。在实际操作中,不断学习和熟练掌握这些技能,对于提升IT专业人士的...

    Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法

    此外,Nginx的`location`块还可以配置为反向代理,将请求转发到后端服务器,同时应用额外的限制策略。例如,以下配置不仅转发请求,还设置了一些代理相关的参数: ```nginx location ~ ^/(.*)$ { proxy_pass ...

    微信小程序https服务nginx配置示例.pdf

    当用户访问某个路径时,nginx会根据配置找到对应的本地目录,并返回相应的文件内容给用户。 8. 正则表达式重写:rewrite指令用于使用正则表达式对请求的URI进行匹配和重写,以实现请求的重定向。这里的^/home/(.*)$...

    nginx配置多域名访问以及完整配置

    反向代理是Nginx的一个重要功能,用于将客户端请求转发到后端服务器。以下是一个简单的反向代理配置示例: ```nginx location /api/ { proxy_pass http://backend_server:8080/api/; proxy_set_header Host $host...

    nginx配置tcp转发(nginx通过白名单访问)

    在Nginx中配置TCP转发,可以将客户端的TCP请求透明地转发到后端服务器,实现负载均衡、安全控制等功能。 要配置Nginx进行TCP代理转发,我们需要创建一个新的Nginx配置文件,通常放在`/etc/nginx/conf.d/`目录下,...

    Nginx反向代理不能访问项目的解决办法

    在配置Nginx作为反向代理服务器时,有时会遇到可以通过域名正常访问Linux系统下部署的Tomcat服务器,但是却无法访问到部署在Tomcat上的具体项目的情况。这种情况通常是因为Nginx的配置文件中的设置不正确所导致的。 ...

    Nginx运行项目.docx

    在本文中,我们将深入探讨如何使用Nginx来运行前端项目。Nginx是一个高性能的HTTP和反向代理服务器,广泛用于部署静态内容服务,如HTML、CSS、JavaScript等前端项目。以下是关于如何配置Nginx以运行前端项目的详细...

    Vue中跨域及打包部署到nginx跨域设置方法

    经过这样的配置后,前端项目在访问`/api`路径下的资源时,Nginx会将请求转发到后端服务器`***`,从而解决跨域问题。 总结来说,跨域问题是前后端分离开发过程中需要重点解决的问题之一。本文介绍了在Vue项目开发...

    Nginx服务器fair负载访问安装配置

    Nginx 的 Fair 负载均衡模块提供了一种智能且高效的方式来分配请求到不同的后端服务器,特别是在后端服务器处理能力不一致的情况下,能够显著提升系统的整体性能和用户体验。通过本文的详细介绍,相信您已经掌握了...

    Nginx端口映射配置方法

    Nginx端口映射配置方法是网络服务器管理中的一个重要环节,它允许用户通过单一的公共端口访问多个运行在不同私有端口上的服务。Nginx作为高性能的反向代理服务器,常用于实现这一功能。以下是关于Nginx端口映射配置...

    nginx免安装版(包含nginx服务启动和停止bat)

    Nginx作为反向代理服务器,可以接收来自客户端的请求,并将它们转发到后端的应用服务器(如Node.js、Java应用服务器等)。这对于负载均衡、隐藏后端服务器结构以及优化性能都是很有用的。 总结来说,这个“nginx...

    Nginx-1.23.2.zip

    2. **反向代理**:Nginx可以作为反向代理服务器,将用户的请求转发到后端服务器,从而实现负载均衡和故障隔离,提高服务的可用性。 3. **静态文件处理**:Nginx在处理静态资源如图片、CSS、JavaScript等文件时表现...

    nginx1.18 nginx1.18 nginx1.18

    2. **反向代理**:Nginx 可以作为反向代理服务器,将客户端请求转发到后端应用服务器,从而实现负载均衡,提高系统的可扩展性和可靠性。 3. **静态文件服务**:Nginx 在处理静态资源如 HTML、CSS、JavaScript 文件...

Global site tag (gtag.js) - Google Analytics