`
riching
  • 浏览: 263394 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Python的urllib2的代理设置

 
阅读更多
程序中使用代理的应用场景主要是：爬去有访问频率限制的网站的数据或者用于刷票等
代理的代码很简单，可以和上一篇的cookie、header等一起设置，具体可参考官方api 
 proxy_info = "219.232.47.153:80"
 proxy_handler = urllib2.ProxyHandler({"http" : "http://%s/" % proxy_info})
 proxy_opener = urllib2.build_opener(proxy_handler)

 之后
 urllib2.install_opener(proxy_opener)
 或者
 proxy_opener.open(url).read()
分享到：
| 使用Python的urllib2库抓取网页
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Python urllib urllib模块

    4. **urllib2** (仅在Python 2.x中): 在Python 2.x中，urllib2模块提供了一个更高级的接口，包含了request、error和一些其他功能，比如处理HTTP基本认证、代理等。但在Python 3.x中，这些功能被整合到urllib.request...

    python urllib2详解及实例 Python开发技术文章_教程 - 红黑联盟.pdf

    ### Python的urllib2库详解及实例 #### 引言 `urllib2`是Python标准库中的一个强大工具，用于处理URLs的获取和解析。尽管在Python 3中已被`urllib.request`和`urllib.parse`等模块取代，但在Python 2中，`urllib2`...

    python urllib2模块实例简介.docx

    ### Python urllib2 模块详解 #### 一、引言 `urllib2` 是 Python 早期用于处理 URL 请求的标准库之一，在 Python 2.x 版本中广泛使用。随着 Python 3.x 的普及，该模块已被整合进 `urllib` 包中，并有所调整。...

    pythonurllib2模块实例简介.pdf

    `pythonurllib2`模块是Python中用于处理URL的一个强大工具，主要负责网络请求和响应。这个模块提供了方便的API，使得开发者能够轻松地访问HTTP、FTP等协议的资源。在本文中，我们将深入探讨`urllib2`的核心功能和...

    pythonurllib2模块实例简介文.pdf

    总结起来，Python的urllib2模块提供了一套全面的工具，用于处理各种URL相关的任务，包括HTTP请求、响应处理、数据传输、认证、代理和cookie管理。通过灵活地组合不同的处理器和 opener，开发者可以构建出复杂的网络...

    Python爬虫基础之Urllib库

    Python 爬虫基础之 Urllib 库 Python 的 Urllib 库是 Python 语言中最基本的网络请求库，提供了对 URL 的访问和处理能力。该库包含了多种功能，包括访问 URL、设置 headers、代理设置、超时时间设置等。 1. 访问 ...

    python_urllib3

    urllib3 is a python lib 1.线程安全 2.连接池 3.客户端SSL/TLS验证 4.文件分部编码上传 5.协助处理重复请求和HTTP重定位 6.支持压缩编码 7.支持HTTP和SOCKS代理

    Python urllib2运行过程原理解析

    Python的urllib2库是进行HTTP请求的重要工具，主要用于网络数据的抓取和交互。它提供了urlopen函数和Request类，使得开发者能够方便地发送GET和POST请求，并处理各种网络交互中的复杂情况。 1. `urlopen`函数是...

    Python 网络爬虫开发 Python爬虫入门基础教程：Python的urllib2 模块解析 共6页.pptx

    Python 网络爬虫开发基础教程：Python 的 urllib2 模块解析 Python 网络爬虫开发是指使用 Python 语言来开发网络爬虫程序，以便从互联网上抓取有价值的数据。Python 的 urllib2 模块是 Python 的一个标准库，提供了...

    Python爬虫基础教程-Urllib详解.pdf

    在Python3中，Urllib库整合了Python2.7中的urllib和urllib2，形成一个统一的接口，使得操作更为简洁。 首先，我们要了解Urllib库的主要模块： 1. **urllib.request**：这是用于发出HTTP请求的核心模块，包含了如...

    「Python系列」Python urllib库（操作网页URL对网页的内容进行抓取处理）.md

    ### Python urllib 库详解 #### 一、引言 `urllib` 是 Python 的一个标准库，主要用于处理 URL 操作，比如抓取网页内容、解析 URL 和处理异常情况等。对于从事 Web 开发或者需要从互联网上抓取数据的开发者来说，`...

    phython urllib2 api

    知识点：Python的urllib2模块详解 一、引言与概述 urllib2是Python中的一个强大模块，专门用于从互联网上抓取URL资源。它不仅提供了基础的URL获取功能，还支持处理复杂的网络请求场景，如基本认证、代理设置、错误...

    urllib2使用代理ip和header打开网页

    urllib2使用代理ip和改变header打开网页，proxy和headers。

    Python库 | urllib3-1.24.3-py2.py3-none-any.whl

    这个资源是一个名为`urllib3-1.24.3-py2.py3-none-any.whl`的压缩包，包含了`urllib3`库的特定版本1.24.3，支持Python 2和Python 3，适用于任何架构。安装这个.whl文件后，你就可以在你的Python项目中使用`urllib3`...

    Python urllib、urllib2、httplib抓取网页代码实例

    Python中的`urllib`, `urllib2`, 和`httplib`是用于网络数据请求和处理的库，它们在Web开发和爬虫项目中扮演着重要角色。这些库可以帮助开发者发送HTTP请求，获取响应，处理cookies，使用代理，以及处理重定向等问题...

    urllib2 官方文档解析1

    总结，`urllib2`是Python 2中强大的URL处理工具，提供了丰富的功能来处理HTTP请求、重定向、认证、代理等。在Python 3中，这些功能被分散到`urllib.request`和`urllib.error`中，开发者需要根据具体需求进行适配。...

    Python urllib.request对象案例解析

    Python的`urllib`库是进行网络数据请求和处理的基础工具，特别在Web爬虫领域中扮演着重要的角色。这个库包含多个子模块，每个子模块都有特定的功能，旨在简化HTTP和其他协议的数据获取。 1. **urllib.request**模块...

Magicbox
Global site tag (gtag.js) - Google Analytics