import cookielib
import urllib2
from urllib2 import *
from cStringIO import StringIO
from gzip import GzipFile
cj = cookielib.CookieJar()
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password('PMI',
uri='host-url ', #like: 'www.baidu.com'
user='user-name',
passwd='password')
opener = urllib2.build_opener(urllib2.HTTPSHandler(), auth_handler, urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
req = Request('*******')
req.add_header('Accept-Encoding', 'gzip, deflate') # 用于设置返回的数据是gzip文件,如果是普通的html不需要设置这个内容。
handle = urllib2.urlopen(req)
data = handle.read()
io = StringIO(data)
data = GzipFile('', 'r', 0, io).read()
print data
分享到:
相关推荐
Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403...
注,需要安全scapy 在centos下,请执行以下脚本安装scapy #!/usr/bin sh cd /tmp wget scapy.net unzip scapy-latest.zip cd scapy-2.* python setup.py install 需要手工启动和杀线程关闭 经测python2可用
Python2 >= 2.6 IP不变,多线程发送请求, 无限递增,需要手工杀掉, 用作简单访问压力测试辅助工具
总的来说,这个"python多线程批量访问url脚本"提供了一个高效且易扩展的框架,用于批量处理HTTP请求,是学习Python网络编程和多线程处理的实用案例。通过理解和实践这个脚本,开发者不仅可以掌握多线程的基本概念,...
9. 异常处理:在并发发送请求时,可能会遇到各种异常情况,如URL无法访问或请求超时。grequests允许通过自定义异常处理函数来应对这些情况。例如,在发送请求列表时,可以指定一个异常处理函数,当某个请求发生异常...
`requests`库是Python中用于HTTP请求的库,它使我们能够轻松地执行GET、POST等HTTP方法。例如,查询IP地址通常可以通过GET请求到一个提供IP查询服务的API来实现,如下所示: ```python import requests def get_ip...
本项目使用Python语言实现了一个C/S(客户端/服务器)架构的远程摄像头访问系统。下面将详细阐述其中涉及的关键知识点。 1. **Python编程**: Python是一种高级编程语言,以其简洁明了的语法和丰富的库资源而广受...
在Python编程中,发起HTTP请求是一项常见的任务,用于与服务器进行数据交互。传统的`requests`库虽然功能强大,但在处理高并发场景时表现不足,因为它不支持异步操作。为了解决这个问题,我们可以借助`httpx`库,...
Flask-Limiter是Python开发者在构建Web应用程序时常用的一个扩展库,它专为基于Flask的Web框架设计,用于实现访问控制和防止DDoS(分布式拒绝服务)攻击。通过限制每个IP地址的请求速率,Flask-Limiter帮助确保资源...
【Python-Flask构建HTTP请求和响应服务:httpbin详解】 在Python的Web开发领域,Flask是一个轻量级的框架,它以其简洁和灵活的特性深受开发者喜爱。httpbin.org是一个在线工具,用于测试HTTP请求和响应,而httpbin...
该库支持代理请求,允许用户设置HTTP或HTTPS代理,增加了网络访问的灵活性。 9. **源代码分析**: 在名为“TcpClientHttpRequest-master”的压缩包中,可能包含了源代码文件,供开发者研究和定制。这些文件可能...
在Python编程中,多线程是一种并发执行任务的机制,尤其在处理I/O密集型任务如网络请求时,能够显著提高程序效率。本教程将详细讲解如何使用Python的多线程来实现对多个网址的快速访问,并记录访问结果。 首先,...
首先,内网穿透,也称为NAT穿透,是为了使内网中的设备能够被公网访问,或者内网设备之间可以相互通信,而绕过NAT(网络地址转换)限制的一种技术。常见的内网穿透工具有FRP(Fast Reverse Proxy)、ngrok等,它们...
Python袖珍HTTP服务器是一种小型、轻量级的网络服务程序,它允许用户通过Python语言在本地或局域网内快速搭建一个HTTP服务器,用于分享文件或HTML页面。这个服务器特别适用于开发者测试网页或者向他人展示作品,因为...
在爬虫中,设置随机的请求头可以模拟不同的用户访问,减少因重复请求而引起的目标网站警觉。以下是一个简单的示例,展示如何在`requests.get()`方法中设置自定义的请求头: ```python import requests headers = {...
在这个“Python flask 工程get请求包”中,开发者利用Flask框架来创建处理GET请求的接口,同时集成Oracle数据库作为数据存储后端。Oracle数据库是一个功能丰富的商业级关系型数据库系统,广泛应用于大型企业级应用。...
综上所述,Python爬虫模拟浏览器访问-User-Agent的过程涉及到网络请求的构造、请求头的设置、服务器响应的处理等多个方面,了解这些知识点对于编写高效、合法的爬虫程序至关重要。通过这篇文章的学习,我们可以更加...
**Python网络爬虫框架——基于Raw包的请求与自定义数据包处理** 在Python的世界里,网络爬虫是一种常见的数据获取技术,它允许开发者从网页上抓取信息以供分析或存储。本篇将深入探讨一种特殊的网络爬虫框架,该...