`
zl198751
  • 浏览: 279459 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Python 访问http, https请求

阅读更多

import cookielib
import urllib2
from urllib2 import *
from cStringIO import StringIO
from gzip import GzipFile

cj = cookielib.CookieJar()
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password('PMI',
                          uri='host-url ',       #like: 'www.baidu.com'
                          user='user-name', 
                          passwd='password')

opener = urllib2.build_opener(urllib2.HTTPSHandler(), auth_handler, urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)

req = Request('*******')
req.add_header('Accept-Encoding', 'gzip, deflate') # 用于设置返回的数据是gzip文件,如果是普通的html不需要设置这个内容。


handle = urllib2.urlopen(req)


data = handle.read()
io = StringIO(data)
data = GzipFile('', 'r', 0, io).read()
print data

分享到:
评论

相关推荐

    Python 解决直接访问请求地址返回403错误的问题 Python源码

    Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403错误的问题 Python源码Python 解决直接访问请求地址返回403...

    python伪造IP多线程发送http请求

    注,需要安全scapy 在centos下,请执行以下脚本安装scapy #!/usr/bin sh cd /tmp wget scapy.net unzip scapy-latest.zip cd scapy-2.* python setup.py install 需要手工启动和杀线程关闭 经测python2可用

    python 发送 http 请求

    Python2 >= 2.6 IP不变,多线程发送请求, 无限递增,需要手工杀掉, 用作简单访问压力测试辅助工具

    python多线程批量访问url脚本

    总的来说,这个"python多线程批量访问url脚本"提供了一个高效且易扩展的框架,用于批量处理HTTP请求,是学习Python网络编程和多线程处理的实用案例。通过理解和实践这个脚本,开发者不仅可以掌握多线程的基本概念,...

    Python使用grequests(gevent+requests)并发发送请求过程解析

    9. 异常处理:在并发发送请求时,可能会遇到各种异常情况,如URL无法访问或请求超时。grequests允许通过自定义异常处理函数来应对这些情况。例如,在发送请求列表时,可以指定一个异常处理函数,当某个请求发生异常...

    基于Python的http流抓取系统

    `requests`库是Python中用于HTTP请求的库,它使我们能够轻松地执行GET、POST等HTTP方法。例如,查询IP地址通常可以通过GET请求到一个提供IP查询服务的API来实现,如下所示: ```python import requests def get_ip...

    python 远程访问摄像头

    本项目使用Python语言实现了一个C/S(客户端/服务器)架构的远程摄像头访问系统。下面将详细阐述其中涉及的关键知识点。 1. **Python编程**: Python是一种高级编程语言,以其简洁明了的语法和丰富的库资源而广受...

    httpx+async实现python 发起异步http请求

    在Python编程中,发起HTTP请求是一项常见的任务,用于与服务器进行数据交互。传统的`requests`库虽然功能强大,但在处理高并发场景时表现不足,因为它不支持异步操作。为了解决这个问题,我们可以借助`httpx`库,...

    Python-FlaskLimiter是一个Flask的扩展库它可以根据访问者的IP限制其访问频率次数等

    Flask-Limiter是Python开发者在构建Web应用程序时常用的一个扩展库,它专为基于Flask的Web框架设计,用于实现访问控制和防止DDoS(分布式拒绝服务)攻击。通过限制每个IP地址的请求速率,Flask-Limiter帮助确保资源...

    Python-httpbin用PythonFlask编写的HTTP请求和响应服务

    【Python-Flask构建HTTP请求和响应服务:httpbin详解】 在Python的Web开发领域,Flask是一个轻量级的框架,它以其简洁和灵活的特性深受开发者喜爱。httpbin.org是一个在线工具,用于测试HTTP请求和响应,而httpbin...

    Python-基于TcpClient现实的http请求库

    该库支持代理请求,允许用户设置HTTP或HTTPS代理,增加了网络访问的灵活性。 9. **源代码分析**: 在名为“TcpClientHttpRequest-master”的压缩包中,可能包含了源代码文件,供开发者研究和定制。这些文件可能...

    python 多线程实现多个网址的多次快速访问

    在Python编程中,多线程是一种并发执行任务的机制,尤其在处理I/O密集型任务如网络请求时,能够显著提高程序效率。本教程将详细讲解如何使用Python的多线程来实现对多个网址的快速访问,并记录访问结果。 首先,...

    Python-内网tcphttp穿透支持http设置帐号密码

    首先,内网穿透,也称为NAT穿透,是为了使内网中的设备能够被公网访问,或者内网设备之间可以相互通信,而绕过NAT(网络地址转换)限制的一种技术。常见的内网穿透工具有FRP(Fast Reverse Proxy)、ngrok等,它们...

    python袖珍http服务器

    Python袖珍HTTP服务器是一种小型、轻量级的网络服务程序,它允许用户通过Python语言在本地或局域网内快速搭建一个HTTP服务器,用于分享文件或HTML页面。这个服务器特别适用于开发者测试网页或者向他人展示作品,因为...

    python爬虫的随机请求头+随机代理

    在爬虫中,设置随机的请求头可以模拟不同的用户访问,减少因重复请求而引起的目标网站警觉。以下是一个简单的示例,展示如何在`requests.get()`方法中设置自定义的请求头: ```python import requests headers = {...

    Python flask 工程get请求包

    在这个“Python flask 工程get请求包”中,开发者利用Flask框架来创建处理GET请求的接口,同时集成Oracle数据库作为数据存储后端。Oracle数据库是一个功能丰富的商业级关系型数据库系统,广泛应用于大型企业级应用。...

    python爬虫模拟浏览器访问-User-Agent过程解析

    综上所述,Python爬虫模拟浏览器访问-User-Agent的过程涉及到网络请求的构造、请求头的设置、服务器响应的处理等多个方面,了解这些知识点对于编写高效、合法的爬虫程序至关重要。通过这篇文章的学习,我们可以更加...

    Python-网络爬虫框架可基于Raw包进行请求和返回并支持自定义数据包

    **Python网络爬虫框架——基于Raw包的请求与自定义数据包处理** 在Python的世界里,网络爬虫是一种常见的数据获取技术,它允许开发者从网页上抓取信息以供分析或存储。本篇将深入探讨一种特殊的网络爬虫框架,该...

Global site tag (gtag.js) - Google Analytics