有时候我们的抓取项目时需要登陆到某个网站上,才能看见某些内容的,所以模拟登陆功能就必不可少了,散仙这次写的文章,主要有2个例子,一个是普通写法写的,另外一个是基于面向对象写的。
模拟登陆的重点,在于找到表单真实的提交地址,然后携带cookie,post数据即可,只要登陆成功,我们就可以访问其他任意网页,从而获取网页内容。
方式一:
import urllib.request
import urllib.parse
import http.cookiejar
#post的内容
values={
'logon.x':'linke',
'password':'xxxx',
'username':'xxxxx'
}
#登陆的地址
logUrl="http://192.168.32.112:8080/templates/index/hrlogon.do"
#构建cook
cook=http.cookiejar.CookieJar()
#构建openner
openner=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cook))
#添加headers
openner.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36')]
r=openner.open(logUrl,urllib.parse.urlencode(values).encode())
#print(r.read().decode('gbk'))
r=openner.open("http://192.168.132.62:8080/kq/kqself/card/carddata.do?b_query=link")
print(r.read().decode('gbk'))
方式二:
import urllib
import urllib.request
import urllib.parse
import http.cookiejar
import re
class loginRLKQ:
post_data=b"";
def __init__(self):
#初始化类,cook的值
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
opener.addheaders=[('User-Agent','Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')]
#初始化全局opener
urllib.request.install_opener(opener)
#login方法需要加入post数据
def login(self,loginurl,encode):
#模拟登陆
req=urllib.request.Request(loginurl,self.post_data)
rep=urllib.request.urlopen(req)
d=rep.read()
#print(d)
d=d.decode(encode)
return d
#登陆之后获取其他网页方法
def getUrlContent(self,url,encode):
req2=urllib.request.Request(url)
rep2=urllib.request.urlopen(req2)
d2=rep2.read()
d22=d2.decode(encode)
return d22
if __name__=="__main__":
#实例化类
x=loginRLKQ()
#给post数据赋值
x.post_data=urllib.parse.urlencode({'username':"xxdd",'password':'xxdd','logon.x':'linke'}).encode(encoding="gbk")
#登陆
y=x.login("http://192.168.132.61:8080/templates/index/hrlogon.do","gbk")
#获取网页信息
print(x.getUrlContent("http://192.124.32.16:8080/kq/kqself/card/carddata.do?b_query=link","gbk"))
分享到:
相关推荐
opencv-python 3.4.1.15 opencv-contrib-python 3.4.1.15 win64版,opencv-python 3.4.1.15 opencv-contrib-python 3.4.1.15,支持版本:python3.4,3.5,3.6
在Windows环境下,通常会有一个名为"pyinstall-python3.4安装包"的文件,这可能是安装程序的可执行文件,解压后应双击运行来启动安装过程。 在安装过程中,有几个关键的选项需要注意。首先,你可以选择自定义安装...
适用于Windows64位,对应Python 3.6版本,OpenCV为3.4.1.15版本;内含有《opencv_contrib_python-3.4.1.15-cp36-cp36m-win_amd64.whl》和《opencv_python-3.4.1.15-cp36-cp36m-win_amd64.whl》两个文件
python3.4版32位 安装pycharm(平台)后,需要安装python3.5(编辑器)才可以编辑python #实例 #codeing = utf-8 #_author_ = 'chang' print ("Hello World") #python3.5 #print "Hello World"; #python2.7
Python3.4是Python编程语言的一个重要版本,它在2014年发布,为开发者提供了许多增强特性和改进。这个版本的文档是学习Python3.4的基础资源,特别是对于初学者来说,它包含了详尽的教程和说明,能够帮助他们系统地...
标题“PYQT5forpython3.4”指的是一个专为Python 3.4设计的PYQT5安装包,特别强调了这是最后一个适用于Windows XP操作系统的版本。PYQT5是一个强大的Python绑定库,它提供了对Qt 5框架的访问,使开发者能够在Python...
numpy for python3.4
**Python3.4 PyQt5 32位安装版** Python3.4是Python编程语言的一个重要版本,发布于2014年3月,引入了许多改进和新特性,包括增加asyncio模块,用于异步I/O操作,以及对元类(metaclasses)的增强支持。Python3.4是...
python.exe PYTHON3.4
《OpenCV-Python3.4.1.15:手把手教你解决安装难题》 OpenCV,全称Open Source Computer Vision Library,是一个开源的计算机视觉库,它包含了众多图像处理和计算机视觉的算法,广泛应用于图像分析、机器学习以及...
这些依赖包在你提到的压缩包“python3.4matplotlib绘图包(X64)”中应该已经包含。 首先,我们来看`matplotlib`。这是Python最广泛使用的数据可视化库之一,它的设计灵感来源于MATLAB。matplotlib提供了一个命令式...
然而,有时候用户可能会遇到卸载问题,如标题所述,“python3.4.16490.1437702276.msi”可能无法正常卸载。这可能是由于多种原因,如安装程序损坏、注册表项未正确清理、与其他程序冲突或系统权限不足等。为了解决这...
python3.4配套的twisted,安装scrapy需要安装twisted,此版本对应python3.4
Windows64位,Python3.4,Numpy安装包。 安装前请配置相应环境变量,在Dos下执行命令进行安装。 可参考安装教程:https://blog.csdn.net/Katrina_ALi/article/details/64922107
Python拥有一个强大的标准库。Python语言的核心只包含数字、字符串、列表、字典、文件等常见类型和函数,而由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。Python...
Python 3.4 绿化版是一款轻量级的、便携式的 Python 开发环境,专为便于携带和快速使用而设计。绿化版通常指的是软件已经进行了一定程度的优化和封装,使得它无需安装即可在任何支持的系统上运行,减少了依赖性和...
Python科学计算基本模块安装文件,包括Python3.4、scipy和matplotlib,均是whl文件,由于上传文件大小限制,numpy文件可在http://www.lfd.uci.edu/~gohlke/pythonlibs/中下载。whl文件可用pip安装。
python3.4 安装pyqt5之后没有designer 编辑器,需要安装这个模板。 下载完成之后,直接调用 pip install pyqt5_tools-5.5.1.1.2-cp34-none-win_amd64.whl 即可 是在没分了,就要1分吧
Python 3.4是Python编程语言的一个重要版本,发布于2014年,它引入了许多新特性,改进了性能,并修复了大量的bug。这个官方手册是学习和理解Python 3.4语法、库和框架的关键资源,对于开发者来说是不可或缺的参考...
Python3.4中文手册是一个为Python编程语言爱好者提供的详尽指南,主要针对的是Python 3.4这个版本。Python 3.4是Python 3系列的一个重要版本,于2014年发布,包含了多项改进和新特性。这份手册旨在帮助用户理解...