只是拿来的文章,留个存档,可不保证能用
import cookielib, urllib2
ckjar = cookielib.MozillaCookieJar(os.path.join(’C:\Documents and Settings\tom\Application Data\Mozilla\Firefox\Profiles\h5m61j1i.default’, ‘cookies.txt’))
req = urllib2.Request(url, postdata, header)
req.add_header(’User-Agent’, \
‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)’)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(ckjar) )
f = opener.open(req)
htm = f.read()
f.close()
-
访问网站获得cookie,并把获得的cookie保存在cookie文件中
import cookielib, urllib2
req = urllib2.Request(url, postdata, header)
req.add_header(’User-Agent’, \
‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)’)
ckjar = cookielib.MozillaCookieJar(filename)
ckproc = urllib2.HTTPCookieProcessor(ckjar)
opener = urllib2.build_opener(ckproc)
f = opener.open(req)
htm = f.read()
f.close()
ckjar.save(ignore_discard=True, ignore_expires=True)
-
使用指定的参数生成cookie,并用这个cookie访问网站
import cookielib, urllib2
cookiejar = cookielib.CookieJar()
urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
values = {’redirect’:”, ‘email’:'abc@abc.com’,
‘password’:'password’, ‘rememberme’:”, ’submit’:'OK, Let Me In!’}
data = urllib.urlencode(values)
request = urllib2.Request(url, data)
url = urlOpener.open(request)
print url.info()
page = url.read()
request = urllib2.Request(url)
url = urlOpener.open(request)
page = url.read()
print page
分享到:
相关推荐
总的来说,抓取百度云分享数据涉及到了Python网络请求、数据解析、可能的验证码处理以及应对反爬策略等技术。在实践中,务必尊重网站的使用条款,合法合规地进行数据抓取,避免对他人造成不必要的困扰。
`Python的cookie处理分享.docx`可能包含了如何在Python中创建、读取和管理Cookie的详细步骤。 例如,创建一个新的Cookie: ```python import http.cookies cookie = http.cookies.SimpleCookie() cookie['name'] ...
本文实例讲述了python使用urllib2实现发送带cookie的请求。分享给大家供大家参考。具体实现方法如下: import urllib2 opener = urllib2.build_... 您可能感兴趣的文章:python处理cookie详解Python模仿POST提交HTTP数
本文实例讲述了Python基于PycURL自动处理cookie的方法。分享给大家供大家参考。具体如下: import pycurl import StringIO url = "http://www.google.com/" crl = pycurl.Curl() crl.setopt(pycurl.VERBOSE,1) crl....
详细介绍了使用requests库获取网页数据的过程,包括从打开商品评价页面、抓包分析找到评论接口,到处理cookie参数、解决cookie字符串解析问题,以及设置正确的编码以成功获取评论数据,分享了实际操作中遇到的问题及...
Python是当今IT行业中广泛使用的编程语言之一,尤其在自动化任务处理方面表现突出。"seleiunm"是一个针对百家号的Python自动化发布工具,能够帮助用户实现文案的自动发布,节省时间和精力,非常适合内容创作者或者...
在Python中,处理HTTP请求通常会用到`urllib`或`urllib2`模块。这两个模块都提供了发送HTTP请求的功能,但`urllib2`相比`urllib`提供了更多高级功能,例如支持代理、自定义请求头等。其中,`urllib2.build_opener()`...
6. **会话(Session)**:Flask提供会话管理,通过设置特定的cookie来跟踪用户的交互,实现状态保持。 7. **扩展(Extensions)**:Flask生态中有大量扩展,如Flask-SQLAlchemy用于数据库操作,Flask-WTF用于表单...
3. **爬虫中的Cookie处理**:在文件名"SpiderBeiJing"中,"Spider"通常指的是网络爬虫,这可能意味着博文重点介绍了如何在爬虫项目中获取和使用Cookie。在爬虫中,正确处理Cookie对于模拟登录、维持会话或避免被识别...
- **Cookie管理**:正确处理网站设置的Cookie,维持登录状态,突破登录验证限制。 - **IP封禁处理**:了解常见的IP封禁机制,采取轮换IP地址等措施降低被封概率。 - **验证码识别**:借助OCR技术和第三方服务,实现...
4. **登录与cookie**:某些网站需要登录才能访问,这时需要处理登录过程,可能需要用到`requests.Session()`来管理cookie。 最后,关于CSDN资源分的提及,这是一个常见的社区分享规则,要求用户在上传资源时提供...
5. 登录爬虫:模拟用户登录,通常需要处理Cookie和Session,有时还需要应对反爬策略,如滑动验证。 四、反爬与应对策略 1. IP代理:频繁请求同一网站可能会被封IP,使用代理IP池可以降低被封风险。 2. User-Agent...
- Cookie机制介绍及其在网络爬虫中的作用。 - Web服务器工作原理简述。 #### 五、前端基础知识(第05章) - **章节目标**:让学员掌握前端技术,以便更好地解析网页内容。 - **主要内容**: - HTML/CSS基础知识...
6. **安全与隐私**:在实际操作中,确保遵守微博的服务条款和隐私政策,不要滥用或分享他人的Cookie信息,否则可能会导致账号安全问题。 以上就是“微博Cookie自动获取Python代码开发”的核心概念和流程。需要注意...
2. **登录爬虫**:处理登录验证,使用session或cookie来保持会话,模拟用户登录后爬取受限内容。 3. **动态加载内容爬取**:对付使用JavaScript动态加载内容的网站,可以借助Selenium或Pyppeteer库模拟浏览器行为。...
从压缩包文件名"python_bt-master"来看,可能这个项目还涉及BitTorrent技术,用于搜索和分享电影种子链接。BitTorrent协议是P2P文件共享的一种方式,Python有libtorrent库可以实现相关功能。 总之,这个毕业设计...
这个系统旨在提供一个简洁、易用且功能丰富的交互平台,让学生和教职员工能够分享信息、发起讨论和建立社区。 首先,Django是Python中一款强大的Web开发框架,以其MVC(Model-View-Controller)设计模式著称,能够...
这个项目的主要目的是通过编写Python脚本来实现自动化的B站直播互动,如自动获取定时奖励、开启宝箱以及获取分享奖励等功能。下面我们将详细探讨相关的知识点。 1. **Python基础**:作为项目的基础,Python 3.*是...
9. **登录和Cookie管理**:如果B站的某些数据需要登录后才能查看,我们需要处理登录过程,保存和使用Cookie信息。 10. **分页和深度遍历**:对于有分页的用户数据,我们需要编写逻辑来遍历所有页面。同时,如果要...
在这个项目中,我们可以期待看到如何组织Python代码来实现特定的任务,如登录B站获取cookie、解析视频页面以找到视频源、处理分段下载等步骤。 在没有具体标签的情况下,我们可以假设这个项目涵盖了以下Python和...