shaoziqiang
- 浏览: 4667 次
-
最新评论
文章列表
大家好，本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。
1.URLError
首先解释下URLError可能产生的原因：
<!--[if !supportLists]-->· <!--[endif]-->网络无连接，即本机无法上网
<!--[if !supportLists]-->· <!--[endif]-->连接不到特定的服务器
<!--[if !supportLists]-->· <!--[endif]-->服务器不存在
在代码中，我们需要用try-except语句来包 ...
大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。
为什么要使用Cookie呢？
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）
比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。
在此之前呢，我们必须先介绍一个opener的概念。
1.Opener
当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。 ...
1.设置Headers
有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性。
首先，打开我们的浏览器，调试浏览器F12，我用的 ...
1.分分钟扒一个网页下来
怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它 是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我 们就写个例子来扒一个网页下来。
Python
1
大家好哈，最近博主在学习Python，学习期间也遇到一些问题，获得了一些经验，在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一共分享学习经验。
Python版本:2.7，Python 3请另寻其他博文。
首先爬虫是什么？
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。
有粉丝私信我想让我出更基础一些的，我就把之前平台的copy下来了，可以粗略看一下，之后都会慢慢出。
1.什么是爬虫
爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。
webmagic学习-使用注解编写爬虫
写在前面：
官方文档：http://webmagic.io/docs/zh/posts/ch5-annotation/README.html
WebMagic支持使用独有的注解风格编写一个爬虫，引入webmagic-extension包即可使用此功能。
在注解模式下，使用一个简单的Model对象加上注解，可以用极少的代码量就完成一个爬虫的编写。
Python并不是我的主业，当初学Python主要是为了学爬虫，以为自己觉得能够从网上爬东西是一件非常神奇又是一件非常有用的事情，因为我们可以获取一些方面的数据或者其他的东西，反正各有用处。
这两天闲着没事，主要是让脑子放松一下就写着爬虫来玩，上一篇初略的使用BeautifulSoup去爬某个CSDN博客的基本统计信息（http://blog.csdn.net/hw140701/article/details/55048364），今天就想要不就直接根据某个CSDN博客的主页的地址爬取该博客的所有文章链接，进而提取每一篇文章中的元素，我这里是提取每一篇博客中的文字信息。
一、主要思路
通过 ...
关于爬虫内容的分享，我会分成六个部分来分享，分别是：
<!--[if !supportLists]-->1. <!--[endif]-->我们的目的是什么
<!--[if !supportLists]-->2. <!--[endif]-->内容从何而来
<!--[if !supportLists]-->3. <!--[endif]-->了解网络请求
<!--[if !supportLists]-->4. <!--[endif]-->一些常见的限制方式
前两天有人私信我，让我爬这个网站，http://bbs.baobeihuijia.com/forum-191-1.html上的失踪儿童信息，准备根据失踪儿童的失踪时的地理位置来更好的寻找失踪儿童，这种事情本就应该义不容辞,如果对网站服务器造成负荷，还请谅解。
这次依然是用第三方爬虫包BeautifulSoup，还有Selenium+Chrome，Selenium+PhantomJS来爬取信息。
通过分析网站的框架，依然分三步来进行。
步骤一：获取http://bbs.baobeihuijia.com/forum-191-1.html这个版块上的所有分页页面链接
步骤二：获取每一个分页链接上所发 ...