Scrapy爬虫的安装

打算用scrapy这个东西抓点磁力链接回来。结果安装途中路漫漫，踩了很多坑，网上有各种各样的安装教程，也按照他们的试了，结果就是不同的时间、不同的环境遇到了不同的问题，不能保证一步一步操作就能安装成功，所以在此大致记录个思路，绝对能成功的。

 

之前安装成功过一次，不过云主机过期以后就没有了。当时的安装思路是从官网上下了scrapy的安装包，缺哪个依赖就去python的官网上找，中间还有需要设置环境变量等等的坑。最后终于安装成功了，从新机到安装完毕，装了28个依赖包，压根儿不靠谱。

 

这次来到新公司，有个很牛逼的技术大牛，按照他的思路很容易就安装成功了，记录一下：

1. 申请一个全新的VPS，我用的阿里云；

2. 使用CentOS 7.0版本，不是说6.5不好，妈的带的Python版本是2.6.6，非主流，会出很多坑；

3. 从https://pip.pypa.io/en/stable/installing/ 上下载geg-pip.py的安装脚本，不要用yum或者pip的安装包，每一个版本的pip对应的python版本都不一样，这个脚本会帮助自动匹配，所以不要自己乱下。然后安装pip；

4. 执行pip install scrapy，中间会报一些依赖包下载超时的错误。没关系，多试几次，已经下载下来的依赖包不会重复下载；

5. 都下来以后，会报一些安装错误，多是缺一些比较基础的依赖包比如：openSSL、libffi、libxml2、libxslt等，只要使用yum安装这些依赖包以及他们的devel开发包即可。然后不要忘记使用yum安装python-devel；

6. 然后重复地执行pip install scrapy就好了，直到安装成功。

 

以上是使用了多种安装方法报错最少，最简便的安装方式。

转载于:https://my.oschina.net/u/1780368/blog/716395