win7是目前最常见的系统,不习惯linux的朋友可以在win7上搭建scrapy环境,本人使用的是win7 64位的,这里就以64位系统为例。
1、安装python
下载win7 64位 python2.7.12安装文件
https://www.python.org/ftp/python/2.7.12/python-2.7.12.amd64.msi
安装完成后,配置环境变量
如: D:\Python27 ; D:\Python27\scripts;
cmd下运行:python -V
可以检查python版本和验证安装情况。
2、安装pywin32
到 https://sourceforge.net/projects/pywin32/files/pywin32 最新的Build中下载,本人下载的是 pywin32-220.win-amd64-py2.7.exe
双击安装即可
3、升级setuptools和pip
cmd中运行
python -m pip install --upgrade pip
python -m pip install --upgrade setuptools
4、安装Scrapy依赖
cmd中运行
easy_install cssselect lxml queuelib six twisted w3lib zope.interface
pip install pyOpenSSL cryptography cffi pycparser
正常编译需要VS2008编译环境,如无VS环境可参考报错处理直接安装已编译好的包
5、安装Scrapy
easy_install scrapy
安装过程中如有报错可到
http://www.lfd.uci.edu/~gohlke/pythonlibs/ 网站找相应的已编译版本
如MySQL_python-1.2.5-cp27-none-win_amd64.whl、pywin32-220.1-cp27-cp27m-win_amd64.whl、lxml-3.6.4-cp27-cp27m-win_amd64.whl
使用安装即可
pip install MySQL_python-1.2.5-cp27-none-win_amd64.whl
相关推荐
windows平台下搭建scrapy环境,包括xml-3.6.0.win-amd64-py2.7.exe, chardet-2.3.0.tar.gz、pyOpenSSL-0.13.1.win-amd64-py2.7.exe、scrapy-1.0.zip、Twisted-15.0.0.win-amd64-py2.7.msi、xlrd-0.9.4.tar.gz、xlwt-...
如果你是在Windows环境下搭建Scrapy,你需要运行这个安装程序来安装pywin32。 "Twisted-20.3.0-cp37-cp37m-win_amd64.whl"是Twisted库的一个版本,Twisted是一个异步网络编程框架,Scrapy框架在处理大量并发请求时...
在Windows环境下搭建Scrapy,你需要遵循以下步骤: 1. **安装Python**: 首先确保你的计算机上已经安装了Python。访问Python官网(https://www.python.org/downloads/)下载最新版本的Python安装包,并在安装过程中...
通过上述步骤,您可以在Windows 7环境下成功搭建基于Eclipse + PyDev的Python开发环境,并利用Pyppeteer和Scrapy实现高效的网络爬虫开发。这些工具和框架的组合不仅能够提高爬虫效率,还能帮助开发者更好地理解和...
由于Python的版本和操作系统类型不同,你需要从指定的下载地址(https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)找到与你的系统(这里是win7-32位,Python3.6.5)兼容的Twisted版本。下载对应的whl文件后,...
Scrapy是一个强大的Python爬虫框架,它为开发者提供了一个高效且结构化的数据抓取环境。...通过使用这个压缩包,用户可以在Win7 64位系统上快速地搭建起一个完整的Scrapy环境,从而开始他们的网络爬虫开发之旅。
在Win10环境下,我们可以借助PyCharm来搭建Scrapy爬虫框架,这将使我们的工作更加便捷和高效。 首先,我们需要确保已经安装了Python。Python是Scrapy的基础,所以必须确保你的系统上已经安装了Python,并且版本兼容...
Scrapy是一个强大的Python爬虫框架,它为网络爬虫的开发提供了高效且便捷的工具集。在Windows 7操作系统上安装64位Python环境并配置...通过这个过程,你应该能熟练掌握在Windows 7环境下搭建Scrapy爬虫的基本流程。
### Scrapy框架入门知识点 ...以上是关于Scrapy框架的基本介绍及其工作原理、安装方法、项目搭建等方面的知识点。通过对这些内容的学习,可以更好地理解和掌握如何使用Scrapy来进行网络数据的采集工作。
一、操作系统:WIN7 64位 二、python版本:2.7 64位(scrapy目前不支持3.x) 不确定位数的,看图 三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd5e...
在Windows 8.1 64位操作系统上搭建Scrapy 0.22环境是一项需要精心配置的过程,以确保所有依赖库能够正确工作。以下是根据提供的文件内容梳理出来的详细步骤和知识点: 1. Python环境搭建 - 首先,需要在Python官方...
9. **安装过程**:通过"python-2.7.amd64.msi"安装文件,用户只需按照向导提示进行操作,即可轻松完成Python环境的搭建,包括设置环境变量、添加路径等。 10. **后续维护**:Python 2.7在2020年1月1日已经停止官方...
在介绍Requests库之前,我们先来讨论一下开发环境的搭建,特别是虚拟环境的使用。虚拟环境是一种隔离的Python环境,它允许你在不同的项目中使用不同版本的依赖包,避免包之间可能存在的冲突。在Python中,我们通常...