`
minima
  • 浏览: 5959 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

scrapy环境搭建(二)-win7

阅读更多

win7是目前最常见的系统,不习惯linux的朋友可以在win7上搭建scrapy环境,本人使用的是win7 64位的,这里就以64位系统为例。

1、安装python

下载win7 64位 python2.7.12安装文件

https://www.python.org/ftp/python/2.7.12/python-2.7.12.amd64.msi
安装完成后,配置环境变量

如: D:\Python27 ; D:\Python27\scripts;

cmd下运行:python -V
可以检查python版本和验证安装情况。

2、安装pywin32

到 https://sourceforge.net/projects/pywin32/files/pywin32 最新的Build中下载,本人下载的是 pywin32-220.win-amd64-py2.7.exe

双击安装即可

3、升级setuptools和pip

cmd中运行

python -m pip install --upgrade pip
python -m pip install --upgrade setuptools

4、安装Scrapy依赖

cmd中运行

easy_install cssselect lxml queuelib six twisted w3lib zope.interface
pip install pyOpenSSL cryptography cffi pycparser

正常编译需要VS2008编译环境,如无VS环境可参考报错处理直接安装已编译好的包

5、安装Scrapy

easy_install scrapy

 

安装过程中如有报错可到

http://www.lfd.uci.edu/~gohlke/pythonlibs/ 网站找相应的已编译版本

如MySQL_python-1.2.5-cp27-none-win_amd64.whl、pywin32-220.1-cp27-cp27m-win_amd64.whl、lxml-3.6.4-cp27-cp27m-win_amd64.whl

使用安装即可
pip install MySQL_python-1.2.5-cp27-none-win_amd64.whl

0
0
分享到:
评论
发表评论

文章已被作者锁定,不允许评论。

相关推荐

    scrapy64位win7环境搭建完整包.zip

    windows平台下搭建scrapy环境,包括xml-3.6.0.win-amd64-py2.7.exe, chardet-2.3.0.tar.gz、pyOpenSSL-0.13.1.win-amd64-py2.7.exe、scrapy-1.0.zip、Twisted-15.0.0.win-amd64-py2.7.msi、xlrd-0.9.4.tar.gz、xlwt-...

    Scrapy框架搭建.7z

    如果你是在Windows环境下搭建Scrapy,你需要运行这个安装程序来安装pywin32。 "Twisted-20.3.0-cp37-cp37m-win_amd64.whl"是Twisted库的一个版本,Twisted是一个异步网络编程框架,Scrapy框架在处理大量并发请求时...

    scrapy windows环境搭建+demo

    在Windows环境下搭建Scrapy,你需要遵循以下步骤: 1. **安装Python**: 首先确保你的计算机上已经安装了Python。访问Python官网(https://www.python.org/downloads/)下载最新版本的Python安装包,并在安装过程中...

    1.pyppeteer+scrapy开发环境搭建

    通过上述步骤,您可以在Windows 7环境下成功搭建基于Eclipse + PyDev的Python开发环境,并利用Pyppeteer和Scrapy实现高效的网络爬虫开发。这些工具和框架的组合不仅能够提高爬虫效率,还能帮助开发者更好地理解和...

    python3+scrapy

    由于Python的版本和操作系统类型不同,你需要从指定的下载地址(https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)找到与你的系统(这里是win7-32位,Python3.6.5)兼容的Twisted版本。下载对应的whl文件后,...

    Scrapy安装文件及其依赖项

    Scrapy是一个强大的Python爬虫框架,它为开发者提供了一个高效且结构化的数据抓取环境。...通过使用这个压缩包,用户可以在Win7 64位系统上快速地搭建起一个完整的Scrapy环境,从而开始他们的网络爬虫开发之旅。

    pytcharm 搭建 scrapy爬虫框架

    在Win10环境下,我们可以借助PyCharm来搭建Scrapy爬虫框架,这将使我们的工作更加便捷和高效。 首先,我们需要确保已经安装了Python。Python是Scrapy的基础,所以必须确保你的系统上已经安装了Python,并且版本兼容...

    win7-pyhton64位scrapy成功安装教程及依赖包

    Scrapy是一个强大的Python爬虫框架,它为网络爬虫的开发提供了高效且便捷的工具集。在Windows 7操作系统上安装64位Python环境并配置...通过这个过程,你应该能熟练掌握在Windows 7环境下搭建Scrapy爬虫的基本流程。

    03.Scrapy框架入门.pptx

    ### Scrapy框架入门知识点 ...以上是关于Scrapy框架的基本介绍及其工作原理、安装方法、项目搭建等方面的知识点。通过对这些内容的学习,可以更好地理解和掌握如何使用Scrapy来进行网络数据的采集工作。

    windows7 32、64位下python爬虫框架scrapy环境的搭建方法

    一、操作系统:WIN7 64位 二、python版本:2.7 64位(scrapy目前不支持3.x) 不确定位数的,看图 三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd5e...

    Windows 8.1 64bit下搭建 Scrapy 0.22 环境

    在Windows 8.1 64位操作系统上搭建Scrapy 0.22环境是一项需要精心配置的过程,以确保所有依赖库能够正确工作。以下是根据提供的文件内容梳理出来的详细步骤和知识点: 1. Python环境搭建 - 首先,需要在Python官方...

    python-2.7(windows64位)

    9. **安装过程**:通过"python-2.7.amd64.msi"安装文件,用户只需按照向导提示进行操作,即可轻松完成Python环境的搭建,包括设置环境变量、添加路径等。 10. **后续维护**:Python 2.7在2020年1月1日已经停止官方...

    requests库12

    在介绍Requests库之前,我们先来讨论一下开发环境的搭建,特别是虚拟环境的使用。虚拟环境是一种隔离的Python环境,它允许你在不同的项目中使用不同版本的依赖包,避免包之间可能存在的冲突。在Python中,我们通常...

Global site tag (gtag.js) - Google Analytics