`

windows下安装Scrapy框架(python)

阅读更多
1、下载安装Python2.7.6,因为Scrapy还不支持3.x版本。Latest Python 2 Release - Python 2.7.6,安装时选择当前用户。

2、到http://sourceforge.NET/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe

3、将C:\python27\Scripts;C:\python27;添加到环境变量里。

4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量(C:\OpenSSL-Win32)

5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python运行ez_setup.py(双击也行),会自动安装好工具、

6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,复制到Python/Scripts下,运行 easy_install zope.interface-4.1.1-py2.7-win32.egg。(如果后缀名不是egg,修改为egg)

7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。

8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装

9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。(安装时选择当前用户)

10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6

11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六

12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl  安装同6

13、命令行下运行easy_install scrapy将会自动下载并安装完成。


注:以上安装以win32为例,如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时,还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下,不然运行scrapy时出错。



问题汇总:

1、如果没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误,这两个都人先安装编译器,VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就可以。



2、如果出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的。


原文地址:http://blog.csdn.net/niying/article/details/27103081
分享到:
评论

相关推荐

    python安装scrapy框架适用windows64位系统

    通过以上步骤,你将在Windows 64位系统上成功安装和配置Scrapy框架,开始你的Web抓取之旅。记得在实际操作中,遵循网站的robots.txt规则,并尊重数据抓取的道德准则。同时,持续关注Python和Scrapy的更新,以获取...

    windows下完整版安装Python Scrapy安装步骤教程

    在Windows环境下安装Scrapy需要遵循一系列步骤,下面将详细介绍整个过程。 首先,确保你的计算机已经安装了Python。Scrapy依赖于Python运行环境,因此在安装Scrapy之前,你需要在官方网站...

    Scrapy框架安装.pdf

    在Windows下安装Scrapy需要使用pip工具,pip是Python的软件包管理器。首先,需要安装Python,如果您还没有安装Python,可以从官方网站下载安装包。安装完成后,打开命令行工具,输入以下命令以安装Scrapy: pip ...

    Windows下安装Scrapy

    在本文中,我们将详细介绍如何在Windows操作系统环境下安装Scrapy框架。Scrapy是一个用Python编写的快速、高层次的屏幕抓取和Web抓取框架,用于抓取网站并从页面中提取结构化的数据。Scrapy是用于数据挖掘、监测和...

    python2.7安装Scrapy.docx

    通过上述步骤,我们可以在Python 2.7环境下成功安装Scrapy框架,并进行基本的验证操作。在整个安装过程中需要注意各组件之间的兼容性问题,确保所有必需的库和工具都已正确安装。此外,在安装过程中遇到任何问题时,...

    Python2.7-64bit-win-爬虫框架Scrapy安装配置相关资源

    在 Windows 7 64 位操作系统上安装 Python 2.7.10 和 Scrapy 爬虫框架,需要遵循以下步骤: 首先,确保你的计算机满足基本的硬件和软件需求。Windows 7 64 位系统应该可以支持 Python 2.7 和 Scrapy。下载适合你的...

    scrapy+python2.7安装完整包

    在这个"scrapy+python2.7安装完整包"中,包含了Scrapy框架以及其运行所需的多个依赖库。以下是这些依赖库的详细介绍: 1. **zope.interface**:这是一个Python接口库,用于实现接口定义,是Twisted框架的重要组成...

    Python2.7下安装Scrapy框架步骤教程

    在Python2.7环境下安装Scrapy可能涉及到多个步骤,因为Scrapy并不支持Python3.0以上的版本。以下是对整个安装过程的详细说明: 1. **安装Python2.7**: - 首先,确保你的系统中没有不兼容的Python版本,如Python...

    爬虫scrapy框架小实例

    总结来说,"爬虫scrapy框架小实例"展示了如何在Python的DOS环境下使用Scrapy框架创建、配置和运行一个基本的网络爬虫。通过学习和实践,你可以逐步掌握Scrapy的各个组件和功能,从而构建更复杂、高效的爬虫项目。

    安装python的Scrapy爬虫框架所需的所有安装包

    7. **解压提供的压缩包**: 你提到的压缩包`scrapy安装完整包(win7 -32bit-python2.7)`可能包含预先编译好的依赖库,用于解决在32位Windows下安装时可能出现的问题。解压这个压缩包,并将其中的文件复制到Python的...

    Scrapy框架搭建.7z

    总的来说,搭建Scrapy框架涉及安装Python、pip、依赖库以及Scrapy本身。每个环节都至关重要,确保正确安装和配置可以避免后续开发中的许多问题。同时,不断学习和理解Scrapy的架构和功能,能让你在爬虫开发中...

    scrapy框架搭建所需软件

    在Window 10 64位环境下,首先安装Python 2.7,然后依次安装其他依赖包,如lxml、pyOpenSSL、zope.interface和Twisted。这些软件的配合使用,使得Scrapy可以在Windows系统上高效、稳定地运行,进行大规模的网络数据...

    Python网络爬虫Scrapy框架应用详解

    包括了Scrapy引擎的关键概念,如何安装设置Scrapy框架,基于Scrapy的基础知识,如创建项目和编写自己的爬虫,详细讲述了爬虫的创建步骤与技巧,并演示了解决实际案例的过程,还涉及到数据处理流程的相关讲解以及遇到...

    Windows下python3.6环境及Scrapy爬虫框架所需文件

    Windows下Python3.6版本Scrapy爬虫框架所需文件,里面有wheel文件,pyhon3.6安装之后就有pip工具,使用pip install或者pip3 install + wheel安装wheel支持,然后使用pip install或者pip3 install + 文件名安装对应...

    scrapy安装文档1

    Scrapy是Python下的一个爬虫框架,它提供了一个灵活的方式来爬取网站的数据。本文档将指导您如何安装Scrapy的依赖项和Scrapy框架本身。 一、 Wheel的安装 Wheel是Python包管理工具pip的依赖项之一。Wheel提供了一...

    安装Scrapy需要的python2.7+lxml+puOpenSSL+pywin32+VCForPython+get-pip

    在Windows环境下安装Scrapy,需要确保系统已经安装了相应的依赖库和工具,这其中包括Python 2.7版本、lxml、pypOpenSSL、pywin32、VCForPython以及get-pip。 1. Python 2.7:Scrapy虽然也支持Python 3,但根据标题...

    Scrapy完整环境安装所需文件

    Scrapy是一个强大的Python爬虫框架,用于高效地构建和运行网络爬虫项目。要搭建一个完整的Scrapy环境,首先需要确保你有一台装有Python的计算机。...熟悉并掌握Scrapy框架,能让你在数据抓取和网络爬虫领域游刃有余。

    Python的Scrapy爬虫框架安装所需的库文件

    Scrapy框架基于Twisted构建,使得爬虫可以同时处理多个网络请求,极大地提高了爬取速度和效率。 5. **zope**:Zope Interface(ZI)是Zope Corporation开发的一套接口定义和实现的库,用于Python对象之间的依赖注入...

Global site tag (gtag.js) - Google Analytics