- 浏览: 377099 次
- 性别:
- 来自: 四川
文章分类
- 全部博客 (247)
- 数据库以及sql (11)
- java (48)
- 爬虫学习 (20)
- java编程 (28)
- python编程以及安装和配置 (27)
- oracle数据库 (32)
- mongodb基本操作 (4)
- linux学习 (7)
- easyUI (2)
- nodeJs (8)
- python学习 (16)
- 其他 (13)
- hadoop (1)
- svn (1)
- 汉字 (1)
- windows (2)
- jsp (5)
- fiddler (1)
- ETL (1)
- teamviewer (1)
- maven (4)
- GIT (2)
- datagrip (1)
- ocr (1)
- redis (3)
- mysql (3)
- linux (1)
- 数据服务 (0)
最新评论
1、下载安装Python2.7.6,因为Scrapy还不支持3.x版本。Latest Python 2 Release - Python 2.7.6,安装时选择当前用户。
2、到http://sourceforge.NET/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe
3、将C:\python27\Scripts;C:\python27;添加到环境变量里。
4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量(C:\OpenSSL-Win32)
5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python运行ez_setup.py(双击也行),会自动安装好工具、
6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,复制到Python/Scripts下,运行 easy_install zope.interface-4.1.1-py2.7-win32.egg。(如果后缀名不是egg,修改为egg)
7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。
8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装
9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。(安装时选择当前用户)
10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6
11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六
12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl 安装同6
13、命令行下运行easy_install scrapy将会自动下载并安装完成。
注:以上安装以win32为例,如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时,还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下,不然运行scrapy时出错。
问题汇总:
1、如果没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误,这两个都人先安装编译器,VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就可以。
2、如果出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的。
原文地址:http://blog.csdn.net/niying/article/details/27103081
2、到http://sourceforge.NET/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe
3、将C:\python27\Scripts;C:\python27;添加到环境变量里。
4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量(C:\OpenSSL-Win32)
5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python运行ez_setup.py(双击也行),会自动安装好工具、
6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,复制到Python/Scripts下,运行 easy_install zope.interface-4.1.1-py2.7-win32.egg。(如果后缀名不是egg,修改为egg)
7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。
8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装
9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。(安装时选择当前用户)
10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6
11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六
12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl 安装同6
13、命令行下运行easy_install scrapy将会自动下载并安装完成。
注:以上安装以win32为例,如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时,还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下,不然运行scrapy时出错。
问题汇总:
1、如果没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误,这两个都人先安装编译器,VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就可以。
2、如果出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的。
原文地址:http://blog.csdn.net/niying/article/details/27103081
发表评论
-
python中将unicode(u'\u7684') 转中文字符
2018-08-16 16:16 4026ddd=u'\u7684' ddd=ddd.encode(&q ... -
python中的开放运算
2017-07-06 09:39 1070要点: 将整数用浮点数表示:由于Python的整数除法,为了 ... -
Python多线程爬取网站image的src属性实例
2017-05-16 11:18 1729# coding=utf-8 ''' Created on 2 ... -
eclipse创建scrapy项目
2017-05-12 17:23 10641. 您必须创建一个新的Scrapy项目。 进入您打算存储代码 ... -
windows安装scrapy框架步骤
2017-05-12 13:05 615Scrapy简介 Scrapy是一个快速,高效的网页抓取Pyt ... -
python操作mongoDB
2017-05-12 10:04 1062#coding=utf-8 from pymongo impo ... -
python "\xc5\xc0\xb3\xe6" 转汉字
2017-03-10 10:10 5360print "\xc5\xc0\xb3\xe6&qu ... -
python_GUI应用程序代码
2017-03-03 10:06 673# coding=utf-8 ''' Created on 2 ... -
python读写excel
2017-03-03 10:05 1062# coding=utf-8 ''' Created on 2 ... -
python标准异常分类
2017-03-01 16:09 450ppython标准异常分类 BaseException ... -
python在linux、windows下执行命令的方法
2017-02-22 16:52 1066windows下: import os cmdres= os. ... -
python中selenium 滚动条下拉 操作
2017-02-22 11:16 6778方法一)使用js脚本直接操作,方法如下: js=" ... -
python+BeautifulSoup+selenium+mysqldb完成数据抓取
2017-02-21 14:28 936# coding=utf-8 ''' Created on 2 ... -
python+selenium浏览器调用(chrome、ie、firefox)
2017-02-20 14:35 1975#coding=utf-8 from selenium im ... -
windows下安装beautifulsoup
2017-02-14 10:57 8921.去beautiful soup官网上去下载最新版本是4.3 ... -
windows下casperjs安装以及配置
2017-02-14 10:20 424下载casperjs,解压后命名为casperjs 添加环境变 ... -
wingdows下安装phantomjs
2017-02-14 10:19 430下载phantomjs后解压,重命名为phantomjs 添加 ... -
python下安装beautifulsoup4-4.3.1
2017-02-07 16:18 6111.去beautiful soup官网上去下载最新版本是4.3 ... -
python中的正则表达式,python
2017-02-07 10:20 662# coding=utf-8 ''' Created on 2 ... -
python时间格式
2017-01-17 10:35 4971. 日期输出格式化 datetime => strin ...
相关推荐
通过以上步骤,你将在Windows 64位系统上成功安装和配置Scrapy框架,开始你的Web抓取之旅。记得在实际操作中,遵循网站的robots.txt规则,并尊重数据抓取的道德准则。同时,持续关注Python和Scrapy的更新,以获取...
在Windows环境下安装Scrapy需要遵循一系列步骤,下面将详细介绍整个过程。 首先,确保你的计算机已经安装了Python。Scrapy依赖于Python运行环境,因此在安装Scrapy之前,你需要在官方网站...
在Windows下安装Scrapy需要使用pip工具,pip是Python的软件包管理器。首先,需要安装Python,如果您还没有安装Python,可以从官方网站下载安装包。安装完成后,打开命令行工具,输入以下命令以安装Scrapy: pip ...
在本文中,我们将详细介绍如何在Windows操作系统环境下安装Scrapy框架。Scrapy是一个用Python编写的快速、高层次的屏幕抓取和Web抓取框架,用于抓取网站并从页面中提取结构化的数据。Scrapy是用于数据挖掘、监测和...
通过上述步骤,我们可以在Python 2.7环境下成功安装Scrapy框架,并进行基本的验证操作。在整个安装过程中需要注意各组件之间的兼容性问题,确保所有必需的库和工具都已正确安装。此外,在安装过程中遇到任何问题时,...
在 Windows 7 64 位操作系统上安装 Python 2.7.10 和 Scrapy 爬虫框架,需要遵循以下步骤: 首先,确保你的计算机满足基本的硬件和软件需求。Windows 7 64 位系统应该可以支持 Python 2.7 和 Scrapy。下载适合你的...
在这个"scrapy+python2.7安装完整包"中,包含了Scrapy框架以及其运行所需的多个依赖库。以下是这些依赖库的详细介绍: 1. **zope.interface**:这是一个Python接口库,用于实现接口定义,是Twisted框架的重要组成...
在Python2.7环境下安装Scrapy可能涉及到多个步骤,因为Scrapy并不支持Python3.0以上的版本。以下是对整个安装过程的详细说明: 1. **安装Python2.7**: - 首先,确保你的系统中没有不兼容的Python版本,如Python...
总结来说,"爬虫scrapy框架小实例"展示了如何在Python的DOS环境下使用Scrapy框架创建、配置和运行一个基本的网络爬虫。通过学习和实践,你可以逐步掌握Scrapy的各个组件和功能,从而构建更复杂、高效的爬虫项目。
7. **解压提供的压缩包**: 你提到的压缩包`scrapy安装完整包(win7 -32bit-python2.7)`可能包含预先编译好的依赖库,用于解决在32位Windows下安装时可能出现的问题。解压这个压缩包,并将其中的文件复制到Python的...
总的来说,搭建Scrapy框架涉及安装Python、pip、依赖库以及Scrapy本身。每个环节都至关重要,确保正确安装和配置可以避免后续开发中的许多问题。同时,不断学习和理解Scrapy的架构和功能,能让你在爬虫开发中...
在Window 10 64位环境下,首先安装Python 2.7,然后依次安装其他依赖包,如lxml、pyOpenSSL、zope.interface和Twisted。这些软件的配合使用,使得Scrapy可以在Windows系统上高效、稳定地运行,进行大规模的网络数据...
包括了Scrapy引擎的关键概念,如何安装设置Scrapy框架,基于Scrapy的基础知识,如创建项目和编写自己的爬虫,详细讲述了爬虫的创建步骤与技巧,并演示了解决实际案例的过程,还涉及到数据处理流程的相关讲解以及遇到...
Windows下Python3.6版本Scrapy爬虫框架所需文件,里面有wheel文件,pyhon3.6安装之后就有pip工具,使用pip install或者pip3 install + wheel安装wheel支持,然后使用pip install或者pip3 install + 文件名安装对应...
Scrapy是Python下的一个爬虫框架,它提供了一个灵活的方式来爬取网站的数据。本文档将指导您如何安装Scrapy的依赖项和Scrapy框架本身。 一、 Wheel的安装 Wheel是Python包管理工具pip的依赖项之一。Wheel提供了一...
在Windows环境下安装Scrapy,需要确保系统已经安装了相应的依赖库和工具,这其中包括Python 2.7版本、lxml、pypOpenSSL、pywin32、VCForPython以及get-pip。 1. Python 2.7:Scrapy虽然也支持Python 3,但根据标题...
Scrapy是一个强大的Python爬虫框架,用于高效地构建和运行网络爬虫项目。要搭建一个完整的Scrapy环境,首先需要确保你有一台装有Python的计算机。...熟悉并掌握Scrapy框架,能让你在数据抓取和网络爬虫领域游刃有余。
Scrapy框架基于Twisted构建,使得爬虫可以同时处理多个网络请求,极大地提高了爬取速度和效率。 5. **zope**:Zope Interface(ZI)是Zope Corporation开发的一套接口定义和实现的库,用于Python对象之间的依赖注入...