`

Scrapy安装部署

 
阅读更多

安装部署

环境:

Python 2.6

Scrapy

下载地址:

Scrapy

http://pypi.python.org/pypi/Scrapy

Scrapy 0.12.0.2550

安装步骤:

Scrapy安装:

方法一:

下载Scrapy 0.12.0.2550.tar.gz文件

python setup.py install

方法二:

easy_install -U Scrapy

前提:

安装setuptools

下载地址:

http://pypi.python.org/pypi/setuptools#downloads

setuptools-0.6c11.win32-py2.6.exe

Twisted安装:

下载地址:

http://twistedmatrix.com/trac/wiki/Downloads

Twisted-11.0.0.winxp32-py2.6.exe

Zope.Interface安装:

下载地址:

http://pypi.python.org/pypi/zope.interface/3.8.0#downloads

zope.interface-3.8.0-py2.6-win32.egg

解压复制到site-packages

添加 C:\Python26\Scripts到系统环境Path

参考地址:

http://doc.scrapy.org/en/0.12/intro/install.html#intro-install

http://hi.baidu.com/564857808/blog/item/5890a927365ee950ad34de87.html

分享到:
评论

相关推荐

    scrapy 在windows下部署全部软件包

    scrapy 在windows下部署全部软件包,针对python2.7

    Django与scrapy联合部署的可视化爬虫毕业设计.zip

    项目的部署教程可能涵盖了如何设置开发环境,安装必要的依赖库,如Python、Django、Scrapy,以及如何配置和运行这两个框架。可能还会讲解如何在Windows环境下进行调试和测试,以及如何将项目部署到服务器上,让用户...

    Scrapy框架安装依赖插件.rar

    你可以在官方网站(https://splash.readthedocs.io/en/stable/install.html)找到安装和部署的指南。 安装完成后,你可以创建一个新的Scrapy项目来验证安装是否成功: ``` scrapy startproject myproject ``` 这...

    django+scrapy结合

    2. **安装Scrapy和相关依赖**:在Django项目的环境中安装Scrapy,以及可能需要的其他库,例如`scrapy-djangoitem`,用于在Scrapy中使用Django模型。 3. **创建Scrapy爬虫项目**:在Django项目外部,创建一个独立的...

    Python网络爬虫实战-Scrapy14-17

    要将Scrapy项目部署到Scrapyd,首先需要确保安装了Scrapyd和Scrapy。然后,在Scrapy项目的根目录下运行`scrapyd-deploy`命令,指定目标服务器的URL。部署过程中,Scrapyd会将项目的egg文件发送到服务器,并将其添加...

    scrapyd项目部署1

    scrapy 项目部署 Scrapy 是一个流行的 Python 爬虫框架,它提供了强大的爬虫功能。但是,Scrapy 项目的部署一直是一个让开发者头疼的问题。Scrapy 项目的部署需要考虑到多个方面,如项目的管理、版本控制、爬虫的...

    Scrapy Cookbook 中文版.pdf

    - **依赖安装**: 在 CentOS 上安装 Scrapy 前,需先安装 Python 的开发环境和其他依赖包。 - 使用 `yum install python-devel` 来安装 Python 的开发库。 #### Scrapy教程01-入门篇 - **Scrapy安装**: - 对于 ...

    Docker 部署Scrapy的详解

    主要介绍了Docker 部署Scrapy的详解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

    计算机毕业设计:python+scrapy

    17部署scrapy到 scrapyd 16_scrapy 的部署工具介绍-scrapyd 15_抓取过程中的常见问题3-js的处理技巧 14_抓取过程中的常见问题2-cookie的处理 13_抓取过程中的常见问题1-代理ip的使用 12_实用技巧2-图片的抓取 11_...

    scrapy1.1 帮助文档

    - **安装指南**:提供了详细的Scrapy安装步骤,包括系统要求、推荐配置环境以及具体的安装方法等。 - **Scrapy教程**:从零开始介绍如何创建第一个Scrapy项目,包括项目结构、基本设置等内容。 #### 二、Scrapy基础...

    python scrapy电子书开发文档

    - **Scrapyd**:Scrapyd是一个用于部署和管理Scrapy爬虫的服务。 - **自动节流扩展**:介绍了如何使用自动节流扩展来优化爬虫性能。 - **基准测试**:提供了一些基准测试方法,评估爬虫效率。 - **暂停和恢复爬取...

    Python_Scrapy.zip

    本资源"Python_Scrapy.zip"包含了一个使用Scrapy进行爬虫开发的完整实例,涵盖了从基础到进阶的各种功能,如页面翻页、图片下载以及项目部署。 首先,Scrapy是一个开源的Python框架,它允许开发者通过定义Item(要...

    scrapy0.22 API英文版

    - **Scrapyd**:一个用于部署和管理Scrapy爬虫的应用。 - **自动节流扩展**:一种自动调整爬取速度的机制。 - **基准测试**:如何评估爬虫的性能。 - **作业:暂停和恢复爬取**:支持在任何时间点暂停和恢复爬取任务...

    scrapy原始文件

    16. Ubuntu包:文档提到了与Ubuntu系统相关的包,这可能与Scrapy的安装和部署有关。 17. 部署爬虫:部署是爬虫从开发到生产环境的步骤,文档中可能包含了Scrapy爬虫的部署策略和方法。 18. 自动限速扩展:这个特性...

    Scrapy文档1.4.0 文档

    - **安装方法**:可以通过pip安装Scrapy:`pip install scrapy`。 - **系统需求**:Scrapy支持多种版本的Python环境,但推荐使用最新的稳定版Python。 - **依赖项**:安装前需确保所有依赖项都已正确安装。 ##### ...

    django完整学习项目,包含集成scrapy爬虫

    在Django项目中,可以通过pip安装Scrapy以及用于部署和管理Scrapy爬虫的scrapyd。配置设置可能包括在Django项目的settings.py文件中添加Scrapy的库路径。 2. **创建Scrapy爬虫**:在Django项目中,可以创建一个独立...

    scrapy安装包

    2. **setuptools**: 这是Python的一个包管理工具,它使得构建、安装和部署Python项目变得更加方便。在安装Scrapy时,setuptools用于管理项目的依赖关系,确保所有必要的库都能正确安装和引用。 3. **zope_interface...

    scrapy 分布式爬虫全集

    其中包括爬虫入门,虚拟环境搭建,对scrapy的调试,对动态网站的爬取,scrapy与mysql的使用,scrapy-redis分布式爬虫的使用, elasticsearch搜索引擎的使用, scrapyd部署scrapy爬虫。等相关内容

Global site tag (gtag.js) - Google Analytics