shijincheng0223
- 浏览: 191887 次
- 性别:
- 来自: 北京
-
最新评论
-
di1984HIT：
学习了
Cache技术――OSCache（转-全） -
qing407066271：
看会空间[size=x-small][/size]
Cache技术――OSCache（转-全） -
sea0108：
...
Cache技术――OSCache（转-全） -
913486037：
谢谢，楼主真棒！
揭秘WebDriver的实现原理（转）
文章列表
最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。
一、概述
下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。
二、组件
1、Scrapy Engine（Scrapy引擎）
Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。
2、Scheduler（调度）
调度程序从Scrapy引擎接 ...
(原文地址：http://www.ddlive.org/?p=664)
实例，官方有个实例教程，算是比较简单了，然后后面有更详细的一项项解释，不过老实讲我还真是看不太懂，很多地方没有给出实例，所以我在网上找了一大堆资料后，弄了一个实例。现在 ...
创建一个工程
在你开始编写Scrapy的程序钱，你首先应该建立一个新的Scrapy工程.首先，进入你要创建工程的文件夹
scrapy startproject dmoz这样将会在dmoz目录下创建如下结构
dmoz/
scrapy.cfg
dmoz/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...其中的含义为：
» scrapy.cfg:项目的配置文 ...
1：说明下由于我们使用的是虚拟机，所以不用采用挂载远程文件夹的方法，本机和虚拟机都是一台机器，只需要一个工具把本机文件共享到虚拟机能找到就行，然后用mouse命令把本机共享的文件夹挂载到虚拟机系统上，就OK了。
详细：
1. 安装增强功能包(Guest Additions)
安装好Ubuntu 11.10后，运行Ubuntu并登录。然后在VirtualBox的菜单里选择"设备(Devices)" -> "安装增强功能包(Install Guest Additions)"。
然后按照提示操作，自动安装后提示重启。
2，设置共享文件夹
重启完 ...
拆卸vi
一.执行命令 sudo apt-get remove vim-common
重新安装
二.执行命令 sudo apt-get install vim
OSCache使用指南
一、下载安装
OSCache是一个基于web应用的组件，他的安装工作主要是对web应用进行配置，大概的步骤如下：
1. 下载、解压缩OSCache
从http://www.opensymphony.com/oscache/download.html下载合适的OSCache版本， 解压缩下载的文 ...