树莓派搭建集群1

为什么选择树莓派，主要是同事有人在玩，可以算是最便宜的个人PC了。而且产品成熟，文档完备。

其他我就不多少了，网上的资料很多，只是汇总下连接。

http://www.ickey.cn/raspberry.php?action=buy 购买链接，能找到官方的下载资源和文档。

http://www.shumeipai.net/thread-12347-1-1.html 玩家们自己的经验。

我是用来搭建集群的。所以除了三个树莓派的基本装，其他元器件就不需要了。

只买了一个有线路由器和mircousb的电源 外搭几根网线和usb线。就ok了。其他跟linux一样。

总之很方便的说。不得不说老外做的东西就是细致，你觉得简单是因为老外把复杂的东西搞简单了。

剩下的就是搭建scrapy环境了。

不得不说国内的网络坑爹，这样下去科技能不落后吗。又是墙，又是卡。清华的pypi镜像挂了。

现在windows下打了一遍。按照文档来就行了。如果pypi不卡的话应该很顺利的。务必注意版本。

 

为什么用scrapy做主题爬虫呢。首先是etao用它来爬取价格，这样就少了技术选型的痛苦了。不会错的太离谱起码。然后同一个公司的，不行能找到人问。优势吗应该是脚本的爬虫，修改和发布迅速。能支持分布式，简单好维护。总体感觉比编译语言轻量级多了。