爬虫的境界，原来可以如此。。。

最近搞了个新站(id86.com)，技术型论坛，想了想数据来源是个问题，于是乎花了两三天的下班时间搞了几个爬虫，针对wenwen.soso.com的


ruby, js, css ,php, ubuntu, centos, mysql, oracle，相关的帖子都是通过这个爬虫从soso那边抓过来的。

感觉用ruby写爬虫相当给力啊，是迄今为止遇到过写采集最方便的，当然是对比脚本语言这一系列来说的


这里面包含一些小的细节：

(1) 通过ruby以用户管理员身份登录网站，创建新用户

     discuz X的数据系统确实不敢深究，虽然知道他的一部分机理，比如ucenter_members, common_member这一堆表的用法，但最终还是采用的是通过post请求的方式来添加需要的用户， 没敢去尝试用ruby脚本改数据库。虽然之前迁移过80万用户、700万帖子的论坛。

(2) 通过ruby脚本改数据库，发表主题，发贴

(3) 通过ruby脚本结合imagemaigck给用户搞头像。

地址是: www.id86.com。现在除了抓过来的数据，其他啥也没有。相当于一个垃圾桶吧。哈哈。

发错号了。摘了两个iteye号。悲催。

ruby做定向爬虫还是很方便的

完全不知在说什么，垃圾文章

请问大仙爬问问的时候时间间隔设置的是多少啊

很多用户的头像都是重复的

以为你要发布一下你的爬虫代码呢。原来是显摆帖。

LZ楼主的爬虫是不是从别的网站抓取帖子，然后导入到自己网站。
这是赤裸裸的偷窃啊，有木有？

算是木有。那么多搜索引擎不都在抓东西。加上版权说明就 木有。

问问从去年10月份开始防采集的 有时间间隔限制

你怎么处理的