这里有没有混天涯论坛的? 可以试试我写的这个小工具

Hi All,

不知道这里有没有混天涯论坛的? 反正我每天都会去哪里泡一会, 我也在豆瓣里溜达, 但是总是觉得不知到在哪里干啥...最后还是回天涯了, 周末写了2天, 终于把问题解决, 基本功能写完....,放出来 看看吧


这个工具可以看任意帖子的任何作者,

要是有你想看的帖子 可以从这个入口加进来:
http://tianya.lu/topics/add

这样后台就可以慢慢的把帖子抓完...

不多说了, 大家还是去看看吧: 天涯路 : http://tianya.lu,

 

 

这次代码就不公开了, 毕竟是抓取别人的内容....,其实也没啥, 都是普通的东西:

gem 'rails'
gem 'mysql2'
gem 'capistrano'

gem 'devise'
gem 'em-http-request'
gem 'haml'
gem 'resque'
gem 'will_paginate', '~> 3.0.pre2'

gem 'acts_as_commentable', '~> 3.0.1'

gem 'paperclip'

gem 'sitemap_generator'

 



PS: 怎么增加网站的PR ? 这个站都挂了有20多天了吧 ? PR 还是 0 .... google 也太不给面子了 , 我白提交了100多w的 sitemap , 一点儿都不照顾....

 

支持一下，有没有办法爬天涯，
专门针对天涯做一个搜索引擎，
现在的天涯搜索太不好用了。

ps,试用了一下，
complaint一下
首页一直向下倒的功能，
当我想仔细看一个帖子的时候，
需要找到停止这种向下倒的功能，
这种向下倒的功能对于新手来说，
使得注意到，是一个方式，当时
对于老手，确是一个hindrance.

@femto, 你说的对, 这个首页确实有问题, 不少人跟我抱怨了, 我准备改成更简单的方式 , 谢谢! 对于天涯论坛的搜索, 确实存在问题,  其实用google搜也很难得到想要的结果, 这跟天涯的内容结构有关系, 以前每页200个发言, 现在改成了 100个, 每个发言都是独立的, 每个都有自己的重点(keywords), 这种到处是关键词导致了没有关键词, 呵呵, 估计 搜索也无解...

你把天涯的爬下来啊，然后针对之做个搜索。
其实就是等于做个google,不过全站就是天涯。。

天涯这么多年的数据量也是够大的,没有大的存储没法实现.我做了个变通, 只抓关心的帖子, 对帖子的内容做了处理.然后把需要搜索的内容放到 /robots.txt 的 sitemap 里, google 搜索时对 sitemap 有优化, 现在天涯路搜索的那个链接实际上是 Google 自定义搜索, 这样 比直接搜索天涯要准确些...

 

User-Agent: *
Disallow: /system/
Disallow: /javascripts/
Disallow: /images/
Disallow: /stylesheets/
Sitemap: http://tianya.lu/sitemap_index.xml.gz

 

 

注册后总收不到确认邮件

 

pr 通常三个月更新一次，上次更新是在过年前后。所以你还要再等等了。

买几个几T的硬盘，嘿嘿