这里有没有混天涯论坛的? 可以试试我写的这个小工具

Hi All,

不知道这里有没有混天涯论坛的? 反正我每天都会去哪里泡一会, 我也在豆瓣里溜达, 但是总是觉得不知到在哪里干啥...最后还是回天涯了, 周末写了2天, 终于把问题解决, 基本功能写完....,放出来 看看吧


这个工具可以看任意帖子的任何作者,

要是有你想看的帖子 可以从这个入口加进来:
http://tianya.lu/topics/add

这样后台就可以慢慢的把帖子抓完...

不多说了, 大家还是去看看吧: 天涯路 : http://tianya.lu,

 

 

这次代码就不公开了, 毕竟是抓取别人的内容....,其实也没啥, 都是普通的东西:

gem 'rails'
gem 'mysql2'
gem 'capistrano'

gem 'devise'
gem 'em-http-request'
gem 'haml'
gem 'resque'
gem 'will_paginate', '~> 3.0.pre2'

gem 'acts_as_commentable', '~> 3.0.1'

gem 'paperclip'

gem 'sitemap_generator'

 



PS: 怎么增加网站的PR ? 这个站都挂了有20多天了吧 ? PR 还是 0 .... google 也太不给面子了 , 我白提交了100多w的 sitemap , 一点儿都不照顾....

 

评论

16 楼 myhousepoor 2011-03-26  

注册不了，很奇怪，不过你那个提示蛮给力的，赞一个，ps：为神马这么多投隐藏？

15 楼 不见得 2011-03-23  

谢谢各位童鞋的支持....

bfox 写道

对了楼主，顺便问下，有没有只看楼主功能？

可以的, 而且可以只看任何人...

14 楼 bfox 2011-03-23  

对了楼主，顺便问下，有没有只看楼主功能？

13 楼 bfox 2011-03-23  

楼主网站很不错，要坚持啊， 要是服务空间有困难可以联系我。

12 楼 rplees 2011-03-21  

刚看了下那网站，说真的，我很喜欢你那网站的风格！赞一个！

11 楼 不见得 2011-03-18  

erlengleng 写道

这个是用什么技术，什么语言写的爬的啊?

看看我最开始贴的 Gemfile, 你就知道了  

10 楼 erlengleng 2011-03-17  

这个是用什么技术，什么语言写的爬的啊?

9 楼 femto 2011-03-14  

买几个几T的硬盘，嘿嘿

8 楼 sunsmooth 2011-03-12  

pr 通常三个月更新一次，上次更新是在过年前后。所以你还要再等等了。

7 楼 femto 2011-03-12  

<div class="quote_title">不见得 写道</div>
<div class="quote_div">
<div class="quote_title">femto 写道</div>
<div class="quote_div">你把天涯的爬下来啊，然后针对之做个搜索。<br>其实就是等于做个google,不过全站就是天涯。。</div>
<p>天涯这么多年的数据量也是够大的,没有大的存储没法实现.我做了个变通, 只抓关心的帖子, 对帖子的内容做了处理.然后把需要搜索的内容放到 /robots.txt 的 sitemap 里, google 搜索时对 sitemap 有优化, 现在天涯路搜索的那个链接实际上是 Google 自定义搜索, 这样 比直接搜索天涯要准确些... </p>
<p> </p>
<p> </p>
<pre name="code" class="Plain">User-Agent: *
Disallow: /system/
Disallow: /javascripts/
Disallow: /images/
Disallow: /stylesheets/
Sitemap: http://tianya.lu/sitemap_index.xml.gz
</pre>
 
<p>买几个几T的硬盘，嘿嘿</p>
</div>
<p> </p>

6 楼 tsoukw 2011-03-12  

注册后总收不到确认邮件

5 楼 不见得 2011-03-11  

<div class="quote_title">femto 写道</div>
<div class="quote_div">你把天涯的爬下来啊，然后针对之做个搜索。<br>其实就是等于做个google,不过全站就是天涯。。</div>
<p>天涯这么多年的数据量也是够大的,没有大的存储没法实现.我做了个变通, 只抓关心的帖子, 对帖子的内容做了处理.然后把需要搜索的内容放到 /robots.txt 的 sitemap 里, google 搜索时对 sitemap 有优化, 现在天涯路搜索的那个链接实际上是 Google 自定义搜索, 这样 比直接搜索天涯要准确些... </p>
<p> </p>
<p>
</p>
<pre name="code" class="Plain">User-Agent: *
Disallow: /system/
Disallow: /javascripts/
Disallow: /images/
Disallow: /stylesheets/
Sitemap: http://tianya.lu/sitemap_index.xml.gz
</pre>
 
<p> </p>

4 楼 femto 2011-03-10  

你把天涯的爬下来啊，然后针对之做个搜索。
其实就是等于做个google,不过全站就是天涯。。

3 楼 不见得 2011-03-08  

@femto, 你说的对, 这个首页确实有问题, 不少人跟我抱怨了, 我准备改成更简单的方式 , 谢谢! 对于天涯论坛的搜索, 确实存在问题,  其实用google搜也很难得到想要的结果, 这跟天涯的内容结构有关系, 以前每页200个发言, 现在改成了 100个, 每个发言都是独立的, 每个都有自己的重点(keywords), 这种到处是关键词导致了没有关键词, 呵呵, 估计 搜索也无解...

2 楼 femto 2011-03-08  

ps,试用了一下，
complaint一下
首页一直向下倒的功能，
当我想仔细看一个帖子的时候，
需要找到停止这种向下倒的功能，
这种向下倒的功能对于新手来说，
使得注意到，是一个方式，当时
对于老手，确是一个hindrance.

1 楼 femto 2011-03-08  

支持一下，有没有办法爬天涯，
专门针对天涯做一个搜索引擎，
现在的天涯搜索太不好用了。