`
不见得
  • 浏览: 12034 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

这里有没有混天涯论坛的? 可以试试我写的这个小工具

阅读更多

Hi All,

不知道这里有没有混天涯论坛的? 反正我每天都会去哪里泡一会, 我也在豆瓣里溜达, 但是总是觉得不知到在哪里干啥...最后还是回天涯了, 周末写了2天, 终于把问题解决, 基本功能写完....,放出来 看看吧


这个工具可以看任意帖子的任何作者,

要是有你想看的帖子 可以从这个入口加进来:
http://tianya.lu/topics/add

这样后台就可以慢慢的把帖子抓完...

不多说了, 大家还是去看看吧: 天涯路 : http://tianya.lu,

 

 

这次代码就不公开了, 毕竟是抓取别人的内容....,其实也没啥, 都是普通的东西:

gem 'rails'
gem 'mysql2'
gem 'capistrano'

gem 'devise'
gem 'em-http-request'
gem 'haml'
gem 'resque'
gem 'will_paginate', '~> 3.0.pre2'

gem 'acts_as_commentable', '~> 3.0.1'

gem 'paperclip'

gem 'sitemap_generator'
 



PS: 怎么增加网站的PR ? 这个站都挂了有20多天了吧 ? PR 还是 0 .... google 也太不给面子了 , 我白提交了100多w的 sitemap , 一点儿都不照顾....

 

分享到:
评论
16 楼 myhousepoor 2011-03-26  
注册不了,很奇怪,不过你那个提示蛮给力的,赞一个,ps:为神马这么多投隐藏?
15 楼 不见得 2011-03-23  
谢谢各位童鞋的支持....

bfox 写道
对了楼主,顺便问下,有没有只看楼主功能?


可以的, 而且可以只看任何人...
14 楼 bfox 2011-03-23  
对了楼主,顺便问下,有没有只看楼主功能?
13 楼 bfox 2011-03-23  
楼主网站很不错,要坚持啊, 要是服务空间有困难可以联系我。
12 楼 rplees 2011-03-21  
刚看了下那网站,说真的,我很喜欢你那网站的风格!赞一个!
11 楼 不见得 2011-03-18  
erlengleng 写道
这个是用什么技术,什么语言写的爬的啊?


看看我最开始贴的 Gemfile, 你就知道了  
10 楼 erlengleng 2011-03-17  
这个是用什么技术,什么语言写的爬的啊?
9 楼 femto 2011-03-14  
买几个几T的硬盘,嘿嘿
8 楼 sunsmooth 2011-03-12  
pr 通常三个月更新一次,上次更新是在过年前后。所以你还要再等等了。
7 楼 femto 2011-03-12  
<div class="quote_title">不见得 写道</div>
<div class="quote_div">
<div class="quote_title">femto 写道</div>
<div class="quote_div">你把天涯的爬下来啊,然后针对之做个搜索。<br>其实就是等于做个google,不过全站就是天涯。。</div>
<p>天涯这么多年的数据量也是够大的,没有大的存储没法实现.我做了个变通, 只抓关心的帖子, 对帖子的内容做了处理.然后把需要搜索的内容放到 /robots.txt 的 sitemap 里, google 搜索时对 sitemap 有优化, 现在天涯路搜索的那个链接实际上是 Google 自定义搜索, 这样 比直接搜索天涯要准确些... </p>
<p> </p>
<p> </p>
<pre name="code" class="Plain">User-Agent: *
Disallow: /system/
Disallow: /javascripts/
Disallow: /images/
Disallow: /stylesheets/
Sitemap: http://tianya.lu/sitemap_index.xml.gz
</pre>
 
<p>买几个几T的硬盘,嘿嘿</p>
</div>
<p> </p>
6 楼 tsoukw 2011-03-12  
注册后总收不到确认邮件
5 楼 不见得 2011-03-11  
<div class="quote_title">femto 写道</div>
<div class="quote_div">你把天涯的爬下来啊,然后针对之做个搜索。<br>其实就是等于做个google,不过全站就是天涯。。</div>
<p>天涯这么多年的数据量也是够大的,没有大的存储没法实现.我做了个变通, 只抓关心的帖子, 对帖子的内容做了处理.然后把需要搜索的内容放到 /robots.txt 的 sitemap 里, google 搜索时对 sitemap 有优化, 现在天涯路搜索的那个链接实际上是 Google 自定义搜索, 这样 比直接搜索天涯要准确些... </p>
<p> </p>
<p>
</p>
<pre name="code" class="Plain">User-Agent: *
Disallow: /system/
Disallow: /javascripts/
Disallow: /images/
Disallow: /stylesheets/
Sitemap: http://tianya.lu/sitemap_index.xml.gz
</pre>
 
<p> </p>
4 楼 femto 2011-03-10  
你把天涯的爬下来啊,然后针对之做个搜索。
其实就是等于做个google,不过全站就是天涯。。
3 楼 不见得 2011-03-08  
@femto, 你说的对, 这个首页确实有问题, 不少人跟我抱怨了, 我准备改成更简单的方式 , 谢谢! 对于天涯论坛的搜索, 确实存在问题,  其实用google搜也很难得到想要的结果, 这跟天涯的内容结构有关系, 以前每页200个发言, 现在改成了 100个, 每个发言都是独立的, 每个都有自己的重点(keywords), 这种到处是关键词导致了没有关键词, 呵呵, 估计 搜索也无解...
2 楼 femto 2011-03-08  
ps,试用了一下,
complaint一下
首页一直向下倒的功能,
当我想仔细看一个帖子的时候,
需要找到停止这种向下倒的功能,
这种向下倒的功能对于新手来说,
使得注意到,是一个方式,当时
对于老手,确是一个hindrance.
1 楼 femto 2011-03-08  
支持一下,有没有办法爬天涯,
专门针对天涯做一个搜索引擎,
现在的天涯搜索太不好用了。

相关推荐

    仿天涯论坛模板的免费论坛系统 v2.0

    这个仿天涯论坛模板的免费论坛系统开发者承诺使用者可以用于商业用途,不收取任何授权费用,并且还绝对没有后门(请在各大门户网站或官方网站下载)。功能方面:这个免费的仿天涯论坛模板的免费论坛系统在功能方面也...

    天涯帖子下载工具v4.4

    通过以上介绍,我们可以看到天涯帖子下载工具v4.4是一款针对天涯论坛用户量身打造的实用工具,它不仅简化了下载流程,还提高了效率,让天涯论坛的精彩内容得以长久保留。无论是为了个人兴趣还是学术研究,这款工具都...

    天涯易栈的工具

    天涯易栈是一个知名的在线技术交流平台,其提供的“天涯易栈的网页抓包工具”是程序员和网络技术爱好者常用于网络数据抓取和分析的实用软件。网页抓包工具能够帮助用户捕获、查看和记录网络上的数据传输,这对于调试...

    02408仿天涯论坛模板的免费论坛系统(php在线问答系统源码)v2.0.zip

    这个仿天涯论坛模板的免费论坛系统在用户体验方面也是下了很大功夫,可以安装到任意网站二级目录,后台有很多友好提示,可以一键清除全部缓存,邮件实时通知,安装程序自动识别和设置伪静态,表单内容可以自动补全,...

    天涯文本处理工具.rar

    3. **批量处理**:考虑到处理大量文件的需求,天涯文本处理工具很可能具备批量处理功能,可以一次性对多个文本文件执行相同的操作,如批量重命名、批量转换格式、批量替换内容等。 4. **文本分析与统计**:对于学术...

    天涯私信发送工具

    一个小工具,批量发送技巧,天涯客户关注你的工具 支持号段和相关帖子选取用户达到被关注的效果

    天涯帖子下载工具最新版

    "天涯帖子下载工具最新版" 提供了一种方便的方式,让用户能够离线浏览和保存感兴趣的天涯论坛内容。这款工具可能包含了对网页内容的抓取、解析以及本地存储等功能,以适应那些在网络不稳定或者希望在无网络环境下...

    天涯帖子下载器 txt

    "天涯帖子下载器 txt" 是一个专门针对天涯论坛设计的工具,旨在帮助用户将感兴趣的帖子内容方便地下载并转化为TXT格式,以便在没有网络连接或者手机等移动设备上离线阅读。这种功能对于那些经常在天涯论坛浏览,但又...

    一个不错的仿天涯论坛程序

    "一个不错的仿天涯论坛程序" 是一款旨在模拟天涯论坛功能的软件或平台,它提供了类似天涯社区的用户体验,让用户可以在自己的站点上进行讨论、分享、互动。天涯论坛是中国知名的网络社区之一,以其丰富的主题和活跃...

    天涯文章抓取工具

    天涯论坛的长篇文章通常会被分成多个页面展示,而这个工具能够自动遍历所有页面,逐个抓取每一页的内容,最终合并为一个完整的TXT文档。这样,用户无需手动翻页,就能一次性读完全部内容。 配置文件`config.config`...

    天涯用户私信批量发送工具

    但对于需要快速、大批量发送私信的用户来说,这款工具无疑是一个实用的选择。 然而,使用此类工具时也需要注意社区规则,避免过度营销导致的账号限制或封禁。合理规划发送频率和内容,尊重用户隐私,确保发送的信息...

    天涯论坛阅读器(含只看楼主功能)

    在Windows系统中,双击这个文件就可以启动天涯论坛阅读器。为了保证软件能正常运行,用户需要检查自己的系统是否满足.net Framework的版本要求,并且确保没有防火墙或安全软件阻止其运行。 总结起来,天涯论坛阅读...

    天涯帖子下载和过滤工具V3.0

    过滤条件可以排列组合  8. 支持通过代理服务器访问天涯  9. 支持同时下载多个帖子  10. 可选择的运行方式:  a) 下载并过滤指定帖子  b) 只下载帖子,不过滤  c) 只过滤预先下载的帖子  11. 支持用户修改...

    天涯易读(天涯论坛阅读工具)V0.92中文免费安装版

    天涯论坛客户端,让天涯阅读更容易。不仅能只看楼主、高亮楼主;还能只看某些人、只看某些内容、屏蔽某些人。 天涯易读(天涯论坛客户端) 功能介绍 1.采用php小偷技术自动获取同步更新天涯社区帖子. 2.程序采用伪静态...

    myeclipse eclipse 插件添加小工具 java版 (v2.1) 天涯浪子

    在eclipse 3.4 /myeclipse 7.5以后,插件的添加方式有了新的变化,根据其变化原理写的一个小工具,让添加插件不再那么麻烦~~~ 注意:如果插件包里边的插件jar包或插件文件夹不是按标准格式XX_XX命令的话,该工作不能...

    批量给天涯论坛会员发送私信引流(附软件)

    在IT行业中,网络社区营销是企业或个人推广其产品或服务的一种有效手段。...正确理解和运用"批量给天涯论坛会员发送私信引流(附软件)"这个工具,结合有效的营销策略,才能在天涯论坛上实现有效的引流并促进业务发展。

    基于PHP的仿天涯论坛模板的免费论坛系统.zip

    这个系统为用户提供了一个类似于天涯论坛的界面和交互体验,同时作为免费资源,它允许用户在自己的网站上搭建一个功能完备的社区平台。 【描述】:这个压缩包文件“基于PHP的仿天涯论坛模板的免费论坛系统.zip”...

    天涯论坛自动顶帖机.rar

    天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛自动顶贴天涯论坛...

    myeclipse eclipse 插件添加小工具 java版 天涯浪子

    在eclipse 3.4 /myeclipse 7.5以后,插件的添加方式有了新的变化,根据其变化原理写的一个小工具,让添加插件不再那么麻烦~~~ 注意:如果插件包里边的插件jar包或插件文件夹不是按标准格式XX_XX命令的话,该工作不能...

Global site tag (gtag.js) - Google Analytics