作者: Fenng
|
可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/review/tailrank_arch.html
每天数以千万计的 Blog 内容中，实时的热点是什么? Tailrank
这个 Web 2.0 Startup 致力于回答这个问题。
专门爆料网站架构的 Todd Hoff
对 Kevin Burton
进行了采访。于是我们能了解一下 Tailrank 架构
的一些信息。每小时索引 2400 万的 Blog 与 Feed，内容处理能力为 160-200Mbps，IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank 所用的爬虫现在已经成为一个独立产品：spinn3r
。
服务器硬件
目前大约 15 台服务器，CPU 是 64 位的 Opteron。每台主机上挂两个 SATA 盘，做 RAID
0。据我所知，国内很多 Web 2.0 公司也用的是类似的方式，SATA 盘容量达，低廉价格，堪称不二之选。操作系统用的是 Debian Linux 。Web 服务器用 Apache 2.0，Squid 做反向代理服务器。
数据库
Tailrank 用 MySQL 数据库，联邦数据库形式。存储引擎用 InnoDB， 数据量 500GB。Kevin Burton 也指出了 MySQL 5 在修了一些 多核模式下互斥锁的问题(This Bug
?)。到数据库的JDBC 驱动连接池用 lbpool
做负载均衡。MySQL Slave 或者 Master的复制用 MySQLSlaveSync
来轻松完成。不过即使这样，还要花费 20％ 的时间来折腾 DB。
其他开放的软件
任何一套系统都离不开合适的 Profiling 工具，Tailrank 也不利外，针对 Java 程序的 Benchmark 用 Benchmark4j
。Log 工具用 Log5j
(不是 Log4j)。Tailrank 所用的大部分工具都是开放的。
Tailrank 的一个比较大的竞争对手是 Techmeme
，虽然二者暂时看面向内容的侧重点有所不同。其实，最大的对手还是自己，当需要挖掘的信息量越来越大，如果精准并及时的呈现给用户内容的成本会越来越高。从现在来看，Tailrank 离预期目标还差的很远。期待罗马早日建成。
分享到：
相关推荐
大型网站架构技术方案集锦 ...Tailrank 网站架构 LinkedIn 架构笔记 Yahoo！社区架构 Craigslist 的数据库架构 Fotolog.com 的技术信息拾零 Digg 网站架构 Amazon 的 Dynamo 架构 财帮子（caibangzi.com）网站架构
- **Tailrank**：使用实时算法分析博客和社交媒体上的内容，以快速识别热门话题和趋势。这涉及到自然语言处理、文本分析和大数据处理技术。 ### 4. 社交媒体与即时通讯 - **MySpace**：早期的社交网络平台，允许...
教师节主题班会.pptx
学生网络安全教育主题班会.pptx
世界环境日主题班会.pptx
GNSS 经纬度 所有国家的电子围栏 里面包含了python的转换脚本 countries.wtk 就是转换出的围栏信息 具体的使用参见： https://blog.csdn.net/weixin_44209111/article/details/144034263?sharetype=blogdetail&sharerId=144034263&sharerefer=PC&sharesource=weixin_44209111&spm=1011.2480.3001.8118
JEEWEB Mybatis版本是一款基于SpringMVC+Spring+Mybatis+Mybatis Plus的JAVA WEB敏捷开发系统.zip
旋转磁体上方放置一个铷钟（铷原子钟），铷钟可以输出稳定的10MHz的正弦波。 现在让磁体旋转起来，随着转速的增加，铷钟输出的正弦波频率开始增长。 可以认为这是旋转磁体产生的磁场对铷钟的一种赋能，使得其内在频率提升的结果。 本实验使用STM32F429开发板控制电机转速和测量数据传输，使用虚拟示波器作为频率测量设备。 改进版本的实验钟，虚拟示波器软件经过破解，将频率数据导出。
环境说明：开发语言：Java 框架：springboot JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 5.7 数据库工具：Navicat 开发软件：eclipse/myeclipse/idea Maven包：Maven 浏览器：谷歌浏览器。 项目均可完美运行
matlab的人体异常行为检测识别系统（源码，论文，GUI）.zip，本项目是一套98分毕业设计系统，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业，包含：项目源码、项目说明等。该项目可以直接作为毕设使用，项目都经过严格调试，确保可以运行！ matlab的人体异常行为检测识别系统（源码，论文，GUI）.zipmatlab的人体异常行为检测识别系统（源码，论文，GUI）.zip，本项目是一套98分毕业设计系统，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业，包含：项目源码、项目说明等。该项目可以直接作为毕设使用，项目都经过严格调试，确保可以运行！ matlab的人体异常行为检测识别系统（源码，论文，GUI）.zipmatlab的人体异常行为检测识别系统（源码，论文，GUI）.zip，本项目是一套98分毕业设计系统，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业，包含：项目源码、项目说明等。该项目可以直接作为毕设使用，项目都经过严格调试，确
环境说明：开发语言：Java 框架：springboot JDK版本：JDK1.8 服务器：tomcat7 数据库：mysql 5.7 数据库工具：Navicat 开发软件：eclipse/myeclipse/idea Maven包：Maven 浏览器：谷歌浏览器。 项目均可完美运行
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
【资源说明】 基于区块链的数字版权管理全部资料+详细文档.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
[ESP32S3N16R8][LVGL8.3.0][IDF5.2.3]ST7701S RGB屏幕驱动[vscode最详细配置]
2024线性代数Mworks实验报告模板.doc
基于协同过滤算法的科技文献推荐系统
【资源说明】 基于fisco-bcos区块链平台搭建的供应链系统全部资料+详细文档.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
ModifyJSON.zip
【资源说明】 基于区块链的通证投票系统全部资料+详细文档.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
基于java的游戏服务器框架.zip学习资料