海量日志分析处理系统 一、开篇

      目前正在写一个日志处理系统，虽然业务很简单，但是感觉想把它做大做强，还是有很多东西可以挖掘的，希望能在这里把整个过程记录下来，对自己的积累做个总结。

 

      计划使用如下技术构建整个系统。

 

      1. 使用scribe集群完成日志收集

      2. 使用hadoop集群完成日志分析处理

      3. 使用hbase完成分析结果的存储

      4. 使用hightchar作为前端UI的展示工具

 

      计划编写如下程序完成整个系统

 

      1. scribe客户端程序，负责将日志内容通过管道写入scribe

      2. scribe中心端程序，负责将收集的日志上传到hadoop

      3. 日志分析处理程序，负责对hdfs中的日志分析处理

      4. hbase客户端程序，负责对rest接口返回查询结果

      5. 前端web展示程序，负责解析xml并以报表方式展示

评论

3 楼 SavageGarden 2013-08-19  

javawebkaifa 写道

   你好，开源分享一下你的hadoop处理日志的过程吗？我现在也在做一个这个项目，业务有点麻烦。谢谢！！！

非常抱歉这个计划当时因为项目组的人事变动没有完成，但如果你能描述一下你的问题，或许我可以有针对性的介绍一下我们曾经采用过的解决方案。

2 楼 javawebkaifa 2013-06-18  

   你好，开源分享一下你的hadoop处理日志的过程吗？我现在也在做一个这个项目，业务有点麻烦。谢谢！！！

1 楼 xvm03 2011-04-26  

要坚持呀，一定要完整记录整个过程，顶你