`
SavageGarden
  • 浏览: 221479 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

海量日志分析处理系统 一、开篇

阅读更多

      目前正在写一个日志处理系统,虽然业务很简单,但是感觉想把它做大做强,还是有很多东西可以挖掘的,希望能在这里把整个过程记录下来,对自己的积累做个总结。

 

      计划使用如下技术构建整个系统。

 

      1. 使用scribe集群完成日志收集

      2. 使用hadoop集群完成日志分析处理

      3. 使用hbase完成分析结果的存储

      4. 使用hightchar作为前端UI的展示工具

 

      计划编写如下程序完成整个系统

 

      1. scribe客户端程序,负责将日志内容通过管道写入scribe

      2. scribe中心端程序,负责将收集的日志上传到hadoop

      3. 日志分析处理程序,负责对hdfs中的日志分析处理

      4. hbase客户端程序,负责对rest接口返回查询结果

      5. 前端web展示程序,负责解析xml并以报表方式展示

2
3
分享到:
评论
3 楼 SavageGarden 2013-08-19  
javawebkaifa 写道
   你好,开源分享一下你的hadoop处理日志的过程吗?我现在也在做一个这个项目,业务有点麻烦。谢谢!!!

非常抱歉这个计划当时因为项目组的人事变动没有完成,但如果你能描述一下你的问题,或许我可以有针对性的介绍一下我们曾经采用过的解决方案。
2 楼 javawebkaifa 2013-06-18  
   你好,开源分享一下你的hadoop处理日志的过程吗?我现在也在做一个这个项目,业务有点麻烦。谢谢!!!
1 楼 xvm03 2011-04-26  
要坚持呀,一定要完整记录整个过程,顶你

相关推荐

    电力系统分析:开篇简介.ppt

    电力系统分析:开篇简介.ppt

    基于RBNB和MapReduce的海量结构工程数据处理与分析.pdf

    根据给定文件内容,本文的知识点主要涉及大数据技术在海量结构工程数据处理与分析中的应用,重点包括RBNB缓存技术和MapReduce并行处理模型的使用。以下对相关知识点进行详细说明: 1. 土木工程事故与结构健康监测的...

    基于matlab7.x的系统分析与设计——小波分析01(课件)

    【标题】中的“基于matlab7.x的系统分析与设计——小波分析01(课件)”表明了这是一个关于使用MATLAB 7.x版本进行系统分析与设计的课程,重点在于小波分析这一数学工具。小波分析是信号处理和数据分析领域的一种...

    启明星辰泰合信息安全运营中心系统-日志审计系统-v3.0.10.2-用户手册-v2.4-20180227.pdf

    启明星辰泰合信息安全运营中心系统是一款专注于网络安全审计的日志审计系统,版本为v3.0.10.2,用户手册为v2.4,发布于2018年2月27日。该系统由北京启明星辰信息安全技术有限公司开发,旨在提供全面的安全监控和审计...

    系统分析说明书参考模板

    * 项目背景是系统分析说明书的开篇部分,它对项目的背景和历史进行描述,包括项目的发源、发展历程和目前的状况。 * 项目背景的描述应该包括项目的目的、范围、目标和约束等信息。 二、文档约定 * 文档约定是系统...

    2024-开篇词:为什么你要学习系统分析师.pdf

    系统分析师是一个涉及众多领域的综合角色,在IT行业中扮演着至关重要的角色。其核心任务包括需求分析、系统设计、规划、测试等,要求具备深厚的业务理解能力、技术知识以及良好的沟通协调技巧。以下是根据文档内容...

    销售管理系统(源码+论文+开篇报告等等)

    销售管理系统是一种专为商业运营设计的信息管理工具,它集成了库存管理、订单处理、客户关系管理、销售分析等多种功能,旨在提升销售效率,优化业务流程。在这个“销售管理系统(源码+论文+开篇报告等等)”中,你将...

    论文研究-一种基于Hadoop的个性化推荐系统架构 .pdf

    7. 海量数据处理和个性化推荐方法:本文深入探讨了如何利用Hadoop框架对海量数据进行分析处理,并结合个性化推荐算法为用户推荐感兴趣的信息。 8. 技术成本与效益:在分布式系统和大数据技术不断发展的同时,如何...

    学生成绩信息管理系统(源码+论文+文献综述+外文翻译+开篇报告)

    学生成绩信息管理系统是一款专为高校或教育机构设计的软件应用,用于自动化处理学生的成绩记录、统计和分析工作。此系统由一名毕业生作为其毕业设计项目进行开发,它结合了asp.net技术平台与sqlserver数据库,提供了...

    通信技术之连续系统的复频域分析

    2. **拉普拉斯变换**:拉普拉斯变换是另一种复频域分析方法,特别是在处理非稳定系统时更为适用。与傅里叶变换不同,拉普拉斯变换能够处理随时间变化的系统,因为它的变换域包括了虚轴,可以描述系统的时间常数和...

    大数据-系统设计和最佳实践

    - **新范式介绍**:本书开篇即介绍了大数据处理的新范式,这不仅仅是技术层面的更新换代,更是对传统数据处理方式的一种颠覆。新范式强调的是如何通过更加高效的方式处理海量数据,尤其是在实时性和可扩展性方面。 -...

    2021-软考高级系统分析师讲义.pdf

    企业信息化战略与实施是高级系统分析师讲义的开篇知识点,涵盖了企业信息化的战略规划、信息系统的实施步骤、信息系统的规划与设计等方面的知识点。企业信息化战略的制定需要考虑到企业的业务战略、市场环境、竞争...

    基于GIS的某系统需求分析报告模版

    总的来说,这份基于GIS的水资源管理信息系统需求分析报告模版提供了一个全面的框架,有助于开发者理解并满足水资源管理的实际需求,从而构建出高效、实用的GIS系统。通过深入的分析和规划,可以提升水资源管理的效率...

    浅析废水处理中的PLC自动控制系统.pdf

    PLC(Programmable Logic Controller,可编程逻辑控制器)自动控制系统作为一种先进的控制技术,在提升废水处理效率、延长设备使用寿命、实现远程监控和提高废水处理精确度方面发挥着重要作用。 2. PLC系统的结构...

    化学水处理系统调试方案.doc

    《化学水处理系统调试方案》是一份详细的工程技术文档,针对化学补给水处理系统的调试工作提供了全面的指导。本文档适用于以水库水为原水,经过处理后供电厂工业用水和生活用水的场合。以下是对该文档主要内容的详细...

    数字图像处理与分析 课件

    总的来说,这个课程会提供一个全面的图像处理和分析的基础,通过理论学习和实践操作,帮助学生掌握图像处理的核心技术和工具,为他们在相关领域的进一步研究和应用打下坚实基础。通过PPT的学习和C程序的编写,学生...

    哈工大软件学院系统分析与设计课件及考试试卷及复习提纲(part III)

    3. **03-系统需求建模-事件和事物.ppt**:这是关于系统需求建模的一次课件,重点讲述了事件驱动和事务处理在系统需求建模中的应用,PPT格式便于展示和讲解。 4. **04-结构化分析与设计方法.ppt**:这部分内容可能...

Global site tag (gtag.js) - Google Analytics