博客首页 → Flume

最新文章列表

FlumeNG 学习结合log4j使用

1.有jdk6以上环境 2.安装flumeNG wget http://mirrors.cnnic.cn/apache/flume/stable/apache-flume-1.5.0-bin.tar.gz tar zxvf apache-flume-1.5.0-bin.tar.gz   3.启动  [conf/example.conf] # Name the components ...
flume 
lnx1824 评论(0) 有1455人浏览 2014-06-10 14:59

flume 1.4.0 + hadoop 2.2 verifyError

转自http://grepalex.com/2014/02/09/flume-and-hadoop-2.2/ flume1.4.0 使用的是protobuf 2.4.1 hadoop 2.2使用的是2.5，所以会出现verifyError的问题 解决办法：进入flume文件夹 rm -f lib/protobuf-java-2.4.1.jar lib/guava-10.0.1.jar 重新启动即 ...
hadoopflumeprotobuf 
josephgao 评论(0) 有840人浏览 2014-03-17 16:44

flume-ng启动时遇到报错时的解决

在命令行下启动bin/flume-ng时,竟然遇到报错,找到如下解决办法 错误如下： bin/flume-ng: line 82: syntax error in conditional expression: unexpected token `(' bin/flume-ng: line 82: syntax error near `^java\.library\.path=(.' b ...
flumeflume-ng 
vincentzhwg 评论(0) 有2560人浏览 2014-02-25 17:51

flume

Hadoop Analysis of Apache Logs Using Flume-NG, Hive and Pig http://cuddletech.com/blog/?p=795 flumeng hbase jmx integration http://ilnba.iteye.com/blog/1846385
flumeflume ng 
dengbenji 评论(0) 有537人浏览 2013-11-26 17:22

开源日志系统比较

http://dongxicheng.org/search-engine/log-systems/
日志flume 
wbj0110 评论(0) 有825人浏览 2013-11-20 09:37

Hadoop日志系统知识

hadoop日志系统中的日志收集模块，在如今比较流行的以及开源具有代表性的有facebook的scribe，apache的chukwa，linkedin的kafka，以及非常优秀的cloudrea的flume，在1.x的hadoop生态系统中，flume比较适合做日志收集模块，因为其功能全面，且具有高扩展性，高稳定性，高可靠性，以及便于管理和维护。 在1.xhadoop生态系统中，HDFS分布式 ...
hadoopflume日志系统 
qindongliang1922 评论(0) 有3960人浏览 2013-10-10 22:01

Flume研究心得

　　　最近两天，仔细的看了一下Flume中央日志系统（版本号：1.3.X），Flume在本人看来，还是一个非常不错的日志收集系统的，其设计理念非常易用，简 ...
javalogflume中央日志系统 
autumnrain_zgq 评论(1) 有4555人浏览 2013-03-16 15:27

scribe，flume

flume   Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 http://baike.baidu.com/view/9540485.htm http://baike.baidu.com/view ...
scribeflume 
haiker 评论(1) 有2886人浏览 2013-02-26 17:23

Hello~ Flume

导读：如想直接获知配置agent的方法，请阅读Setting up an agent小节。   Overview 概述 Apache Flume是一个高可靠、高可用的分布式的海量日志收集、聚合、 ...
javahadoopflumeapachelog 
joshuasabrina 评论(0) 有3355人浏览 2013-02-17 15:31

分布式日志系统类比

背景 Google、Facebook、Amazon等互联网巨头对于数据的创造性使用，创造出了很多辉煌的商业产品。如Amazon创造出的新的推荐模式：”查询此商品的顾客也查询了。。。。。”、“看过此商品的后的顾客买的其他商品有。。。。。。”、“购买了您最近浏览过的商品的顾客同时购买了。。。。。。”，还有LinkedIn公司创造的“你可能认识的人”。这些机制无不是建立在大量数据分析的基础上。 分 ...
日志kafkaFlumeChuwaScribe 
huoyanxueren 评论(0) 有8715人浏览 2013-02-06 16:55

一个flume的问题，帮忙看一下

我写了一个flume的client，向flume发数据，发送小文件的时候没什么问题，发送大文件的时候报一下错误： （公司安全搞的太严，复制不了代码）        
flume 
shenbai 评论(0) 有1541人浏览 2012-10-11 10:58

flume之退避算法backoff algorithm

什么是退避算法： In a single channel contention based medium access control (MAC) protocols, whenever more than one station or node tries to access the medium at the same instant of time, it leads to packet c ...
flumebackoffflume backoff 
qiuqiang1985 评论(0) 有5670人浏览 2012-05-06 11:11

Flume介绍

一、 Flume系统简介 Flume是一个由Cloudera提供的分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume支持在日志系统中定制各类数据发送方 ...
flume 
SmartMessage 评论(0) 有4376人浏览 2012-03-26 15:13

Flume源代码解读三

  [ xcly原创于iteye,见http://xcly.iteye.com ]    本节重点介绍 agentSink中ENDTOEND的实现。     每一个节点通过source获得事件Event,然后由sink处理，sink同source一样，flume提供了多种实现，sink的生成同Flume源代码解读一中介绍的实现方式类似，由SinkFactory工厂方法实现，跟SourceFa ...
HadoopFlume日志收集 
xcly 评论(0) 有3190人浏览 2012-03-10 20:40

Flume源代码解读二

    [ xcly原创于iteye,见http://xcly.iteye.com ]     接上次介绍tailDir的实现后，这次介绍节点的启动。节点的启动实现在高版本中会有所区别，这次针对flume0.9.3.   启动Flume Master或者Node一般都用FlumeWatchdog启动，生成pid文件，判断配置读取，利用Watchdog，  利用Runtime的exec来启动新 ...
HadoopFlume分布式 
xcly 评论(0) 有2383人浏览 2012-03-10 18:28

Flume源代码解读一

     [ xcly原创于iteye,见http://xcly.iteye.com ]      年初团队接了搭建公司Hadoop平台的研发计划，负责公司产品日志的收集，分析两个工作。    日志收 ...
HadoopFlume分布式日志收集 
xcly 评论(2) 有6327人浏览 2012-03-10 12:28

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics