博客首页 → Flume

最新文章列表

Linux搭建Flume开发环境

1.Linux搭建Flume环境 2.官网下载Flume安装包：apache-flume-1.8.0-bin.tar.gz,   利用xftp5工具上传到：/usr/local/flume   3.利用xshell5工具登录到服务器解压flume，输入：cd /usr/local/flume [root@marklin ~]# cd /usr/local/flume ...
大数据flume 
马智霖 评论(0) 有1054人浏览 2018-04-29 20:53

数据接入ElasticSearch方式培训PPT

写道 数据接入ElasticSearch几种方式总结，涉及技术hive、flume、logstash、elasticsearch、kafka   
elasticsearchflumelogstashhive 
yangyangmyself 评论(0) 有1900人浏览 2018-01-28 11:53

大数据（三）-----flume安装应用

1.安装规划   见大数据（一）-----HADOOP安装 2.安装flume 将flume安装在目录/home/hadoop/apache-flume-1.7.0-bin下，并配置环境变量 export FLUME_HOME=/home/hadoop/apache-flume-1.7.0-bin  配置conf目录下flume-hdfs.conf文件，包括agent，sink， ...
flume 
renhanxiang 评论(0) 有897人浏览 2017-08-05 12:02

kafka + flume + hdfs + zookeeper + spark 测试环境搭建

最近由于项目需要， 搭建了一个类似线上环境的处理流数据的环境 用的是CDH 版本5.9.x hdfs组成： 2 namenode HA, 6 datanode kafka： 3 台kafka server zookeeper： 3台 flume： 1台 spark： 6台 每台32G内存 数据流程是有远端终端向我们数据处理服务器（Gengo）发送， 再由Gengo向kafka还有flume发送 ...
Hadoopsparkkafkazookeeperflume 
humingminghz 评论(0) 有1108人浏览 2017-07-20 11:28

flume

一、 flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 二、 安装 tar -zxvf flume.tar.gz 三、source 1.测试 cd ./conf vim template11.conf ＃命名Agent a1的组件 a1.sources  =  r1 a1.sinks  =  k1 ...
flume 
mingyun 评论(0) 有490人浏览 2017-06-21 22:31

flume配置及问题处理

一、flume配置 一台机器做负载均衡，二台服务器做存储hdfs ============================================ hadoop01   ============================================ #声明Agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c ...
flume海量小文件 
fengy20043 评论(0) 有1223人浏览 2017-05-11 00:42

Apache Flume日志收集系统简介

Apache Flume是一个分布式、可靠、可用的系统，用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。   Flume简介 Flume的核心是Agent，Agent中包含Source、Channel、Sink。Agent是最小的独立运行单位。在Agent中，数据流向为Source->Channel->Sink。 其中， Source：收集数据 ...
Flume 
backend-develop 评论(0) 有1112人浏览 2017-03-16 18:18

flume-kafka 实例 详细

  flume 下载：http://download.csdn.net/download/knight_black_bob/9454497   spring-kafka 接受消息实例   http://knight-black-bob.iteye.com/blog/2344424   flume kafka 安装 详细 http://knight-black-bob.iteye.com ...
flumekafka实例详细 
knight_black_bob 评论(0) 有1650人浏览 2017-01-12 15:49

Flume-1.7.0文档翻译-中英文对照-概览

   Apache Flume是一个高可用的分布式系统.可以从多种不同的数据源高效的收集大量log数据至起中央数据仓库中.    Flume不仅仅可以用于收集log数据.由于数据源是可以自定义的,所以Flume可以用作传输大量复杂的事件数据,包括但不限于网络流量的采集,社交媒体数据的采集,电子邮件信息的采集,以及传输其他众多种类数据,正因为sources是自定义的,flume让这些成为了可 ...
flume大数据 
HarborChung 评论(0) 有870人浏览 2016-12-29 15:31

Flume应用场景及架构原理

Flume概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 flume 特点： 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，所有的数据以event为单位传输，从强到弱依次分别为：end-t ...
hadoopflume 
yo8237233 评论(0) 有1422人浏览 2016-12-10 18:53

解决flume向kafka发送 均分到各个partition中

官网中虽然说没有key 会随机分配到partition,但是不知道为什么在我这没有出现这种效果,所以我加了一个key,需要加个source拦截器 运行flume-ng agent --conf conf --conf-file test.sh --name a1 -Dflume.root.logger=INFO,console   # example.conf: A single-node ...
flumekafka均分partition 
indinna 评论(0) 有1769人浏览 2016-10-13 17:11

Flume-ng 1.6启动过程源码分析(二)

阅读Flume源码后发现，Flume有两个顶级的接口： 1. ConfigurationProvider接口，提供了getConfiguration()方法，用于获取不同组件的配置。 2. LifecycleAware接口，提供了三个方法，start() stop()和getLifecycleState()，分别用于组件的启动 停止以及组件在生命周期中处的状态，可以说这个接口贯穿于整个Flume中 ...
javaflume日志采集 
zhao_rock 评论(0) 有1524人浏览 2016-09-04 11:25

flume使用hdfs sink时需要注意的几点

最近接触了flume，这个日志收集器在扩展性方面确实很便捷，相信这与其架构的设计有密切的关系。书归正传，这次用到了hdfs sink在使用时还是有几点需要注意的，在此和大家分享一下。   第一部分windows下搭建单机的hdfs 如果你和我一样没有linux的测试环境，想在windows搭建hdfs，可以参考下面的链接，笔者就是参照这篇文章进行部署的 http://blog.csdn.n ...
flumehdfs sink 
zhao_rock 评论(0) 有3356人浏览 2016-08-20 21:14

flume-ng hdfs配置文件

collection73Agent.sources=source73 collection73Agent.sinks=sink73-1 sink73-2 collection73Agent.channels=channel73 #configuration source collection73Agent.sources.source73.type=avro collectio ...
flume 
houston123 评论(0) 有592人浏览 2016-08-17 14:02

exec方式flume-ng配置

producer.sources = r1 producer.sinks = k1 k2 producer.channels = c1 c2 # Describe/configure the source producer.sources.r1.type = exec producer.sources.r1.command =tail -F /home/tom/job/test/d ...
flume 
houston123 评论(0) 有691人浏览 2016-08-17 14:02

flume-ng syslogtcp整合配置文件

#configuration 'flume78Agent' flume78Agent.sources=source78 flume78Agent.sinks=sink78-1 sink78-2 flume78Agent.channels=channel78 #configuration sinks group flume78Agent.sinksgroups=group78 ...
flume 
houston123 评论(0) 有1131人浏览 2016-08-16 11:53

Leek——韭菜的自我救赎

Leek——韭菜的自我救赎 Leek是一款基于分布式的简易版智能实时选股系统，计算能力超强，代码量极少。 相关项目：项目地址：Leek——简易版实时智能选股平台 目前实现了3种简单的策略（欢迎大家pull request更多策略）： 策略1：大单卖，选出股票的卖5档总手数大于买5档口总手数100倍时的股票；策略2：大单买，选出股票的买5档总手数大于卖5档口总手数100倍时的股票；策 ...
StormEsperKafkaFlume大数据 
wosyingjun 评论(0) 有3094人浏览 2016-08-15 09:01

基于flume-ng抓取mysql数据到kafka

flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/   在apache flume的官网上没有找到sql数据源数据抓取的source， 可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现，已可以适配所有的关系型数据库 ...
flume日志采集 
zhao_rock 评论(1) 有13176人浏览 2016-08-14 19:17

Flume（日志收集系统）的部署与测试

Flume的部署与测试 Flume是一个分布式、高可靠、高可用的日志收集系统。能够有效的收集、聚合、移动大量的日志。把各种类型的数据源采集汇总到 ...
flume日志收集大数据 
wosyingjun 评论(0) 有5185人浏览 2016-08-05 15:09

flume系统使用以及与storm的初步整合

  Flume NG的简单使用可以参考介绍文档：http://blog.csdn.net/pelick/article/details/18193527，图片也来源此blog：       下载完flume后，就可以在 https://flume.apache.org/FlumeUserGuide.html 中根据教程来启动agent console   ...
flumestormflume-storm-connector 
brandNewUser 评论(0) 有4329人浏览 2016-06-27 18:48

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics