最新文章列表

Linux搭建Flume开发环境

1.Linux搭建Flume环境 2.官网下载Flume安装包:apache-flume-1.8.0-bin.tar.gz,   利用xftp5工具上传到:/usr/local/flume   3.利用xshell5工具登录到服务器解压flume,输入:cd /usr/local/flume [root@marklin ~]# cd /usr/local/flume ...
马智霖 评论(0) 有1082人浏览 2018-04-29 20:53

数据接入ElasticSearch方式培训PPT

写道 数据接入ElasticSearch几种方式总结,涉及技术hive、flume、logstash、elasticsearch、kafka   
yangyangmyself 评论(0) 有1929人浏览 2018-01-28 11:53

大数据(三)-----flume安装应用

1.安装规划   见大数据(一)-----HADOOP安装 2.安装flume 将flume安装在目录/home/hadoop/apache-flume-1.7.0-bin下,并配置环境变量 export FLUME_HOME=/home/hadoop/apache-flume-1.7.0-bin  配置conf目录下flume-hdfs.conf文件,包括agent,sink, ...
renhanxiang 评论(0) 有905人浏览 2017-08-05 12:02

kafka + flume + hdfs + zookeeper + spark 测试环境搭建

最近由于项目需要, 搭建了一个类似线上环境的处理流数据的环境 用的是CDH 版本5.9.x hdfs组成: 2 namenode HA, 6 datanode kafka: 3 台kafka server zookeeper: 3台 flume: 1台 spark: 6台 每台32G内存 数据流程是有远端终端向我们数据处理服务器(Gengo)发送, 再由Gengo向kafka还有flume发送 ...
humingminghz 评论(0) 有1113人浏览 2017-07-20 11:28

flume

一、 flume是分布式的,可靠的,用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 二、 安装 tar -zxvf flume.tar.gz 三、source 1.测试 cd ./conf vim template11.conf #命名Agent a1的组件 a1.sources  =  r1 a1.sinks  =  k1 ...
mingyun 评论(0) 有493人浏览 2017-06-21 22:31

flume配置及问题处理

一、flume配置 一台机器做负载均衡,二台服务器做存储hdfs ============================================ hadoop01   ============================================ #声明Agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c ...
fengy20043 评论(0) 有1230人浏览 2017-05-11 00:42

Apache Flume日志收集系统简介

Apache Flume是一个分布式、可靠、可用的系统,用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。   Flume简介 Flume的核心是Agent,Agent中包含Source、Channel、Sink。Agent是最小的独立运行单位。在Agent中,数据流向为Source->Channel->Sink。 其中, Source:收集数据 ...
backend-develop 评论(0) 有1120人浏览 2017-03-16 18:18

flume-kafka 实例 详细

  flume 下载:http://download.csdn.net/download/knight_black_bob/9454497   spring-kafka 接受消息实例   http://knight-black-bob.iteye.com/blog/2344424   flume kafka 安装 详细 http://knight-black-bob.iteye.com ...
knight_black_bob 评论(0) 有1676人浏览 2017-01-12 15:49

Flume-1.7.0文档翻译-中英文对照-概览

   Apache Flume是一个高可用的分布式系统.可以从多种不同的数据源高效的收集大量log数据至起中央数据仓库中.    Flume不仅仅可以用于收集log数据.由于数据源是可以自定义的,所以Flume可以用作传输大量复杂的事件数据,包括但不限于网络流量的采集,社交媒体数据的采集,电子邮件信息的采集,以及传输其他众多种类数据,正因为sources是自定义的,flume让这些成为了可 ...
HarborChung 评论(0) 有875人浏览 2016-12-29 15:31

Flume应用场景及架构原理

Flume概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 flume 特点: 1、可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,所有的数据以event为单位传输,从强到弱依次分别为:end-t ...
yo8237233 评论(0) 有1430人浏览 2016-12-10 18:53

解决flume向kafka发送 均分到各个partition中

官网中虽然说没有key 会随机分配到partition,但是不知道为什么在我这没有出现这种效果,所以我加了一个key,需要加个source拦截器 运行flume-ng agent --conf conf --conf-file test.sh --name a1 -Dflume.root.logger=INFO,console   # example.conf: A single-node ...
indinna 评论(0) 有1776人浏览 2016-10-13 17:11

Flume-ng 1.6启动过程源码分析(二)

阅读Flume源码后发现,Flume有两个顶级的接口: 1. ConfigurationProvider接口,提供了getConfiguration()方法,用于获取不同组件的配置。 2. LifecycleAware接口,提供了三个方法,start() stop()和getLifecycleState(),分别用于组件的启动 停止以及组件在生命周期中处的状态,可以说这个接口贯穿于整个Flume中 ...
zhao_rock 评论(0) 有1535人浏览 2016-09-04 11:25

flume使用hdfs sink时需要注意的几点

最近接触了flume,这个日志收集器在扩展性方面确实很便捷,相信这与其架构的设计有密切的关系。书归正传,这次用到了hdfs sink在使用时还是有几点需要注意的,在此和大家分享一下。   第一部分windows下搭建单机的hdfs 如果你和我一样没有linux的测试环境,想在windows搭建hdfs,可以参考下面的链接,笔者就是参照这篇文章进行部署的 http://blog.csdn.n ...
zhao_rock 评论(0) 有3371人浏览 2016-08-20 21:14

flume-ng hdfs配置文件

collection73Agent.sources=source73 collection73Agent.sinks=sink73-1 sink73-2 collection73Agent.channels=channel73 #configuration source collection73Agent.sources.source73.type=avro collectio ...
houston123 评论(0) 有596人浏览 2016-08-17 14:02

exec方式flume-ng配置

producer.sources = r1 producer.sinks = k1 k2 producer.channels = c1 c2 # Describe/configure the source producer.sources.r1.type = exec producer.sources.r1.command =tail -F /home/tom/job/test/d ...
houston123 评论(0) 有694人浏览 2016-08-17 14:02

flume-ng syslogtcp整合配置文件

#configuration 'flume78Agent' flume78Agent.sources=source78 flume78Agent.sinks=sink78-1 sink78-2 flume78Agent.channels=channel78 #configuration sinks group flume78Agent.sinksgroups=group78 ...
houston123 评论(0) 有1133人浏览 2016-08-16 11:53

Leek——韭菜的自我救赎

Leek——韭菜的自我救赎 Leek是一款基于分布式的简易版智能实时选股系统,计算能力超强,代码量极少。 相关项目:项目地址:Leek——简易版实时智能选股平台 目前实现了3种简单的策略(欢迎大家pull request更多策略): 策略1:大单卖,选出股票的卖5档总手数大于买5档口总手数100倍时的股票;策略2:大单买,选出股票的买5档总手数大于卖5档口总手数100倍时的股票;策 ...
wosyingjun 评论(0) 有3133人浏览 2016-08-15 09:01

基于flume-ng抓取mysql数据到kafka

flume是一个日志收集器,更多详细的介绍可以参照官网:http://flume.apache.org/   在apache flume的官网上没有找到sql数据源数据抓取的source, 可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现,已可以适配所有的关系型数据库 ...
zhao_rock 评论(1) 有13184人浏览 2016-08-14 19:17

Flume(日志收集系统)的部署与测试

Flume的部署与测试 Flume是一个分布式、高可靠、高可用的日志收集系统。能够有效的收集、聚合、移动大量的日志。把各种类型的数据源采集汇总到 ...
wosyingjun 评论(0) 有5229人浏览 2016-08-05 15:09

flume系统使用以及与storm的初步整合

  Flume NG的简单使用可以参考介绍文档:http://blog.csdn.net/pelick/article/details/18193527,图片也来源此blog:       下载完flume后,就可以在 https://flume.apache.org/FlumeUserGuide.html 中根据教程来启动agent console   ...
brandNewUser 评论(0) 有4336人浏览 2016-06-27 18:48

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics