安装Flume
1,到官网下载Flume,下载地址:http://flume.apache.org/download.html
2 ,[root@bicloud77 home]# tar zxvf apache-flume-1.5.2-bin.tar.gz
3, [root@bicloud77 home]#cd apache-flume-1.5.2-bin
4,[root@bicloud76 apache-flume-1.5.2-bin]# bin/flume-ng version
Flume 1.5.2
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 229442aa6835ee0faa17e3034bcab42754c460f5
Compiled by hshreedharan on Wed Nov 12 12:51:22 PST 2014
From source with checksum 837f81bd1e304a65fcaf8e5f692b3f18
5,安装成功
6,启动命令:bin/flume-ng agent -c conf -f conf/flume-conf -n a1 -Dflume.root.logger=DEBUG,console
Flume启动参数
[root@bicloud77 bin]# ./flume-ng
Error: Unknown or unspecified command ''
Usage: ./flume-ng <command> [options]...
commands:
help display this help text
agent run a Flume agent
avro-client run an avro Flume client
version show Flume version info
global options:
--conf,-c <conf> use configs in <conf> directory
--classpath,-C <cp> append to the classpath
--dryrun,-d do not actually start Flume, just print the command
--plugins-path <dirs> colon-separated list of plugins.d directories. See the
plugins.d section in the user guide for more details.
Default: $FLUME_HOME/plugins.d
-Dproperty=value sets a Java system property value
-Xproperty=value sets a Java -X option
agent options:
--conf-file,-f <file> specify a config file (required)
--name,-n <name> the name of this agent (required)
--help,-h display help text
avro-client options:
--rpcProps,-P <file> RPC client properties file with server connection params
--host,-H <host> hostname to which events will be sent
--port,-p <port> port of the avro source
--dirname <dir> directory to stream to avro source
--filename,-F <file> text file to stream to avro source (default: std input)
--headerFile,-R <file> File containing event headers as key/value pairs on each new line
--help,-h display help text
Either --rpcProps or both --host and --port must be specified.
Note that if <conf> directory is specified, then it is always included first
in the classpath.
命令
参数
|
描述
|
help
|
打印帮助信息
|
agent
|
运行一个Flume Agent
|
avro-client
|
运行一个Avro Flume 客户端
|
version
|
显示Flume版本。
|
全局选项
参数
|
描述
|
--conf,-c <conf>
|
在<conf>目录使用配置文件。指定配置文件放在什么目录
|
--classpath,-C <cp>
|
追加一个classpath
|
--dryrun,-d
|
不真正运行Agent,而只是打印命令一些信息。
|
--plugins-path <dirs>
|
插件目录列表。默认:$FLUME_HOME/plugins.d
|
-Dproperty=value |
设置一个JAVA系统属性值。 |
-Xproperty=value |
设置一个JAVA -X的选项。 |
Agent选项
参数
|
描述
|
--conf-file,-f <file>
|
指定配置文件,这个配置文件必须在全局选项的--conf参数定义的目录下。(必填)
|
--name,-n <name>
|
Agent的名称(必填)
|
--help,-h
|
帮助
|
Avro客户端选项
参数
|
描述
|
--rpcProps,-P <file>
|
连接参数的配置文件。
|
--host,-H <host>
|
Event所要发送到的Hostname。
|
--port,-p <port>
|
Avro Source的端口。
|
--dirname <dir>
|
Avro Source流到达的目录。
|
--filename,-F <file> |
Avro Source流到达的文件名。 |
--headerFile,-R <file> |
设置一个JAVA -X的选项。 |
启动Avro客户端要么指定--rpcProps,要么指定--host和--port。
分享到:
相关推荐
通过上述步骤,我们成功实现了Flume与Kafka的集成,具体包括了ZooKeeper的安装与启动、Kafka服务的配置与启动、Flume Agent的配置与启动、数据的生成与发送以及数据的消费等环节。这种集成方式不仅能够实现大规模的...
2. **Flume-ng命令行工具**:在解压的目录中,你可以找到 `bin/flume-ng` 命令,这是一个用于启动、停止、查看Flume Agent状态的命令行工具。例如,`flume-ng agent --conf conf --conf-file myconf.conf --name ...
#### 三、Flume安装步骤详解 ##### 1、下载Flume安装包 - **下载地址**: 访问[Apache Flume官网](http://flume.apache.org/download.html)获取最新版本的Flume安装包。 - **示例命令**: ```bash wget ...
### Flume+kafka+Storm整合知识点详解 #### 一、Flume、Kafka与Storm概述 在大数据领域,数据采集、传输与实时处理是至关重要的环节。本篇内容重点介绍了如何利用Flume、Kafka与Storm这三个开源工具实现一套完整的...
- **路径设置**:设置`JAVA_HOME`环境变量指向JDK的安装目录,这是Flume启动所必需的。 #### 知识点四:Flume的安装步骤 1. **解压Flume包**:使用命令`tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/`...
启动命令位于 Flume 安装目录的 `bin` 子目录下,使用 `flume-ng agent` 命令,指定配置文件启动服务。 为了验证 Flume 集群的工作,可以在 hadoop12 的 `logs` 目录下创建一个测试文件,然后观察 hadoop13 上 `...
《Flume与Kafka安装详解及简单应用测试》 Flume和Kafka是大数据处理领域中的两个重要组件,主要用于数据采集和数据流转。本文将详细介绍这两个工具在Ubuntu Kylin 16.04上的安装步骤,并提供简单的测试案例,帮助...
### Flume安装过程详解及其配置步骤 #### 一、Flume简介 Apache Flume是一款高可靠、高性能的服务,用于收集、聚合和移动大量日志数据。Flume支持简单灵活的配置,可以很好地满足多种场景下的数据采集需求。Flume...
### Flume的安装与使用详解 #### 一、Flume简介 Apache Flume 是一个分布式的、可靠的、高可用的服务,用于有效地收集、聚合和移动大量日志数据。Flume 支持简单灵活的配置,这使得它可以适用于各种场景中的数据...
### Flume 安装与配置详解 #### 一、Flume 概述 Apache Flume 是一款高可靠、高性能的日志采集系统,支持在日志系统中定制各类数据发送方轻松地发布数据,并且能够同时支持多个消费者消费数据。Flume 提供了一个...
- **启动命令**: ```shell ../bin/flume-ng agent --name a1 --conf /home/hadoop/flume/conf/ --conf-file conf/test.conf ``` - **验证连接**: 在agent端开启新的终端,使用telnet工具连接本地的44444端口...
4. **验证安装**:通过执行`flume-ng version`命令验证Flume是否正确安装。 #### 九、基本组件测试 - **Avro Source**:用于通过Avro协议接收数据。 - **Exec Source**:执行外部命令并将结果作为数据源。 - **...
启动Flume客户端,使用如下命令: ``` bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf ``` 注意,在使用Spooling Directory Source时,应避免在监控目录中直接创建并持续修改文件...
### Flume + Kafka环境搭建详解 #### 一、概述 Flume 和 Kafka 是大数据领域非常重要的两个组件。Flume 主要用于收集、聚合和移动大量日志数据,它具有高可靠性和可扩展性。Kafka 则是一个分布式流处理平台,能够...
4. 启动Flume:配置文件准备好后,可以通过Flume提供的命令行工具来启动服务。例如使用以下命令: ```bash ./flume-ng agent --conf /path/to/flume/conf --conf-file /path/to/flume-sql.conf --name a1 -Dflume...
此命令可在$FLUME_HOME/bin/目录下找到,若通过RPM或DEB包安装,则flume已存在于path路径中。 #### 命令语法格式 Flume命令的语法格式为`flume dump[outputformat]`,其中默认输出格式为text。然而,在某些Flume的...
安装Flume通常包括下载Flume的二进制包,解压缩后配置环境变量,修改`flume.conf`文件以适应具体的需求,最后启动Flume服务。 6. **扩展与定制** Flume具有良好的扩展性,允许开发者根据特定场景创建自定义Source...
- 在A机器和B机器上执行命令 `flume-ng agent --name a1 -c conf -f flume-conf.properties` 来启动Flume。 - 在C机器上同样执行命令 `flume-ng agent --name a1 -c conf -f flume-conf.properties` 启动Flume。 ...
### Flume 0.9.4 架构分析及特点详解 #### 一、Flume 简介 Flume 是一种分布式、可靠且可扩展的服务,主要用于有效地收集、聚合和移动大量数据,特别是日志数据。Flume 的设计目标是在大数据环境中提供稳定的数据...