`
qianshangding
  • 浏览: 129476 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Flume - 安装及启动命令详解

 
阅读更多

安装Flume

1,到官网下载Flume,下载地址:http://flume.apache.org/download.html

2 ,[root@bicloud77 home]# tar zxvf apache-flume-1.5.2-bin.tar.gz

3, [root@bicloud77 home]#cd apache-flume-1.5.2-bin

4,[root@bicloud76 apache-flume-1.5.2-bin]# bin/flume-ng version
Flume 1.5.2
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 229442aa6835ee0faa17e3034bcab42754c460f5
Compiled by hshreedharan on Wed Nov 12 12:51:22 PST 2014
From source with checksum 837f81bd1e304a65fcaf8e5f692b3f18
5,安装成功

6,启动命令:bin/flume-ng agent -c conf -f conf/flume-conf -n a1 -Dflume.root.logger=DEBUG,console

Flume启动参数

[root@bicloud77 bin]# ./flume-ng 
Error: Unknown or unspecified command ''

Usage: ./flume-ng <command> [options]...

commands:
  help                  display this help text
  agent                 run a Flume agent
  avro-client           run an avro Flume client
  version               show Flume version info

global options:
  --conf,-c <conf>      use configs in <conf> directory
  --classpath,-C <cp>   append to the classpath
  --dryrun,-d           do not actually start Flume, just print the command
  --plugins-path <dirs> colon-separated list of plugins.d directories. See the
                        plugins.d section in the user guide for more details.
                        Default: $FLUME_HOME/plugins.d
  -Dproperty=value      sets a Java system property value
  -Xproperty=value      sets a Java -X option

agent options:
  --conf-file,-f <file> specify a config file (required)
  --name,-n <name>      the name of this agent (required)
  --help,-h             display help text

avro-client options:
  --rpcProps,-P <file>   RPC client properties file with server connection params
  --host,-H <host>       hostname to which events will be sent
  --port,-p <port>       port of the avro source
  --dirname <dir>        directory to stream to avro source
  --filename,-F <file>   text file to stream to avro source (default: std input)
  --headerFile,-R <file> File containing event headers as key/value pairs on each new line
  --help,-h              display help text

  Either --rpcProps or both --host and --port must be specified.

Note that if <conf> directory is specified, then it is always included first
in the classpath.

命令

参数
描述
help
打印帮助信息
agent
运行一个Flume Agent
avro-client
运行一个Avro Flume 客户端
version
显示Flume版本。

全局选项

参数
描述
--conf,-c <conf>
在<conf>目录使用配置文件。指定配置文件放在什么目录
--classpath,-C <cp>
追加一个classpath
--dryrun,-d
不真正运行Agent,而只是打印命令一些信息。
--plugins-path <dirs>
插件目录列表。默认:$FLUME_HOME/plugins.d
-Dproperty=value 设置一个JAVA系统属性值。
-Xproperty=value 设置一个JAVA -X的选项。

Agent选项

参数
描述
--conf-file,-f <file>
指定配置文件,这个配置文件必须在全局选项的--conf参数定义的目录下。(必填)
--name,-n <name>
Agent的名称(必填)
--help,-h
帮助

Avro客户端选项

参数
描述
--rpcProps,-P <file>
连接参数的配置文件。
--host,-H <host>
Event所要发送到的Hostname。
--port,-p <port>
Avro Source的端口。
--dirname <dir>
Avro Source流到达的目录。
--filename,-F <file> Avro Source流到达的文件名。
--headerFile,-R <file> 设置一个JAVA -X的选项。

启动Avro客户端要么指定--rpcProps,要么指定--host和--port。


分享到:
评论

相关推荐

    flume-kafka流程

    通过上述步骤,我们成功实现了Flume与Kafka的集成,具体包括了ZooKeeper的安装与启动、Kafka服务的配置与启动、Flume Agent的配置与启动、数据的生成与发送以及数据的消费等环节。这种集成方式不仅能够实现大规模的...

    hadoop_apache-flume-1.7.0-bin可用.rar

    2. **Flume-ng命令行工具**:在解压的目录中,你可以找到 `bin/flume-ng` 命令,这是一个用于启动、停止、查看Flume Agent状态的命令行工具。例如,`flume-ng agent --conf conf --conf-file myconf.conf --name ...

    flume在虚拟机上安装,

    #### 三、Flume安装步骤详解 ##### 1、下载Flume安装包 - **下载地址**: 访问[Apache Flume官网](http://flume.apache.org/download.html)获取最新版本的Flume安装包。 - **示例命令**: ```bash wget ...

    Flume+kafka+Storm整合

    ### Flume+kafka+Storm整合知识点详解 #### 一、Flume、Kafka与Storm概述 在大数据领域,数据采集、传输与实时处理是至关重要的环节。本篇内容重点介绍了如何利用Flume、Kafka与Storm这三个开源工具实现一套完整的...

    Hadoop中Flume安装指南

    - **路径设置**:设置`JAVA_HOME`环境变量指向JDK的安装目录,这是Flume启动所必需的。 #### 知识点四:Flume的安装步骤 1. **解压Flume包**:使用命令`tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/`...

    Flume集群搭建1

    启动命令位于 Flume 安装目录的 `bin` 子目录下,使用 `flume-ng agent` 命令,指定配置文件启动服务。 为了验证 Flume 集群的工作,可以在 hadoop12 的 `logs` 目录下创建一个测试文件,然后观察 hadoop13 上 `...

    flume、Kafka的安装详细步骤与简单案例测试

    《Flume与Kafka安装详解及简单应用测试》 Flume和Kafka是大数据处理领域中的两个重要组件,主要用于数据采集和数据流转。本文将详细介绍这两个工具在Ubuntu Kylin 16.04上的安装步骤,并提供简单的测试案例,帮助...

    flume安装过程及其配图

    ### Flume安装过程详解及其配置步骤 #### 一、Flume简介 Apache Flume是一款高可靠、高性能的服务,用于收集、聚合和移动大量日志数据。Flume支持简单灵活的配置,可以很好地满足多种场景下的数据采集需求。Flume...

    安装Flume和使用

    ### Flume的安装与使用详解 #### 一、Flume简介 Apache Flume 是一个分布式的、可靠的、高可用的服务,用于有效地收集、聚合和移动大量日志数据。Flume 支持简单灵活的配置,这使得它可以适用于各种场景中的数据...

    flume 安装配置

    ### Flume 安装与配置详解 #### 一、Flume 概述 Apache Flume 是一款高可靠、高性能的日志采集系统,支持在日志系统中定制各类数据发送方轻松地发布数据,并且能够同时支持多个消费者消费数据。Flume 提供了一个...

    集群flume实战

    - **启动命令**: ```shell ../bin/flume-ng agent --name a1 --conf /home/hadoop/flume/conf/ --conf-file conf/test.conf ``` - **验证连接**: 在agent端开启新的终端,使用telnet工具连接本地的44444端口...

    Flume解析和应用

    4. **验证安装**:通过执行`flume-ng version`命令验证Flume是否正确安装。 #### 九、基本组件测试 - **Avro Source**:用于通过Avro协议接收数据。 - **Exec Source**:执行外部命令并将结果作为数据源。 - **...

    大数据采集技术-Flume监控目录.pptx

    启动Flume客户端,使用如下命令: ``` bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf ``` 注意,在使用Spooling Directory Source时,应避免在监控目录中直接创建并持续修改文件...

    flume+kafka搭建.docx

    ### Flume + Kafka环境搭建详解 #### 一、概述 Flume 和 Kafka 是大数据领域非常重要的两个组件。Flume 主要用于收集、聚合和移动大量日志数据,它具有高可靠性和可扩展性。Kafka 则是一个分布式流处理平台,能够...

    Flume监听oracle表增量的步骤详解

    4. 启动Flume:配置文件准备好后,可以通过Flume提供的命令行工具来启动服务。例如使用以下命令: ```bash ./flume-ng agent --conf /path/to/flume/conf --conf-file /path/to/flume-sql.conf --name a1 -Dflume...

    Flume config use

    此命令可在$FLUME_HOME/bin/目录下找到,若通过RPM或DEB包安装,则flume已存在于path路径中。 #### 命令语法格式 Flume命令的语法格式为`flume dump[outputformat]`,其中默认输出格式为text。然而,在某些Flume的...

    第10章 Flume组件安装配置.pptx

    安装Flume通常包括下载Flume的二进制包,解压缩后配置环境变量,修改`flume.conf`文件以适应具体的需求,最后启动Flume服务。 6. **扩展与定制** Flume具有良好的扩展性,允许开发者根据特定场景创建自定义Source...

    用Flume采集多台机器上的多种日志并存储于HDFS

    - 在A机器和B机器上执行命令 `flume-ng agent --name a1 -c conf -f flume-conf.properties` 来启动Flume。 - 在C机器上同样执行命令 `flume-ng agent --name a1 -c conf -f flume-conf.properties` 启动Flume。 ...

    flume structure

    ### Flume 0.9.4 架构分析及特点详解 #### 一、Flume 简介 Flume 是一种分布式、可靠且可扩展的服务,主要用于有效地收集、聚合和移动大量数据,特别是日志数据。Flume 的设计目标是在大数据环境中提供稳定的数据...

Global site tag (gtag.js) - Google Analytics