解压
tar -zxvf apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-src.tar.gz
copy src中的内容到bin中
cp -ri apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/
在conf创建example文件
#agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=spooldir agent1.sources.source1.spoolDir=/root/hmbbs agent1.sources.source1.channels=channel1 agent1.sources.source1.fileHeader = false agent1.sources.source1.interceptors = i1 agent1.sources.source1.interceptors.i1.type = timestamp #配置sink1 agent1.sinks.sink1.type=hdfs agent1.sinks.sink1.hdfs.path=hdfs://centos:9000/hmbbs agent1.sinks.sink1.hdfs.fileType=DataStream agent1.sinks.sink1.hdfs.writeFormat=TEXT agent1.sinks.sink1.hdfs.rollInterval=1 agent1.sinks.sink1.channel=channel1 agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d #配置channel1 agent1.channels.channel1.type=file agent1.channels.channel1.checkpointDir=/root/hmbbs_tmp/123 agent1.channels.channel1.dataDirs=/root/hmbbs_tmp/
启动
bin/flume-ng agent -n agent1 -c conf -f conf/example -Dflume.root.logger=DEBUG,console
在hmbbs目录创建一个文件,flume会把它自动上传到hdfs上
相关推荐
尚硅谷大数据技术之...1.4 Flume Agent内部原理 Flume Agent 的内部原理主要是通过事件驱动的方式来实现数据的采集、传输和存储。 2.1 Flume 安装 Flume 的安装可以通过官网下载和安装,或者通过包管理器来安装。
#### 1.4 主要作用 Flume主要用于实时地读取服务器本地磁盘上的数据,并将其写入到Hadoop的分布式文件系统(HDFS)中,为后续的数据处理和分析提供准备。 ### 二、Flume事件概念与原理 #### 2.1 Flume架构组件 ...
对于版本1.4.x的用户,本手册提供安装和配置的指南,其中也会包括Flume架构和设计概念的介绍。手册还介绍了在生产环境中高效使用Flume所需的最佳实践。 Flume代理由三个主要组件构成: - Source:这是事件进入代理...
这个插件是针对 Flume 的1.4版本设计的,意味着它可能包含了对 Flume 1.4 版本特性的优化和兼容性处理。同时,它支持 Kafka 0.8.0 Beta 版本,这意味着它能够在较早版本的 Kafka 集群上运行,为那些尚未升级到最新...
本文档适用于1.4.x版本线,强烈建议新老用户使用1.x版本以利用其性能改进和配置灵活性。 #### 二、系统需求 - **Java运行环境**:需要Java 1.7或更高版本。 - **内存**:足够的内存来支持由源(source)、通道...
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 ...本文档适用于1.4.x以上版本 新用户我们建议使用性能更好、配置更灵活的1.x版本
1.4 课题研究内容 本课题主要研究如何利用Flume搭建一个日志采集系统,结合Kafka进行数据缓冲,通过Storm进行实时处理,最后将结果存储到Elasticsearch进行查询和分析。同时,对各个组件的功能需求、系统架构设计和...
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
对于0.9.x版本系列的文档可以在Flume 0.9.x 用户指南中找到,而这份文档是适用于1.4.x系列的。 在系统要求方面,用户需要确保有Java运行环境,推荐使用Java 1.7版本或更高。Flume对于使用源、通道或接收器配置所需...
当前存在两个版本:Sqoop1(1.4.x)和Sqoop2(1.99.x),两者并不兼容。Sqoop2引入了Sqoop Server进行集中管理,并支持多种访问方式如CLI、Web UI、REST API,还增加了基于角色的安全机制。 接着,我们讨论Flume,...
水槽带有水槽的数据管道集中式日志事件管理解决方案。 从Java / nonJava平台归档日志。 以及对日志数据的无障碍搜索和分析。 将使用以下组件进行日志记录Flume(1.4) Rsyslog Log4J Syslog Appender
在构建Spark 1.4.1/1.4.0之前,确保Linux系统上已经安装了以下工具: - **JDK**:确保版本为1.7或1.8。 - **Scala**:确保版本与Spark版本兼容(对于1.4.x,推荐使用Scala 2.10.x)。 - **Maven**:用于编译Scala...
1.4 Sqoop——数据导入导出工具 Sqoop 是一个用于在 Hadoop 和关系数据库之间传输数据的工具。它可以将数据从 RDBMS 导入到 HDFS,也可以将数据从 HDFS 导回 RDBMS。Sqoop 支持多种数据库,如 MySQL、Oracle、...
Apache Phoenix通过提供一个利用Apache HBase... 它包括与Hadoop生态系统中的Apache Spark,Pig,Flume,Map Reduce和其他产品的集成。 它可以作为JDBC驱动程序进行访问,并可以通过标准SQL查询,更新和管理HBase表。...
本章将介绍如何快速安装和配置Kafka环境,以及如何发送和接收消息的基本操作。 #### 第三章 Kafka架构深入 本章将进一步探讨Kafka的内部架构,包括Broker、ZooKeeper、Producers、Consumers等组件的工作原理。 ##...
- **V1.4**:引入调用链路跟踪,实现跨系统的全链路性能监控。 #### 架构图与关键组件 - **中间件告警系统**:对监控数据进行异常检测和告警,支持邮件、短信等多种通知方式。 - **云化监控平台**:考虑到企业私有...
"1.7 - Flume.pdf"介绍了Flume,这是一个用于收集、聚合和移动大规模日志数据的可靠系统,通常与Hadoop生态系统结合使用,用于大数据的实时流处理。 最后,"1.1 - What is big data.pdf"和"2.4 - Text Analytics ...
V1.4 实现调用链路跟踪 * 监控平台架构图:日志监控系统应用异常监控(method 调用异常)、应用性能监控、中间件监控(zk、es、kafka)、中间价系统资源监控、服务器监控、告警系统 三、日志监控方案 日志监控方案...