第一步:新建flume.conf配置文件内容如下:
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
# Describe/configure source1
agent1.sources.source1.type = avro
agent1.sources.source1.bind = AY1307200004001547efZ
agent1.sources.source1.port = 44446
# Describe sink1
agent1.sinks.sink1.type = logger
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapactiy = 100
# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
第二步:运行命令启动服务
flume-ng agent --conf-file example.conf --name agent1 -Dflume.root.logger=INFO,console
第三步:java程序src下添加log4j.properties文件 ,内容如下:
log4j.rootLogger=INFO,flume
log4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname=服务器IP地址
log4j.appender.flume.Port=44446
代码如下:
public static void main(String[] args) throws IOException {
Logger logger = Logger.getLogger(Log4jjjj.class);
logger.info("987654321");
logger.info("123456789");
}
在服务器控制台即可看到日志。
相关推荐
在"log4j输出日志到flume"的例子中,我们需要在Log4j配置文件中设置一个自定义的Appender(输出端),这个Appender将会把日志发送到Flume。一个基本的配置示例如下: ```properties # Log4j配置示例 log4j.root...
Flume-ng 在 Windows 环境搭建并测试 + Log4j 日志通过 Flume 输出到 HDFS Flume-ng 是一个高可用、可靠、分布式的日志聚合系统,可以实时地从各种数据源(如日志文件、网络 socket、数据库等)中收集数据,并将其...
- 配置log4j.properties:在应用中配置log4j,指定日志级别、格式,并创建一个自定义Appender,该Appender与Flume agent通信,将日志发送到Flume。 **步骤3:搭建Kafka** - 安装和启动Kafka:安装Kafka集群,并...
LogDemox是一个日志收集工具,它利用了Apache的开源组件Log4j来实现日志的生成,并将这些日志信息直接发送到Flume中进行处理和存储。这个过程涉及到了日志管理和大数据流处理两个关键领域。 首先,Log4j是Java应用...
Log4j日志集中处理的扩展通常会利用网络传输协议,如TCP或UDP,将日志信息发送到日志服务器。 Log4j的核心组件包括配置器、Appender(输出端)、Layout(格式化器)和Logger(日志记录器)。配置器定义了日志的行为...
接下来需要修改项目的Log4j配置文件`log4j.properties`,以便将日志数据发送到Flume。配置示例如下: ```properties log4j.rootLogger=INFO,flume log4j.appender.flume=org.apache.flume.clients.log4jappender....
apache-log4j-1.2.15.jar, apache-log4j-extras-1.0.jar, apache-log4j-extras-1.1.jar, apache-log4j.jar, log4j-1.2-api-2.0.2-javadoc.jar, log4j-1.2-api-2.0.2-sources.jar, log4j-1.2-api-2.0.2.jar, log4j-...
`stdout`是一个控制台输出appender,而`flume`则是Log4jAppender,它配置了Flume服务器的主机名`hadoop01`和端口`44444`,这样日志就会被发送到这个地址。 接着,描述提到了日志服务器的`LogServlet`,这通常是一个...
Flume 的 SpoolDirectorySource 会持续监视 Log4j 输出的日志文件,一旦有新的文件产生,就会读取并将其发送到配置的 HDFS 目录。这样,你可以轻松地管理和分析大量的日志数据,尤其是在分布式环境中,Flume 提供了...
Log4j直接发送数据到Flume + Kafka (方式一) 通过flume收集系统日记, 收集的方式通常采用以下. 系统logs直接发送给flume系统, 本文主要记录种方式进行说明. 文章链接,请看:...
收集到的数据可以通过Flume发送到各种数据接收方,例如console、text、dfs、RPC和syslogTCP。在这个架构中,Flume将日志传输至Kafka。Flume的版本为1.4.0,安装时需解压到指定目录,启动命令需指定配置文件,并确保...
Flume 是 Apache Hadoop 生态系统中的一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的工具。...对于 log4j 数据,Flume 可以实时监控日志文件并将其无缝地导入 HDFS,为后续的大数据分析提供基础。
让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...
7. **log4j-flume-ng**:Flume是Cloudera的数据收集工具,这个组件使Log4j能够与Flume协同工作,实现大规模日志数据的收集和传输。新版本可能提升了数据处理的吞吐量和可靠性。 8. **log4j-cassandra**:对于...
Appender则决定了这些日志事件将被发送到哪里,比如控制台、文件、数据库或其他输出源。Layout决定了日志事件的格式,如文本、XML或JSON。通过配置这三个核心组件,开发者可以实现定制化的日志策略。 在实际应用中...
Source 负责接收数据,Channel 作为临时存储,而 Sink 则负责将数据发送到目的地,如 HDFS 或其他日志存储系统。 在 Flume 中使用 Thrift Source,可以使得外部应用程序(如 Python)能够将数据推送到 Flume。...
Apache Flume, Distributed Log Collection for Hadoop,2015 第二版,Packt Publishing
Apache Log4j 2.0 发布第 4 个 Beta 版本,包括的新特性有: o Added Log4j 2 to SLF4J adapter. o LOG4J2-131: Add SMTPAppender. Thanks to Scott Severtson. o Added hostName and contextName to property ...
- `log4j-flume-ng-2.23.1.jar`:与Apache Flume集成的插件,用于将日志发送到Flume服务器。 - `log4j-iostreams-2.23.1.jar`:提供了对I/O流的支持,例如处理输入/输出流的日志。 5. **下载慢的解决策略**: - ...