agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
# Describe/configure source1
agent1.sources.source1.type = avro
agent1.sources.source1.bind = AY1307200004001547efZ
agent1.sources.source1.port = 44444
# Describe sink1
agent1.sinks.sink1.type = hdfs
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapactiy = 100
agent1.sinks.sink1.hdfs.path =/user/root/log4j001/
agent1.sinks.sink1.hdfs.filePrefix = events-
agent1.sinks.sink1.hdfs.round = true
agent1.sinks.sink1.hdfs.roundValue = 10
agent1.sinks.sink1.hdfs.roundUnit = minute
# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
xinghaifeng2006
- 浏览: 177290 次
- 性别:
- 来自: 北京
-
最新评论
-
buildhappy：
知道如何解决了吗？
Hbase异常 正在找解决办法 ~~ -
xs.cctv：
相当不错的资料
MyEclipse设置注释格式(转载) -
di1984HIT：
写的很好啊。
HBase行健设计策略（三）（未完成） -
zhaoshijie：
jar 包呢
Storm 本地运行 统计字母出现次数 -
bgkpbgkp：
感谢分享
hibernate.current_session_context_class属性配置(转载)
相关推荐
在配置 Flume 以将数据写入 HDFS 时，我们需要在 Flume 的配置文件（通常是 `flume.conf`）中指定 HDFS Sink。例如： ```properties a.sources = r1 a.sinks = k1 a.channels = c1 a.sources.r1.type = exec a....
3. **Client**：客户端负责在数据源处操作Event，将其发送到Flume Agent。 4. **Agent**：是Flume的核心组件，包含Source、Channel和Sink。每个Agent作为一个独立的进程运行。 5. **Source**：Source是数据的入口，...
4. **配置文件抽取**：在大型Hadoop集群中，管理和维护配置文件是一项重要任务。抽取配置文件意味着将通用配置从集群中的每个节点提取出来，集中管理，以确保一致性。这通常通过脚本或自动化工具完成，如Ambari或...
Flume不采集Nginx日志，通过Logger4j采集日志，优缺点是什么？ 使用Logger4j采集日志可以直接在应用程序中集成，便于开发和调试。但是相比于Flume，Logger4j不具备大规模分布式日志收集的能力，可能在性能和稳定性上...
- **Storm配置文件配置项讲解**：解释Storm配置文件中的各项配置参数及其作用。 - **集群搭建常见问题解决**：总结集群搭建过程中可能遇到的问题及其解决方案。 - **Storm常用组件和编程API**：介绍Topology、Spout...
- 修改配置文件后，希望这些更改能够迅速同步到各个节点上。 - 这一功能可以由 Zookeeper 实现。可以将配置信息写入 Zookeeper 的一个 znode 中，并让各个节点监听这个 znode。一旦该 znode 中的数据发生变化，...
- **Flume**：用于收集、聚合和传输大规模日志数据。它具有容错性和可扩展性，能可靠地从各种源收集数据并将其移动到目的地。 - **Hbase**：基于HDFS的分布式列式数据库，适合实时读写操作。它支持随机读取，适用...
- **数据采集**：使用Flume等工具从客户端收集用户行为日志数据，并将其发送到Kafka消息队列。 - **数据清洗与转换**：利用Spark对Kafka中的原始数据进行清洗、转换和预处理，去除无效或错误的数据记录，确保数据...
- 编写安装属性文件`clusterproperties.txt`，内容包括日志目录、数据目录等关键配置项。 - 示例内容如下： ``` # Log directory HDP_LOG_DIR=c:\hadoop\logs # Data directory HDP_DATA_DIR=c:\hdpdata # ...