`
knight_black_bob
  • 浏览: 850391 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

flume-kafka 实例 详细

阅读更多

 

flume 下载:http://download.csdn.net/download/knight_black_bob/9454497

 

spring-kafka 接受消息实例   http://knight-black-bob.iteye.com/blog/2344424

 

flume kafka 安装 详细 http://knight-black-bob.iteye.com/blog/2343192

flume 安装 

 

20.flume 安装

tar -xf flume-ng-1.6.0-cdh5.5.0.tar.gz
mv   apache-flume-1.6.0-cdh5.5.0-bin ../soft/flume-1.6.0
cd ../soft/
ln -s /home/baoy/soft/flume-1.6.0 /home/baoy/soft/flume
chown -R root:root /home/baoy/soft/flume-1.6.0 /home/baoy/soft/flume
cd /home/baoy/soft/flume
cd /home/baoy/soft/flume/config
cp  /home/baoy/soft/flume/config/flume-env.sh.template /home/baoy/soft/flume/config/flume-env.sh  
vim flume-env.sh
	export JAVA_HOME=/usr/java/jdk1.7.0_79
/home/baoy/soft/flume/bin/flume-ng version


cp /usr/local/kafka/libs/kafka_2.10-0.10.0.0.jar /home/baoy/soft/flume/lib/
cp /usr/local/kafka/libs/scala-library-2.10.6.jar /home/baoy/soft/flume/lib/ 
cp /usr/local/kafka/libs/metrics-core-2.2.0.jar /home/baoy/soft/flume/lib/



vim /home/baoy/soft/flume/config/exec_tail_kafka.conf

agent.sources = s1
agent.sinks = k1
agent.channels = c1

agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /home/project/flume/logs/flume.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100

#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=dev10.aoiplus.openpf:9092
#设置Kafka的Topic
agent.sinks.k1.topic=baoy-topic
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder

agent.sinks.k1.channel=c1
 
/home/baoy/soft/flume/bin/flume-ng agent -n agent -c conf -f /home/baoy/soft/flume/conf/exec_tail_kafka.conf -Dflume.root.logger=INFO,console
 

 



 
 

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。



 
 谢谢您的赞助,我会做的更好!

 

 

 

 

 

 

 

  • 大小: 204 KB
  • 大小: 69.8 KB
  • 大小: 5.6 KB
1
2
分享到:
评论

相关推荐

    apache-flume-1.9.0-bin.tar.gz

    描述中的 "编译好的flume1.9.0,下载安装即可使用" 提醒我们,该文件包含的 Flume 实例是已经准备好运行的,只需遵循安装步骤,就可以在你的系统上快速部署和启动 Flume 服务。 在标签中,"flume" 和 "flume1.9.0" ...

    flume-ng-1.6.0-cdh5.5.0.tar.gz

    在 CDH 5.5.0 中,Flume 可能已经集成了与其它 CDH 组件(如 HBase、Hive、Kafka 等)的集成,使得数据流处理更加灵活和高效。用户可以通过 Cloudera Manager 这样的管理工具来部署、配置和监控 Flume 实例,简化了...

    Apache-flume-1.7.0-bin.tar.gz

    3. **Sink(接收器)**:Sink 是 Flume 的出口,负责将 Channel 中的数据发送到目标位置,如 HDFS(Hadoop 分布式文件系统)、数据库、消息队列或其他 Flume 实例。Sink 可以配置为多种类型,以适应不同的数据消费...

    apache-flume-1.5.2-bin.zip

    配置文件会定义 Flume 实例的源、通道和接收器的类型以及它们之间的连接。例如,你可以设置一个从 syslog 源读取数据,通过内存通道传递,最后将数据写入 HDFS 的接收器。 在运行 Flume 之前,需要确保环境变量已...

    flume-1.9.0.tgz

    Flume 的配置是基于文本文件的,通常使用 YAML 格式,其中定义了 Agent(Flume 运行实例)的配置,包括 Sources、Channels 和 Sinks。配置文件可以包含多个 Agent 配置,每个 Agent 可以有多个执行线程。 Flume ...

    apache-flume-1.8.0-src.tar.gz

    4. **Sink**:数据流出Flume的出口,可以是另一个Flume Agent、HDFS、HBase、Kafka等。各种Sink支持将数据写入不同的存储系统或进一步处理。 5. **配置**:Flume通过配置文件定义Agent之间的连接和数据流动,支持...

    Flume+Kafka+HBase实例

    在这个“Flume+Kafka+HBase实例”中,我们将深入探讨如何在电信客服项目中整合这三个工具,以实现高效的数据处理和存储。 Flume是Apache的一款开源工具,专门用于高效、可靠地收集、聚合和移动大量日志数据。在电信...

    apache-flume-1.11 官网 安装部署包

    4. 监控与管理:Flume 提供了一个Web界面,可以用来监控和管理Flume实例。启动Web界面的方法是在Flume命令中添加 `--webui` 参数。 在部署Flume时,需要考虑以下几点: - 高可用性:通过设置多个Flume代理和复制...

    全国首份接地气流处理文档,kafka,flume,整合

    ### 全国首份接地气流处理文档:Kafka与Flume整合详解 #### 一、Flume的安装与配置 Flume是一款高可用的、高可靠的、分布式的系统,主要用于收集、聚合和移动大量日志数据。Flume支持在日志系统中定制各类数据发送...

    基于Spark+Flume+Kafka+Hbase的实时日志分析系统.zip

    综上所述,"基于Spark+Flume+Kafka+Hbase的实时日志分析系统"是一个完整的解决方案,它融合了现代大数据处理的各个环节,是理解大数据实时分析和系统架构设计的重要实例。通过深入研究和实践,不仅可以提升对大数据...

    04、日志收集系统Flume-实时计算4-4:flume自定义开发.pptx

    NettyAvroRpcClient 和 ThriftRpcClient 都实现了 RpcClient 接口,用户需要知道目标 Flume Agent 的主机名和端口号来创建客户端实例。 为了提高容错性和可用性,Flume 还提供了 Failover Client。此客户端能够在与...

    基于Flume + Kafka + Spark的电商实时访问日志分析系统.zip

    同时,Kafka支持多个消费者订阅同一主题,使得多个Spark实例可以并行消费数据,提高处理效率。 **Spark**: Apache Spark是一个用于大规模数据处理的快速、通用和可扩展的开源框架。在电商实时访问日志分析中,Spark...

    SparkStreaming:Spark Streaming + Flume + Kafka + HBase + Hadoop + Zookeeper实现实时日志分析统计; SpringBoot + Echarts实现数据可视化展示

    生成的数据主要是模拟某学习网站学习视频课程的访问量(其中*以“ / class”开头的表示实战课程,然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集,HBase来存储数据)*注意事项(使用的软件工具及...

    Flume集群搭建1

    集群启动时,先在 hadoop13 上启动拉取数据的 Flume 实例,然后在 hadoop12 上启动推送数据的实例。启动命令位于 Flume 安装目录的 `bin` 子目录下,使用 `flume-ng agent` 命令,指定配置文件启动服务。 为了验证 ...

    安装Flume和使用

    ### Flume的安装与使用详解 ...以上是关于Flume的基本安装及两个实例应用的详细介绍。通过这两个示例,我们可以了解到如何使用Flume来收集、传输和处理不同来源的数据,这对于搭建日志数据收集系统非常有用。

    flume向mongodb写入环境搭建所需

    本篇文章将详细介绍如何配置 Flume 以将日志数据写入 MongoDB。 首先,我们来理解 Flume 的基本架构。Flume 由三个核心组件构成:Sources、Channels 和 Sinks。Sources 负责接收数据,Channels 作为临时存储,Sinks...

    16:Flume+HBase+Kafka集成开发.rar

    同时,多个Flume实例可以并发地将数据推送到同一个Kafka Topic,提供高并发的数据摄入能力。 然后,Kafka的消费者可以读取这些数据,并将其写入HBase。由于HBase的高性能读写能力,它可以快速地存储和检索这些数据...

    Flume解析和应用

    - **Kafka Source**:从Kafka消息队列中读取数据。 #### 十、案例演示 1. **配置文件**:使用Flume的配置文件来定义Source、Channel和Sink之间的关系。 2. **运行Agent**:通过命令行启动配置好的Agent实例。 ...

    实时日志分析

    - **Broker**:Kafka集群中的单个服务器实例。 ##### 3. Storm介绍 Apache Storm是一个免费开源的分布式实时计算系统,最初由BackType开发。它为实时数据流的处理提供了强大的支持。 - **特点**: - **实时处理**...

Global site tag (gtag.js) - Google Analytics