`

Flume 部署注意一

 
阅读更多

 

Flume 安装
 
1. jdk1.6以上。可修改环境变量.bash_profile
2.需要/tmp目录的读取写入权限。master pid,,node pid生成在此目录
3.安装zookeeper. 注意在datadir目录生成myid数字标识。
4.一般用scp同步数据,需要ssh生成无密码授权文件。
5.winscp上传数据到服务器
6.修改flume-dameon.sh, 日志目录修改
7.修改flume-site.xml 配置数据保存方式,master 序列号,master 等
8.修改conf/log4j日志生成方式。
9. 目录经常需要用root用户修改成flume用户chown flume.flume -R *


5台机器,任意3台做master,任意三个做collector,5个机器还兼作agent,每10分钟入库6G数据,鸭梨山大。




分享到:
评论

相关推荐

    apache-flume-1.8.0

    在部署Flume时,有几点需要注意: 1. **配置**: 配置文件定义了数据流动的逻辑,包括数据源的类型、数据通道的类型以及数据目的地。 2. **数据源**: 数据源(如 syslog、kafka 或 JMS)负责从日志生成事件,将其推送...

    Flume集群环境搭建,flume监控

    1. **Flume发展历史:** Flume最初由Cloudera开发,存在一些局限性,通过Flume-728项目进行了重构,重构后的版本称为Flume NG,并将项目纳入Apache基金会管理,改名为Apache Flume。 2. **核心组件功能:** 深入理解...

    Flume集群搭建

    Flume是一款高可靠、高性能的日志采集、聚合和传输的系统,支持在日志系统中定制各类数据发送方(source)、接收方(sink)和数据通道(channel)。Flume的设计理念是支持分布式、可靠和高可用的数据流收集和处理。 ...

    flume-ng-1.6.0 cdh5.7.0安装包

    在安装和配置Flume-ng-1.6.0-cdh5.7.0时,用户需要注意以下几点: 1. 确保系统环境满足CDH 5.7.0的硬件和软件要求。 2. 安装Java开发环境,因为Flume依赖Java运行。 3. 解压压缩包`apache-flume-1.6.0-cdh5.7.0-bin`...

    Flume配置双HA hdfsSink.docx

    Apache Flume 是一款高可靠、高性能的服务,用于收集、聚合和移动大量日志数据。它具有简单的可扩展架构,易于定制和部署。然而,在某些情况下,用户可能需要将数据同时发送到两个不同的HA(High Availability)...

    apache-flume-1.7.0-bin.zip

    1. **源头(Sources)**:源头是Flume的数据输入端,负责从各种数据源获取数据。在1.7.0版本中,Flume提供了多种类型的源头,如简单的TCP或HTTP服务器、Avro客户端、JMS消费者、Twitter Streaming API等,它们可以...

    apache-flume-1.9.0-bin.tar,kafka_2.11-0.10.1.0,zookeeper-3.3.6_.tar

    标题中的三个文件“apache-flume-1.9.0-bin.tar”,“kafka_2.11-0.10.1.0”,以及“zookeeper...在部署过程中,需要注意版本兼容性,例如,确保所使用的Kafka版本与ZooKeeper版本之间是兼容的,以保证系统的正常运行。

    大数据框架的部署

    本文详细介绍了Zookeeper、Kafka、Storm、Flume及Spark的部署步骤与注意事项。通过以上步骤,可以搭建起一个完整的大数据处理平台,支持数据的采集、处理、存储和分析等功能。需要注意的是,在实际部署过程中,还需...

    flume+kafka搭建.docx

    Flume 的安装配置也是关键步骤之一,特别是为了与 Kafka 进行集成,选择合适的版本至关重要。 1. **下载安装 Flume**: - 建议下载 Flume 最新的 1.6.0 版本,因为此版本已内置了与 Kafka 集成的插件包。 - 下载...

    es522_flume17_bak0827_succ_modify.zip

    Flume的设计原则是简单、可扩展和容错性好,使得在大规模环境中部署和管理数据流变得轻松。 Elasticsearch 5.2.2则是Elasticsearch的一个中期稳定版本,它在性能、功能和易用性上都有显著提升。Elasticsearch以其实...

    CHD3安装部署手册

    《CHD3安装部署手册》是一份详细的指南,旨在帮助用户成功部署Hadoop的CDH3版本。CDH,即Cloudera Distribution Including Apache Hadoop,是Cloudera公司提供的一个开源Hadoop发行版,包含了多种大数据处理和分析...

    13.T01模块部署流程手册1

    《13.T01模块部署流程手册1》是关于Titan数据运营系统部署的详细指南,主要涵盖了一系列关键组件的配置和设置,适用于IT专业人士在构建和维护大规模数据处理平台时参考。以下是手册中的核心知识点: 1. **部署环境*...

    BigData大数据涉及到的各个框架的安装部署和实验

    在部署这些框架时,需要注意集群中的网络配置。例如,如果Namenode和ResourceManager不在同一台机器上,ResourceManager所在节点需独立启动YARN。SSH连接的配置也很重要,避免出现乱码问题,可以设置环境变量如`LANG...

    MySql准实时同步数据到HDFS(单机版).docx

    注意,由于涉及多个组件的部署和配置,每个环节都需要仔细检查和调试,确保数据的完整性和一致性。此外,此方案适用于测试或小型环境,对于大规模生产环境,可能需要考虑多节点集群的部署和更复杂的数据同步策略。

    相关软件安装文档.docx

    在部署时,需注意组件之间的依赖关系,例如Hadoop需要Zookeeper,Hive需要Hadoop和MySQL,Spark需要Hadoop和JDK等。同时,为了实现高可用性和容错性,通常会设置多个节点,进行集群部署。 在完成所有软件安装后,...

    spark_docker:用于本地部署和测试的Spark Docker容器

    更新:感谢pedro-glongaron,该项目现在有1个主节点,2个工人,1个边缘节点(带有Flume,Sqoop和Kafka !!),1个Hue服务节点,1个Zeppelin服务节点和1个Nifi节点。 注意:请确认Dockerfile中的下载链接仍处于活动...

    (零基础化学专业某知名大学毕业45万年薪)项目怎么说.docx

    1. **Flume**: Flume被用于日志数据的采集,它在12台物理机上部署了4个节点,选择了1.7版本,利用tailDir Source进行实时监控并收集日志,支持断点续传和多目录读取。Memory Channel提供了高效的数据传输,而Kafka ...

Global site tag (gtag.js) - Google Analytics