`

flume 集群安装

Hadoop 
阅读更多
./pssh -h ./host/all.txt -P mkdir /usr/local/app
./pssh -h ./host/all.txt -P tar zxf /usr/local/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/app
./pssh -h ./host/all.txt -P mv /usr/local/app/apache-flume-1.6.0-bin /usr/local/app/apache-flume-1.6.0
vi /etc/profile
增加flume环境变量配置
#set flume envrioment
export FLUME_HOME=/usr/local/app/apache-flume-1.6.0
export PATH=$FLUME_HOME/bin:$PATH

./pscp -h ./host/all.txt /etc/profile /etc
./pssh -h ./host/all.txt -P source /etc/profile

./pssh -h ./host/flume.txt -P ln -s /usr/local/app/apache-flume-1.6.0/ ~/flume

./pslurp -h ./host/flume-agent.txt -L /usr/local/app/realconfig/agent.conf ~/flume/conf/agent.conf realconfig

./pslurp -h ./host/flume-collector.txt -L /usr/local/app/realconfig/collector.conf ~/flume/conf/collector.conf realconfig

分享到：
| linux命令学习使用记录
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    集群flume详细安装步骤

    集群 Flume 详细安装步骤 在大数据时代，实时数据处理和处理成为一个关键问题。 Apache Flume 是一个基于 Java 的数据收集器，可以实时地将数据从各种来源收集到一个中心位置，例如 HDFS、HBase 等。今天，我们将...

    Flume集群搭建1

    在本场景中，我们将讨论如何在两台机器（hadoop12 和 Hadoop13）上搭建一个简单的 Flume 集群，以便进行数据推送和拉取。 首先，我们看到在 hadoop12 上下载了 Flume 的安装包，这是 Apache Flume 1.7.0 的版本。...

    Flume集群环境搭建，flume监控

    Flume是一个由Cloudera公司开发的分布式、可靠且可用的系统，用于有效地收集、...通过以上内容的深入学习和实践，可以掌握Flume集群环境搭建和监控的全方位技能，为处理大规模日志数据的实时传输和分析打下坚实的基础。

    flume集群搭建与使用文档

    Flume集群搭建与使用文档 Flume是一种分布式、可靠、可扩展的日志聚合系统，用于收集、聚合和移动大量日志数据。下面是Flume集群搭建与使用文档的知识点总结： Flume集群搭建 1. 硬件环境：三台物理服务器，，每...

    Flume集群搭建

    ### Flume集群搭建详解 #### 一、Flume简介 Flume是一款高可靠、高性能的日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方（source）、接收方（sink）和数据通道（channel）。Flume的设计理念是...

    hadoop集群配置之————flume安装配置（详细版）

    4. 将flume/conf下的flume-env.sh.template文件修改为flume-env.sh，并配置JAVA_HOME环境变量，指向JDK的安装目录。 入门案例： 1. 创建配置文件：例如使用Flume实时监控整个目录的新文件，自动输出到控制台。 2. ...

    ansible-flume-auto-deployment.tar.gz

    ansible自动部署flume集群组成消费组共同消费kafka集群Topic，压缩包包含了详细的ansible部署代码、编译好的flume压缩包、以及生产环境flume参数设置，可以私信请教我，详细指导讲解

    大数据教程-Flume安装使用实录.pdf

    从给定文件的内容来看，这篇文档主要涉及到了大数据处理组件...在实际操作过程中，还可能涉及到更高级的配置和使用技巧，如Flume的集群配置、监控和故障排查等。不过根据文件内容的限制，这部分知识没有在文档中体现。

    Apache_Flume安装与配置

    Apache Flume是一个分布式、可靠且可用的系统，用于有效地收集、聚合和移动大量日志数据。它的设计灵感来源于流式架构和分布式数据处理领域中其他流行...正确配置可以保证Flume集群高效地进行数据的采集、传输和聚合。

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    在安装Hadoop时，通常需要配置集群环境，包括主节点和从节点，并确保所有节点之间的网络通信畅通。 Spark是大数据处理的另一个关键组件，它支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark ...

    第10章 Flume组件安装配置.docx

    本章将详细介绍如何在Linux上安装和配置Flume。 **实验目的**： 1. 学习并掌握下载与解压Flume的流程。 2. 理解Flume组件的部署方法。 3. 掌握通过Flume发送和接收信息的基本操作。 **实验要求**： 1. 先对Flume的...

    大数据Ambari之flume集成编译好的源码包

    Apache Ambari 是一个用于管理和监控Hadoop集群的开源工具，它提供了直观的Web界面和RESTful API，使得安装、配置、管理Hadoop生态系统变得更加简单。Flume是Apache的一个开源项目，用于收集、聚合和移动大量日志...

    大数据组件-Flume高可用集群搭建

    本文详细介绍了如何搭建Flume集群以及实现基本的数据采集任务。Flume作为一种重要的数据采集工具，在大数据处理场景中发挥着不可或缺的作用。通过上述步骤，我们可以轻松地将不同来源的数据整合到Hadoop生态系统中，...

    Flume-0.9.4中文安装手册

    ### Flume-0.9.4中文安装手册 #### Flume概述 Flume是一个高可靠、高性能的服务，专为高效地收集、聚合和移动大量日志数据而设计。Flume支持分布式、可靠的日志数据聚合，它具有丰富的特性集，包括多节点数据流...

    flume 调研报告及安装部署

    在部署FLUME集群时，通常需要考虑数据冗余和负载均衡。可以通过配置多个Agent实例，形成多级数据流，以提高系统的可用性和性能。 ### 5. 实现与HDFS的集成 FLUME 提供了HDFS Sink，可以直接将数据写入Hadoop的...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中，我们将详细介绍如何搭建一个大数据集群环境，包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分：Hadoop 集群...

    flume kafak实验报告.docx

    2. **Flume 与 Spark Streaming 集成**：在 DEA（可能是开发环境或服务器）上，通过 Maven 管理项目，将 `spark-streaming-flume-sink_2.11-2.4.2.jar` 添加到 Flume 安装目录的 `lib` 文件夹。由于文件权限问题，...

    Flume1.9.0配置.docx

    在安装 Flume 之前，需要安装 Java JDK，因为 Flume 依赖 Java 环境变量。在本例中，我们使用的是 JDK 1.8.0_11。安装完成后，需要将 Java_HOME 变量添加到环境变量中，以便 Flume 可以正确地使用 Java 环境。 ...

Magicbox
Global site tag (gtag.js) - Google Analytics