1、将编译后的 apache-flume-1.7.0-SNAPSHOT-bin.tar.gz 包上传至linux服务器
2、修改 flume-env.sh 配置文件,主要是添加java环境
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements. See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership. The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# If this file is placed at FLUME_CONF_DIR/flume-env.sh, it will be sourced
# during Flume startup.
# Enviroment variables can be set here.
export JAVA_HOME=/opt/java/jdk1.7.0_65
# Give Flume more memory and pre-allocate, enable remote monitoring via JMX
# export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
# Note that the Flume conf directory is always included in the classpath.
#FLUME_CLASSPATH=""
至此,flume-ng的安装就算基本完成了。测试一下!
[root@GameCloud01 bin]# ./flume-ng version
Flume 1.7.0-SNAPSHOT
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: Unknown
Compiled by aiyou on 02/22/2016 16:37:11
From source with checksum N/A
可能遇到的问题:
[root@GameCloud01 bin]# ./flume-ng
-bash: ./flume-ng: /bin/bash^M: bad interpreter: 没有那个文件或目录
这个问题是由于我们的脚本是在windows环境下编译的,脚本被转换成Windows下的dos文本格式,每一行的末尾都是以\r\n来标识,它的ASCII码分别是0x0D,0x0A。如果将这个脚本文件直接放到Linux上执行就会报/bin/bash^M: bad interpreter错误提示。
解决办法:
1、使用vi或vim打开报错的脚本 flume-ng
2、查看文本格式:set ff?
3、如果显示是:fileformat=dos,则需要将文件格式改为unix
4、继续执行 :set ff=unix,保存退出即可。
分享到:
相关推荐
- **数据库兼容性**:Flume-ng-sql-source通常需要JDBC驱动来连接各种类型的SQL数据库,因此需要确保正确安装并配置了相应的驱动。 - **查询定制**:用户可以编写自定义SQL查询来获取所需的数据,也可以根据时间戳...
Flume-ng-sql-source是Apache Flume的一个扩展插件,主要功能是允许用户从各种数据库中抽取数据并将其传输到其他目的地,如Apache Kafka。在本案例中,我们讨论的是版本1.5.2的发布包,即"flume-ng-sql-source-...
flume-ng-sql-source-1.5.2.jar从数据库中增量读取数据到hdfs中的jar包
Flume-NG 安装与配置指南 Flume-NG 是一个分布式日志收集系统,能够从各种数据源中实时采集数据,并将其传输到集中式存储系统中。本文将指导您完成 Flume-NG 的安装和基本配置。 安装 Flume-NG 1. 先决条件:...
flume-ng-sql-source-1.5.3.jar,flume采集mysql数据jar包,将此文件拖入FLUME_HOME/lib目录下,如果是CM下CDH版本的flume,则放到/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib下,同样需要的包还有mysql-...
flume-ng-sql-source-1.5.1 flume连接数据库 很好用的工具
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目,分别为:flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz,选择你需要的版本。
flume-ng-1.5.0-cdh5.3.6.rarflume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume...
1. **安装与依赖**:首先需要将flume-ng-sql-source-1.4.3.jar添加到Flume的类路径中,确保所有必要的JDBC驱动也在类路径内,因为这些驱动是连接数据库所必需的。 2. **配置源**:在Flume的配置文件(如flume.conf...
"apache-flume-1.6.0-cdh5.5.0-bin" 是解压后的 Flume 安装包,包含了所有运行 Flume 所需的二进制文件、脚本和配置示例。在使用之前,通常需要配置 `conf/flume.conf` 文件以定制 Flume 的行为,然后通过命令行启动...
flume是一个日志收集器,更多详细的介绍可以参照官网:http://flume.apache.org/ flume-ng-sql-source实现oracle增量数据读取 有了这个jar文件即可从关系型数据库拉去数据到flume
flume1.9采集数据入存入elasticsearch6.2.4,flume1.9本身只支持低版本的elasticsearch,基于apache-flume-1.9.0-src的flume-ng-sinks/flume-ng-elasticsearch-sink源码修改,支持es6.2.4,打的包,直接替换flume/...
包含flume-ng-sql-source-1.5.1&flume;-ng-sql-source-1.4.1 此内容均为网上下载
flume-ng-hdfs-sink-1.7.0.jar,这个包里包含了flume和HDFS集成的所有类
在安装和配置Flume-ng-1.6.0-cdh5.7.0时,用户需要注意以下几点: 1. 确保系统环境满足CDH 5.7.0的硬件和软件要求。 2. 安装Java开发环境,因为Flume依赖Java运行。 3. 解压压缩包`apache-flume-1.6.0-cdh5.7.0-bin`...
`flume-ng-elasticsearch-sink-6.5.4.jar`正是这样一个插件,允许Flume将事件数据推送到Elasticsearch 6.5.4版本。这个jar文件包含所有必要的代码,使得Flume能够理解并处理Elasticsearch的相关配置和协议。 2. **...
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...