`
welcome66
  • 浏览: 401960 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

flume系列之Java heap space大小设置

 
阅读更多

当使用flume-ng进行日志采集的时候,如果日志文件很大,容易导致flume出现:

java.lang.OutOfMemoryError: Java heap space

这样的错误,这就需要调整flume相应的jvm启动参数。

修改 flume下的conf/flume-env.sh文件:

export JAVA_OPTS="-Xms512m -Xmx1024m -Dcom.sun.management.jmxremote"

其中:
-Xms<size> set initial Java heap size.........................
-Xmx<size> set maximum Java heap size.........................

主要修改Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1G左右大小即可


分享到:
评论

相关推荐

    flume-java

    ### Flume Java:高效数据并行管道的Java实现 #### 一、背景介绍与核心概念 在当前的大数据处理领域,MapReduce等类似系统极大地简化了编写数据并行代码的任务。然而,在许多实际应用场景中,数据处理往往需要一...

    基于java的开发源码-日志服务器 Apache Flume.zip

    基于java的开发源码-日志服务器 Apache Flume.zip 基于java的开发源码-日志服务器 Apache Flume.zip 基于java的开发源码-日志服务器 Apache Flume.zip 基于java的开发源码-日志服务器 Apache Flume.zip 基于java的...

    Flume ng share

    ### Flume NG 分享资料详解 #### Flume NG 概述 Flume NG 是一个分布式、可靠且可用的服务,用于高效地收集、聚合并移动大量的日志数据。它具有简单而灵活的架构,基于流式数据流。Flume NG 非常健壮且能够容忍...

    flume-demo_大数据_flume_DEMO_自定义拦截器_

    - 在 Java 中实现自定义拦截器,需要继承 Flume 的 `Interceptor` 接口,并实现其中的 `initialize()`、`intercept(List)` 和 `close()` 方法。 - `initialize()` 方法用于初始化拦截器,可以加载配置信息等。 - ...

    尚硅谷大数据技术之Flume

    尚硅谷大数据技术之Flume Flume 是 Cloudera 提供的一个高可用的、 高可靠的、分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构,灵活简单。 1.1 Flume 定义 Flume 是一个高可用的、 高可靠的、...

    flume-ng安装

    在 `flume-env.sh` 文件中设置 JAVA_HOME 变量: `JAVA_HOME=/data/java/jdk` 配置 Flume-NG 1. 配置 Agent 在 `conf/flume-conf.properties` 文件中配置 Agent: ``` agent.sources = baksrc agent.channels = ...

    大数据Ambari之flume集成编译好的源码包

    **大数据Ambari之flume集成编译好的源码包** Apache Ambari 是一个用于管理和监控Hadoop集群的开源工具,它提供了直观的Web界面和RESTful API,使得安装、配置、管理Hadoop生态系统变得更加简单。Flume是Apache的一...

    Flume1.6.0入门:安装、部署、及flume的案例

    2. **配置环境变量**:编辑 `flume-env.sh` 配置文件,设置 `JAVA_HOME` 变量。同时,在 `/etc/profile` 文件中添加以下环境变量设置: ```bash export FLUME_HOME=/home/hadoop/apache-flume-1.6.0-bin export ...

    apache-flume-1.8.0

    这意味着该版本的Flume需要Java 8或更高版本才能运行,不兼容JDK 1.7。如果你的环境是基于JDK 1.7的,你需要寻找Flume的1.7版本,这也是描述中提到的。 描述中指出,由于Flume官网的下载速度可能较慢,提供了一个...

    Flume安装详细步骤

    在`flume-env.sh`文件中设置JAVA_HOME环境变量: ``` vi $FLUME_HOME/conf/flume-env.sh export JAVA_HOME=/bin/app/jdk1.7.0_75 ``` Step 5: 修改log4j.properties配置文件 修改`log4j.properties`文件中日志...

    flume-chd版本

    Flume-chd版本是Cloudera在Linux环境下提供的一个数据收集工具,主要用于大规模日志管理和数据分析。Flume是Apache项目的一部分,设计用于高效、可靠地从各种数据源收集、聚合和移动大量数据到集中存储系统,如...

    java大数据内容_7Flume、Kafka、Sqoop、Lucene

    ### Java大数据内容_7Flume、Kafka、Sqoop、Lucene #### 一、Flume 入门 ##### 1.1 Flume 概述 Flume 是一个分布式的、可靠的、高可用的日志采集系统,主要用于收集、汇总和移动大量的日志数据。它由 Cloudera ...

    电商数仓项目(八) Flume 系列源码

    2. 配置文件解析:学习如何编写和解析 Flume 配置文件,理解各组件间的连接和参数设置。 3. 内存管理:研究 Channel 的内存模型,以及如何保证数据的一致性和可靠性。 4. 错误处理与恢复策略:探讨 Flume 如何处理...

    flume1.11 jdk 8u144kafka 2.12-3.2.0logstash 7.9.2

    在IT领域,大数据处理和日志管理是至关重要的任务,而这四个组件——Flume、Java (JDK)、Kafka和Logstash,都是这个领域的关键工具。以下是对这些技术的详细解释: **Java (JDK 8u144)**:Java Development Kit ...

    Hadoop中Flume安装指南

    - `export JAVA_HOME=/opt/module/jdk1.8.0_144`:设置Java的安装路径,确保Flume能够找到正确的Java运行环境。 - **配置测试**:在安装完成后,可以通过执行以下命令检查`JAVA_HOME`环境变量是否设置正确: - `...

    Flume集群环境搭建,flume监控

    - **监控配置:** 要开启Flume的监控服务,需要在配置文件中设置监控的类型(type)和端口(port),例如设置`-Dflume.monitoring.type=http`以及`-Dflume.monitoring.port=34545`。 - **监控数据访问:** Flume的...

    Flume 1.6.0 API chm

    Flume 1.6.0 API chm Request the implementing class to (re)configure itself. When configuration parameters are changed, they must bereflected by the component asap. There are no thread safety ...

    Flume笔记.zip

    - Flume 的配置基于 Java 属性格式,易于理解和维护。 - 配置文件定义了源、通道和接收器的类型以及它们之间的关联。 - 可以创建多个配置文件,通过 Flume Agent 运行不同的数据流。 5. **Flume 高级特性** - *...

    Flume集群搭建1

    在 hadoop12 上,修改配置文件 `flume-env.sh`,设置 `JAVA_HOME` 指向 JDK 的安装路径,例如 `/usr/app/jdk1.8.0_77`。同时,复制并编辑 `flume-conf.properties.template` 文件,创建自定义的配置文件,这里可能是...

Global site tag (gtag.js) - Google Analytics