`
JerryLead
  • 浏览: 77058 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

Hadoop-0.20.2的log存放时间控制

阅读更多

1. 想要在JobTracker的WebUI上(master:50030)多保持几个job执行状态,默认是100个

调整Hadoop配置文件,比如调整为200个

<property>

<name>mapred.jobtracker.completeuserjobs.maximum</name>

<value>200</value>

        </property>

 

 2. 想要在JobTracker的WebUI上延长job执行状态的存放时间,默认是24小时,现在调整为72小时,也就是259200000微秒

<property>

<name>mapred.jobtracker.retirejob.interval</name>

<value>259200000</value>

</property>

 

 3. 想要在JobTracker的HistoryUI上延长Task log(Last 4KB,Last 8KB, ALL)的存放时间,默认是24小时,这个参数是MapReduce job控制的,要么在Hadoop的mapred-site.xml中设置该值为final或者在每个MapReduce job中设置为72

<property>

<name>mapred.userlog.retain.hours</name>

<value>72</value>

</property>



分享到:
评论

相关推荐

    hadoop-0.20.2-CDH3B4.tar.gz下载

    首先,"hadoop-0.20.2-CDH3B4.tar.gz"是一个针对CDH3(Cloudera Distribution Including Apache Hadoop)3B4版本的Hadoop发行版。CDH是由Cloudera公司提供的一个企业级Hadoop发行版,包含了多个Apache项目,如Hadoop...

    hadoop-0.20.2安装手册

    ### Hadoop-0.20.2安装与配置详解 #### 一、Hadoop-0.20.2概述 Hadoop是一款支持大数据处理的开源软件框架,它能够高效地处理PB级别的数据集。Hadoop-0.20.2版本作为早期的一个稳定版本,在很多场景中仍然具有重要...

    hadoop-0.20.2-eclipse-plugin.jar

    hadoop-0.20.2-eclipse-pluginhadoop-0.20.2-eclipse-pluginhadoop-0.20.2-eclipse-pluginhadoop-0.20.2-eclipse-pluginhadoop-0.20.2-eclipse-pluginhadoop-0.20.2-eclipse-pluginhadoop-0.20.2-eclipse-plugin

    Linux环境下hadoop-0.20.2资源下载

    Hadoop-0.20.2是该框架的一个较早版本,尽管它相对较旧,但因其稳定性及许多初学者教程中的引用,它仍然是学习Hadoop基础知识的重要参考。这个版本包含了Hadoop的核心组件,如HDFS(Hadoop分布式文件系统)和...

    hadoop-core-0.20.2.jar.zip

    《Hadoop核心库:hadoop-core-0.20.2.jar在Eclipse环境中的应用与解析》 在大数据处理领域,Hadoop是不可或缺的重要工具,它的核心组件hadoop-core为分布式计算提供了基础架构。本文将围绕“hadoop-core-0.20.2.jar...

    hadoop-core-0.20.2 源码 hadoop-2.5.1-src.tar.gz 源码 hadoop 源码

    这里我们将深入探讨"Hadoop-core-0.20.2"和"hadoop-2.5.1-src"的源码,以便更好地理解Hadoop的工作原理和内部机制。 **Hadoop Core源码分析** Hadoop-core-0.20.2是Hadoop早期版本的核心组件,它包含了Hadoop的...

    基于hadoop-0.20.2的FTP服务器

    基于apache发布的FTPserver实现的基于hadoop-0.20.2的FTP服务器,可以直接使用,但要进行hadoop网址的基本配置,另外只有一个匿名用户,除了几个我设定的系统文件夹不能删除外,基本具有所有权限。当然,您可以在此...

    hadoop-core-0.20.2-cdh3u3.jar

    export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...

    hadoop-0.20.2帮助文档

    hadoop-0.20.2的chm帮助文档

    hadoop-0.20.2-eclipse-plugin 插件

    Hadoop-0.20.2-Eclipse-Plugin是一个经典的插件,专为Eclipse集成开发环境(IDE)设计,旨在提升Hadoop开发者的工作效率。Hadoop是Apache软件基金会的一个开源项目,它提供了分布式文件系统(HDFS)和MapReduce编程...

    在Ubunt-11.04上布署hadoop-0.20.2集群云平台

    ### 在Ubuntu 11.04上部署Hadoop-0.20.2集群云平台的知识点 #### 一、前言与环境准备 - **背景介绍**:本实验指导旨在帮助用户在Ubuntu 11.04操作系统上成功部署Hadoop-0.20.2集群云平台。该文档由厦门大学软件...

    hadoop-0.20.2.tar.gz

    Hadoop安装包,适用于linux,内含eclipse插件.

    Hadoop-0.20.2

    《深入理解Hadoop-0.20.2:构建分布式大数据处理系统》 Hadoop-0.20.2是Apache Hadoop项目的一个重要版本,它为大数据处理提供了可靠的、可扩展的基础架构。Hadoop是一个开源框架,主要用于存储和处理大规模数据集...

    hadoop-0.20.2-cdh3u6.rar

    Hadoop-0.20.2-cdh3u6是Cloudera公司基于Apache Hadoop的发行版CDH3的更新版本,它针对企业级应用进行了优化,包含了多个关键改进和修复。 CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera提供的...

    hadoop-0.20.2.part1.rar

    hadoop-0.20.2.part1.rar

    单节点hadoop-0.20.2

    本资源"单节点hadoop-0.20.2"是一个针对初学者或快速测试环境的配置,它简化了Hadoop的安装和设置过程。这个压缩包包含了一个预配置的Hadoop环境,使得用户无需从头开始配置XML文件,只需解压即可运行,大大降低了...

    hadoop-0.20.2.part2.rar

    hadoop-0.20.2.part2.rar

    hadoop-0.20.2(已经修改了conf文件中的默认配置)

    这个压缩包文件`hadoop-0.20.2`包含了Hadoop的0.20.2版本,这是一个早期但仍然广泛使用的版本,尤其对于学习和理解Hadoop的基本工作原理非常有帮助。 在`hadoop-0.20.2`中,`conf`目录下的配置文件已经被修改,这是...

Global site tag (gtag.js) - Google Analytics