`
yehao0716
  • 浏览: 22822 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

hadoop2.5.1集群搭建:(四)配置historyServer

阅读更多
1.在mapred-site中配置
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop2-2:10020</value>
        <description>MapReduce JobHistory Server host:port.    Default port is 10020.</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop2-2:19888</value>
        <description>MapReduce JobHistory Server Web UI host:port. Default port is 19888.</description>
    </property>
<property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/home/hadoop/opt/hadoop/tmp/mr_history</value>
        <description>Directory where history files are written by MapReduce jobs.</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/home/hadoop/opt/hadoop/tmp/mr_history</value>
        <description>Directory where history files are managed by the MR JobHistory Server.</description>
    </property>

2.在yarn-site.xml中配置
<property> 
    <name>yarn.log-aggregation-enable</name> 
    <value>true</value> 
</property>  




3.复制到集群的其他节点

4.重新启动yarn平台
  sbin/stop-yarn.sh
  sbin/start-yarn.sh

  最后执行sbin/mr-jobhistory-daemon.sh start historyserver
分享到:
评论

相关推荐

    hadoop2.5.1汇总:最新编译_32位、64位安装包、源码包、API下载及新特性 中文

    提供的文件【eimhe.com]hadoop2.5.1.pdf】很可能是Hadoop 2.5.1的官方文档或用户指南,它将深入讲解如何安装、配置和使用该版本的Hadoop,包括最佳实践和常见问题解决方案。对于开发者和系统管理员来说,这份文档是...

    hadoop伪集群搭建及eclipse插件配置

    2. 配置Hadoop的配置文件:这是搭建Hadoop伪集群的关键步骤。主要包括以下配置文件的编辑: - `hadoop-env.sh`:指定Java的安装路径,例如:`export JAVA_HOME=/path/to/your/java/home`。 - `core-site.xml`:...

    Hadoop集群搭建(全)

    Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...

    hadoop2.5.1安装指引.txt

    可参考 http://www.bjsxt.com/down/3191.html 安装视频。

    hadoop2.7.0集群搭建

    本文根据实际的操作,详细的讲解了hadoop2.7.0集群的搭建过程

    大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc

    【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念,包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释:...

    Hadoop和Spark多节点集群搭建:从入门到进阶0基础!!易懂!!

    Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和...

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程

    Hadoop分布式集群搭建所需安装包资源

    在搭建Hadoop集群前,你需要在所有节点上安装这个JDK,并配置好`JAVA_HOME`环境变量,确保Hadoop能够找到Java环境。 接下来,我们来看`hadoop-2.7.5.tar.gz`,这是Apache Hadoop 2.7.5的源代码压缩包。Hadoop是一个...

    hadoop集群搭建(超级详细)

    本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

    hadoop集群搭建文档资料

    Hadoop集群的搭建是一项技术性很强的任务,涉及到多个组件的配置和优化。以下是对"hadop集群搭建文档资料"的详细解析: 1. **Hadoop概述**:Hadoop由Apache基金会开发,基于Java语言,设计为分布式计算系统,它支持...

    linux下Hadoop集群环境搭建

    在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务,它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点,并构建Hadoop集群环境。 首先,我们需要准备一个基础...

    hadoop 分布式集群搭建

    - 配置集群时,还可以进行更多的高级设置,比如JVM的垃圾回收(GC)设置,Hadoop的内存设置等,这些都可以根据实际应用场景进行调整。 - 对于大数据集群来说,数据安全和备份策略也是非常重要的,需要根据需要配置...

    hadoop2.5.1 eclipse插件

    hadoop2.5.1 eclipse插件 eclipse版本Version: Luna Release (4.4.0)

    Hadoop 分布式集群搭建.md

    Hadoop 分布式集群搭建.md

    hadoop-auth-2.5.1-API文档-中文版.zip

    赠送jar包:hadoop-auth-2.5.1.jar; 赠送原API文档:hadoop-auth-2.5.1-javadoc.jar; 赠送源代码:hadoop-auth-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-auth-2.5.1.pom; 包含翻译后的API文档:hadoop...

    Hadoop2.5.1的HA+Federation的详细配置

    本文将深入探讨Hadoop 2.5.1版本中HA与Federation的详细配置过程,帮助你构建一个既可靠又高效的分布式存储和计算环境。 **一、Hadoop HA简介** Hadoop HA是为了解决单点故障问题,通过引入NameNode的热备机制,...

    01 hadoop 3.2.4集群搭建.html

    hadoop 3.2.4集群搭建

    Hadoop2.5.1 源码编译文档+所需软件打包

    7. **安装和配置Hadoop**:将编译好的二进制文件复制到你想要安装的目录,并配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等配置文件,以适应你的集群环境。 8. **启动和使用Hadoop**:最后,启动Hadoop...

Global site tag (gtag.js) - Google Analytics