1.在mapred-site中配置
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2-2:10020</value>
<description>MapReduce JobHistory Server host:port. Default port is 10020.</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2-2:19888</value>
<description>MapReduce JobHistory Server Web UI host:port. Default port is 19888.</description>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/home/hadoop/opt/hadoop/tmp/mr_history</value>
<description>Directory where history files are written by MapReduce jobs.</description>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/home/hadoop/opt/hadoop/tmp/mr_history</value>
<description>Directory where history files are managed by the MR JobHistory Server.</description>
</property>
2.在yarn-site.xml中配置
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
3.复制到集群的其他节点
4.重新启动yarn平台
sbin/stop-yarn.sh
sbin/start-yarn.sh
最后执行sbin/mr-jobhistory-daemon.sh start historyserver
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2-2:10020</value>
<description>MapReduce JobHistory Server host:port. Default port is 10020.</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2-2:19888</value>
<description>MapReduce JobHistory Server Web UI host:port. Default port is 19888.</description>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/home/hadoop/opt/hadoop/tmp/mr_history</value>
<description>Directory where history files are written by MapReduce jobs.</description>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/home/hadoop/opt/hadoop/tmp/mr_history</value>
<description>Directory where history files are managed by the MR JobHistory Server.</description>
</property>
2.在yarn-site.xml中配置
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
3.复制到集群的其他节点
4.重新启动yarn平台
sbin/stop-yarn.sh
sbin/start-yarn.sh
最后执行sbin/mr-jobhistory-daemon.sh start historyserver
相关推荐
提供的文件【eimhe.com]hadoop2.5.1.pdf】很可能是Hadoop 2.5.1的官方文档或用户指南,它将深入讲解如何安装、配置和使用该版本的Hadoop,包括最佳实践和常见问题解决方案。对于开发者和系统管理员来说,这份文档是...
2. 配置Hadoop的配置文件:这是搭建Hadoop伪集群的关键步骤。主要包括以下配置文件的编辑: - `hadoop-env.sh`:指定Java的安装路径,例如:`export JAVA_HOME=/path/to/your/java/home`。 - `core-site.xml`:...
Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...
可参考 http://www.bjsxt.com/down/3191.html 安装视频。
本文根据实际的操作,详细的讲解了hadoop2.7.0集群的搭建过程
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念,包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释:...
Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
在搭建Hadoop集群前,你需要在所有节点上安装这个JDK,并配置好`JAVA_HOME`环境变量,确保Hadoop能够找到Java环境。 接下来,我们来看`hadoop-2.7.5.tar.gz`,这是Apache Hadoop 2.7.5的源代码压缩包。Hadoop是一个...
本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...
Hadoop集群的搭建是一项技术性很强的任务,涉及到多个组件的配置和优化。以下是对"hadop集群搭建文档资料"的详细解析: 1. **Hadoop概述**:Hadoop由Apache基金会开发,基于Java语言,设计为分布式计算系统,它支持...
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务,它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点,并构建Hadoop集群环境。 首先,我们需要准备一个基础...
- 配置集群时,还可以进行更多的高级设置,比如JVM的垃圾回收(GC)设置,Hadoop的内存设置等,这些都可以根据实际应用场景进行调整。 - 对于大数据集群来说,数据安全和备份策略也是非常重要的,需要根据需要配置...
hadoop2.5.1 eclipse插件 eclipse版本Version: Luna Release (4.4.0)
Hadoop 分布式集群搭建.md
赠送jar包:hadoop-auth-2.5.1.jar; 赠送原API文档:hadoop-auth-2.5.1-javadoc.jar; 赠送源代码:hadoop-auth-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-auth-2.5.1.pom; 包含翻译后的API文档:hadoop...
本文将深入探讨Hadoop 2.5.1版本中HA与Federation的详细配置过程,帮助你构建一个既可靠又高效的分布式存储和计算环境。 **一、Hadoop HA简介** Hadoop HA是为了解决单点故障问题,通过引入NameNode的热备机制,...
hadoop 3.2.4集群搭建
7. **安装和配置Hadoop**:将编译好的二进制文件复制到你想要安装的目录,并配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`等配置文件,以适应你的集群环境。 8. **启动和使用Hadoop**:最后,启动Hadoop...