`
piaoling
  • 浏览: 263076 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

关于hadoop配置

 
阅读更多

最近在测试hadoop0.21版本,发现有些参数设置了木有生效,检查发现有些参数已经变了,但是配置文件中还使用旧的参数.

 

相关配置信息如下:

默认会自动加载:core-default.xml , hdfs-default.xml , mapred.default.xml三个文件 ,

通常通过core-sit.xml ,  hdfs-sit.xml , mapred-sit.xml 3个配置文件覆盖默认配置信息

 

core-sit.xml对应java类:org.apache.hadoop.fs.CommonConfigurationKeys

 

org.apache.hadoop.hdfs.protocol.FSConstants是文件系统的一些默认值:比如

DEFAULT_BLOCK_SIZE= 64 * 1024 * 1024;

 

hdfs-sit.xml对应java类org.apache.hadoop.hdfs.DFSConfigKeys , 譔类继承CommonConfigurationKeys类

 

mapred-sit.xml对应java类:org.apache.hadoop.mapreduce.MRJobConfig,

org.apache.hadoop.mapreduce.util.ConfigUtil用来加载mapred-default.xml与mapred-sit.xml内容,其中有很多不推荐使用的KEY也在这里声明了,使用的时候,注意,不要再使用不推荐的KEY,否则会导致设置不生效.

org.apache.hadoop.mapred.JobConf里面可查找到当前已经不推荐使用的一些关于job参数信息

 

以前通过mapred.child.java.opts来配置map和reduce使用的java内存

现在分开配置,分别是:

mapreduce.reduce.java.opts

mapreduce.map.java.opts

 

分享到：
| hadoop安装
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop配置相关的好书

    总的来说，一本关于Hadoop配置的好书应该会详细讲解这些概念，包括它们的工作原理、配置参数、最佳实践以及故障排查。对于程序员来说，掌握这些知识不仅可以提升他们的Hadoop技能，还有助于他们在大数据项目中发挥...

    【IT十八掌徐培成】Hadoop第01天-04.hadoop配置独立模式-伪分布式.zip

    以下是关于Hadoop配置、独立模式和伪分布式环境的详细讲解。 1. Hadoop概述：Hadoop是由Apache基金会开发的一个分布式计算框架，基于Java编写，设计目标是处理和存储海量数据。它遵循“分而治之”的理念，通过...

    大数据运维技术第4章 Hadoop文件参数配置课件.pptx

    以下是关于Hadoop配置文件、环境配置、守护进程环境配置以及配置参数格式的详细说明。 1. **Hadoop配置文件** - **core-site.xml**：这是集群全局参数的配置文件，用于设定系统级别的参数，比如默认的文件系统（fs...

    Hadoop配置文件表（如需要请下载附件）

    这篇博客“Hadoop配置文件表”虽然没有提供详细的描述，但从标题我们可以推断，它可能包含了关于Hadoop系统中各种配置文件的详细信息。这些配置文件对于理解和优化Hadoop集群的性能至关重要。 Hadoop的核心组件主要...

    hadoop配置文件

    hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件

    hadoop config 配置文件

    Hadoop配置文件是这个系统的核心组成部分，它们定义了Hadoop集群的行为、性能和稳定性。在这个主题中，我们将深入探讨Hadoop配置文件的各个方面，以及如何有效地管理和优化它们。 1. **Hadoop配置结构** Hadoop的...

    hadoop配置

    一、Hadoop配置基础 1. **环境准备**：首先，你需要在Linux环境下安装Java开发环境，因为Hadoop是基于Java的。通常，我们需要设置JAVA_HOME环境变量指向Java的安装路径。 2. **下载Hadoop**：从Apache官方网站获取...

    hadoop配置文件详解

    在Hadoop配置中，还涉及到NameNode高可用性(HA)的配置参数，如： - dfs.namenode.secondary.http-address：为Secondary NameNode指定一个用于管理任务的HTTP地址。 - dfs.nameservices：用逗号分隔的NameService...

    单机版hadoop配置文件

    4. **配置Hadoop配置文件**： - **core-site.xml**：定义HDFS的基本属性，如`fs.defaultFS`，设置为`hdfs://localhost:9000`表示HDFS的NameNode运行在本地主机的9000端口。 - **hdfs-site.xml**：配置HDFS的参数，...

    hadoop配置文件默认配置

    本文将深入解析Hadoop的常用配置，包括HDFS（Hadoop Distributed File System）和MapReduce的端口配置，以及一些核心的默认配置参数。 首先，让我们关注HDFS的端口配置： 1. **fs.default.name**: 这个参数定义了...

    史上最全的Hadoop配置完全手册

    Hadoop 配置完全手册 Hadoop 是一个开源的大数据处理框架，由 Apache 软件基金会开发和维护。它提供了一个分布式文件系统和一个分布式计算框架，用于处理大规模数据集。 Hadoop 配置 Hadoop 的配置文件是对 ...

    hadoop单机配置方法

    ### Hadoop单机配置详解 在大数据处理领域，Apache Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。本文将详细介绍如何在单机环境下配置Hadoop，使其能够运行基本的大数据处理任务。 #### 一、配置...

    HADOOP配置文件-有注释版.rar

    这个压缩包"**HADOOP配置文件-有注释版.rar**"包含了Hadoop的配置文件，并且带有注释，这对于理解和配置Hadoop环境至关重要。下面我们将详细探讨Hadoop的配置体系以及这些配置文件中的关键知识点。 首先，Hadoop的...

    windows下Hadoop配置

    Windows 下 Hadoop 配置详解 在本文中，我们将详细介绍 Windows 下 Hadoop 配置的过程。Hadoop 是一款开源的分布式计算框架，由 Apache 开发和维护。作为云计算和大数据处理的核心组件，Hadoop 广泛应用于数据挖掘...

    Hadoop配置

    这涉及到多台机器的网络配置，Hadoop配置文件的定制，以及数据节点的添加和测试。完全分布式模式能够充分利用多台机器的计算资源，处理更大规模的数据。 总的来说，这个教程涵盖了从零开始搭建Hadoop环境的全过程，...

    eclipse配置hadoop

    Eclipse 配置 Hadoop 及 MapReduce 开发指南 一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先，需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar ...

    运行成功的hadoop配置文件

    经过多次反复试验，完全可用的hadoop配置，有0.19的版本，也有0.20的版本。并且有脚本可以在两个版本之间切换，无需格式化文件系统。Without "hadoop namenode -format" 目录结构： /data/hadoop 为工作目录，实际为...

Magicbox
Global site tag (gtag.js) - Google Analytics