`
亦梦亦真
  • 浏览: 229624 次
  • 性别: Icon_minigender_1
  • 来自: 秦皇岛
社区版块
存档分类
最新评论

hadoop配置中的重要参数

阅读更多

参数

取值

备注

fs.default.name

NameNodeURI

hdfs://主机名/

mapred.job.tracker

JobTracker的主机(或者IP)和端口

主机:端口

dfs.name.dir

NameNode持久存储名字空间及事务日志的本地文件系统路径

当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份

dfs.data.dir

DataNode存放块数据的本地文件系统路径,逗号分割的列表

当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上

mapred.system.dir

Map/Reduce框架存储系统文件的HDFS路径(比如/hadoop/mapred/system/

这个路径是默认文件系统(HDFS)下的路径, 须从服务器和客户端上均可访问

mapred.local.dir

本地文件系统下逗号分割的路径列表,Map/Reduce临时数据存放的地方

多路径有助于利用磁盘i/o

mapred.tasktracker.{map|reduce}.tasks.maximum

某一TaskTracker上可运行的最大Map/Reduce任务数,这些任务将同时各自运行

默认为22map2reduce),可依据硬件情况更改

dfs.hosts/dfs.hosts.exclude

许可/拒绝DataNode列表

如有必要,用这个文件控制许可的datanode列表

mapred.hosts/mapred.hosts.exclude

许可/拒绝TaskTracker列表

如有必要,用这个文件控制许可的TaskTracker列表

分享到:
评论

相关推荐

    hadoop配置文件参数详解1

    Hadoop 配置文件参数详解 Hadoop 配置文件是 Hadoop 集群的核心组件之一,它们控制着 Hadoop 集群的行为和性能。Hadoop 配置文件主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml 三个配置文件。这些配置...

    hadoop配置文件详解

    在Hadoop配置中,还涉及到NameNode高可用性(HA)的配置参数,如: - dfs.namenode.secondary.http-address:为Secondary NameNode指定一个用于管理任务的HTTP地址。 - dfs.nameservices:用逗号分隔的NameService...

    Hadoop配置文件表(如需要请下载附件)

    博客中可能提供的“Hadoop配置查询.xls”是一个Excel表格,可能列出了所有常见的配置参数、其默认值、用途以及最佳实践。这样的资源对于开发者和管理员来说非常宝贵,可以帮助他们快速查找和调整配置,以适应不同的...

    hadoop配置参数

    在搭建Hadoop集群之前,了解和正确配置Hadoop的参数是至关重要的步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大量数据。在这个场景中,我们将关注Hadoop 2.2.0版本的伪分布式配置,这是一种在单台...

    Hadoop 三个配置文件的参数含义说明

    在Hadoop生态系统中,配置文件对于集群的正常运行至关重要。主要涉及三个核心配置文件:`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。这些文件定义了Hadoop系统的各种参数,包括但不限于端口设置、存储...

    hadoop config 配置文件

    在这个主题中,我们将深入探讨Hadoop配置文件的各个方面,以及如何有效地管理和优化它们。 1. **Hadoop配置结构** Hadoop的配置主要通过XML文件进行,这些文件位于`$HADOOP_CONF_DIR`目录下,通常包括`core-site....

    大数据运维技术第4章 Hadoop文件参数配置课件.pptx

    以下是关于Hadoop配置文件、环境配置、守护进程环境配置以及配置参数格式的详细说明。 1. **Hadoop配置文件** - **core-site.xml**:这是集群全局参数的配置文件,用于设定系统级别的参数,比如默认的文件系统(fs...

    单机版hadoop配置文件

    4. **配置Hadoop配置文件**: - **core-site.xml**:定义HDFS的基本属性,如`fs.defaultFS`,设置为`hdfs://localhost:9000`表示HDFS的NameNode运行在本地主机的9000端口。 - **hdfs-site.xml**:配置HDFS的参数,...

    hadoop配置

    一、Hadoop配置基础 1. **环境准备**:首先,你需要在Linux环境下安装Java开发环境,因为Hadoop是基于Java的。通常,我们需要设置JAVA_HOME环境变量指向Java的安装路径。 2. **下载Hadoop**:从Apache官方网站获取...

    windows下Hadoop配置

    在本文中,我们将详细介绍 Windows 下 Hadoop 配置的过程。Hadoop 是一款开源的分布式计算框架,由 Apache 开发和维护。作为云计算和大数据处理的核心组件,Hadoop 广泛应用于数据挖掘、机器学习、自然语言处理等...

    第4章 Hadoop文件参数配置.pdf

    Hadoop 文件参数配置 Hadoop 文件参数配置是 Hadoop 集群的关键组件,负责存储和管理大规模数据。为了确保 Hadoop 集群的稳定运行,需要对 Hadoop 文件参数进行正确的配置。本章节将指导读者如何配置 Hadoop 文件...

    hadoop配置文件默认配置

    在Hadoop生态系统中,配置文件是管理和优化集群性能的关键元素。本文将深入解析Hadoop的常用配置,包括HDFS(Hadoop Distributed File System)和MapReduce的端口配置,以及一些核心的默认配置参数。 首先,让我们...

    hadoop配置相关的好书

    总的来说,一本关于Hadoop配置的好书应该会详细讲解这些概念,包括它们的工作原理、配置参数、最佳实践以及故障排查。对于程序员来说,掌握这些知识不仅可以提升他们的Hadoop技能,还有助于他们在大数据项目中发挥...

    单机Hadoop配置安装

    "单机Hadoop配置安装教程" 单机Hadoop配置安装是Hadoop beginners的不二之选,本篇文章将详细指导您如何在Windows平台上安装和配置Hadoop-2.5.2。通过亲自实验和实践,本教程将带您掌握单机Hadoop配置安装的所有...

    HADOOP配置文件-有注释版.rar

    这个压缩包"**HADOOP配置文件-有注释版.rar**"包含了Hadoop的配置文件,并且带有注释,这对于理解和配置Hadoop环境至关重要。下面我们将详细探讨Hadoop的配置体系以及这些配置文件中的关键知识点。 首先,Hadoop的...

    hadoop的默认配置文件

    在Hadoop的运行中,配置文件扮演着至关重要的角色,它们定义了系统的行为和性能参数。接下来,我们将详细探讨这四个默认配置文件——hdfs-default.xml、yarn-default.xml、core-default.xml和mapred-default.xml,...

    hadoop 配置项的调优

    【Hadoop配置项调优详解】 Hadoop作为一个分布式计算框架,其性能往往受到配置参数的影响。通过对Hadoop的配置项进行调优,可以显著提升系统的效率和稳定性。以下是一些关键配置项及其对系统性能的影响: 1. **dfs...

    hadoop配置手册

    `hadoop-env.sh`是Hadoop配置中的一个脚本文件,主要用于定义运行Hadoop进程所需的环境变量。其中最重要的是`JAVA_HOME`环境变量的设置: ```bash export JAVA_HOME=/home/hadoop/app/jdk1.8.0_45/ ``` 这里指定了...

    Hadoop3.1.3 配置文件

    本文将深入探讨Hadoop3.1.3中的配置文件及其重要性。 首先,Hadoop的配置文件是整个系统运行的基础,它们定义了Hadoop集群的运行参数、节点间的通信方式以及数据存储策略等关键设置。主要的配置文件包括`core-site....

Global site tag (gtag.js) - Google Analytics