`
fengy20043
  • 浏览: 4377 次
  • 性别: Icon_minigender_2
社区版块
存档分类
最新评论

hadoop配置文件说明

 
阅读更多

一、dfs.name.dir

这个参数用于确定将HDFS文件系统的元信息保存在什么目录下。如果这个参数设置为多个目录,那么这些目录下都保存着元信息的多个备份。在实际生产中,一台机器一般会挂多块物理磁盘,这个配置项就会以多目录的方式配置,每个目录放到一个不同的磁盘中,避免机器中某块磁盘坏了无法恢复fsimage的灾难后果。
如:
<property>
    <name>dfs.name.dir</name>
    <value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value>
</property>
二、dfs.data.dir 
这个参数用于确定将HDFS文件系统的数据保存在什么目录下。我们可以将这个参数设置为多个分区目录,即可将HDFS建立在不同分区上。
如:
<property>
    <name>dfs.data.dir</name>
    <value>/dev/sda3/hadoopdata/,/dev/sda1/hadoopdata/</value>
</property>
 
引用如下作者文章
http://blog.itpub.net/24167542/viewspace-1120232/
四、hadoop新旧配置对比
引用作者文章
http://blog.csdn.net/lifuxiangcaohui/article/details/39106243
分享到:
评论

相关推荐

    hadoop配置文件编辑

    本文将对 Hadoop 的配置文件进行详细的解释,并对每个配置文件中的关键参数进行详细的说明。 一、core-site.xml core-site.xml 是 Hadoop 集群的核心配置文件,用于配置 Hadoop 的基本参数。这里面有七个关键参数...

    hadoop配置文件参数详解1

    Hadoop 配置文件参数详解 Hadoop 配置文件是 Hadoop 集群的核心组件之一,它们控制着 Hadoop 集群的行为和性能。Hadoop 配置文件主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml 三个配置文件。这些配置...

    Hadoop 三个配置文件的参数含义说明

    在Hadoop生态系统中,配置文件对于集群的正常运行至关重要。主要涉及三个核心配置文件:`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。这些文件定义了Hadoop系统的各种参数,包括但不限于端口设置、存储...

    大数据运维技术第4章 Hadoop文件参数配置课件.pptx

    以下是关于Hadoop配置文件、环境配置、守护进程环境配置以及配置参数格式的详细说明。 1. **Hadoop配置文件** - **core-site.xml**:这是集群全局参数的配置文件,用于设定系统级别的参数,比如默认的文件系统(fs...

    hadoop配置.zip

    这个压缩包文件“hadoop配置”应该包含了上述配置的示例或模板,用于指导Hadoop HA的配置。务必根据自己的集群环境进行适当的修改和调整。在实际部署时,还需要考虑其他的集群管理工具,如Ambari,以简化管理和监控...

    hadoop配置属性

    - 方法二:访问Apache Hadoop官网提供的链接,可以直接查看到Hadoop各版本默认的配置文件,但官网提供的通常仅包含各个属性的说明,并不提供实际的配置文件内容。 2. 常用的端口配置分为几个部分,主要涉及到HDFS...

    hadoop-windows下配置文件

    3. **配置文件**: 配置Hadoop在Windows上运行涉及到修改一系列配置文件,如`core-site.xml`(核心站点配置)、`hdfs-site.xml`(HDFS站点配置)、`mapred-site.xml`(MapReduce站点配置)和`yarn-site.xml`(YARN...

    hadoop 安装配置说明,以及相关实验等

    在Linux中,命令行输入工具vi编辑器是进行配置文件修改和文本查看的重要工具。此外,命令自动补全功能可以简化命令的输入过程,提高效率。 接着,涉及到Hadoop的安装配置。这一部分需要在Linux环境下进行,因为...

    Hadoop分布式文件系统的文件读写

    以下是对Hadoop文件读写及相关属性的详细说明。 ### 一、HDFS的文件写入 1. **Block分裂**:HDFS将大文件划分为多个固定大小的块(默认128MB),每个块最多存储在一个DataNode上。如果文件大小不足一个块,也会...

    Hadoop安装配置说明.doc

    4. **Hadoop配置**: `hadoop-env.sh`, `hdfs-site.xml`, `core-site.xml`, `mapred-site.xml`等文件的修改是Hadoop运行的核心配置。 5. **Hadoop集群通信**: 配置主机名和IP映射,确保节点间能正确通信。 6. **...

    hadoop安装部署说明文档

    本文将详细介绍如何在Linux集群和Windows环境下进行Hadoop的安装与配置,以及对Hadoop核心配置文件的属性进行解析。 一、Linux集群安装部署 1. **环境准备**:首先确保系统为Linux发行版,如Ubuntu或CentOS,安装...

    Linux下Hadoop伪分布式配置及操作命令

    以上知识点详细地阐述了在CentOS系统上配置Hadoop伪分布式环境的全过程,包括了环境准备、JDK安装、环境变量配置、Hadoop配置文件修改、SSH无密码登录配置、集群的启动和使用,以及常用命令的介绍。对于初学者来说,...

    hadoop学习步骤说明

    4. **配置Hadoop配置文件**:主要包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件,这些文件用于设置Hadoop集群的基本参数。 #### 三、熟悉Hadoop Shell命令 Hadoop提供了丰富的...

    软件工程课程设计报告Hadoop配置

    【软件工程课程设计报告Hadoop配置】主要涵盖了在软件工程课程中使用Hadoop进行课程设计的相关内容,包括环境搭建、Eclipse中的应用测试、遇到的问题与解决方案以及对Hadoop源码的分析。以下是对这些知识点的详细...

    Hadoop集群配置及MapReduce开发手册

    - **内存优化**: 调整Hadoop配置文件中的内存参数,如`mapred.child.java.opts`、`yarn.nodemanager.resource.memory-mb`等,以提高系统的内存利用率。 - **master优化**: 对Namenode进行优化,比如增加缓存大小、...

    Hadoop安装与配置

    ### Hadoop安装与配置知识点详解 #### 一、Hadoop简介及核心组件 **Hadoop** 是Apache软件基金会旗下的一款开源分布式计算平台,其主要功能是处理和存储大规模数据集。Hadoop的核心组件包括 **Hadoop分布式文件...

    hadoop集群配置及mapreduce开发手册

    - **内存优化**:根据实际硬件资源调整Hadoop配置文件中的内存参数。 - **Master优化**:减少Master节点的负担,如增加TaskTracker的数量。 - **文件存储设置**:优化数据块的存储位置和复制策略。 - **MapReduce...

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案 1.5 方案优缺点比较 第2章 ...

Global site tag (gtag.js) - Google Analytics