namenode(hdfs)+jobtracker(mapreduce)可以放在一台机器
上,datanode+tasktracker可以在一台机器上,辅助namenode要单独放一台机器,jobtracker通常情况下分区跟
datanode一样(目录最好分布在不同的磁盘上,一个目录对应一个磁盘),namenode存储目录需要格式化,datanode存储目录不需要格式
化,启动时自动创建
同一个datanode上的每个磁盘上的块不会重复,不同datanode之间的块才可能重复
一些文件的说明:
1、dfs.hosts 记录即将作为datanode加入集群的机器列表
2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表
3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表
4、master 记录运行辅助namenode的机器列表
5、slave 记录运行datanode和tasktracker的机器列表
6、hadoop-env.sh 记录脚本要用的环境变量,以运行hadoop
7、core-site.xml hadoop core的配置项,例如hdfs和mapreduce常用的i/o设置等
8、hdfs-site.xml hadoop守护进程的配置项,包括namenode、辅助namenode和datanode等
9、mapred-site.xml mapreduce守护进程的配置项,包括jobtracker和tasktracker
10、hadoop-metrics.properties 控制metrics在hadoop上如何发布的属性
11、log4j.properties 系统日志文件、namenode审计日志、tasktracker子进程的任务日志的属性
一、hdfs守护进程的关键属性
1、fs.default.name 类型:uri 默认值:file:/// 说明:默认文件系统,uri定义主机名称和namenode的rpc服务器工作的端口号,默认是8020,在core-site.xml中配置
2、dfs.name.dir 类型:以逗号分隔的目录名称 默认值:${hadoop.tmp.dir}/dfs/name 说明:namenode存储永久性的元数据的目录列表,namenode在列表上的各个目录中均存放相同的元数据文件
3、dfs.data.dir 类型:以逗号分隔的目录名称 默认值:${hadoop.tmp.dir}/dfs/data 说明:datanode存放数据块的目录列表,各个数据块分别存于某个目录中
4、fs.checkpoint.dir 类型:以逗号分隔的目录名称 默认值:${hadoop.tmp.dir}/dfs/namesecondary 说明:辅助namenode存放检查点的目录列表,在所列的各个目录中分别存放一份检查点文件副本
二、mapreduce守护进程关键属性
1、
mapred.job.tracker 类型:主机名和端口 默认值:local
说明:jobtracker的rpc服务器所在的主机名称和端口号,如果设为默认值local,则运行一个mapreduce作业
时,jobtracker即时以处理时模式运行(换言之,用户无需启动jobtracker;实际上试图在该模式下启动jobtracker会引发错误)
2、mapred.local.dir 类型:逗号分割的目录名称 默认值:${hadoop.tmp.dir}/mapred/local 说明:存储作业中间数据的一个目录列表,作业终止时,数据被清除
3、mapred.system.dir 类型:uri 默认值:${hadoop.tmp.dir}/mapred/system 说明:在作业运行期间存储共享文件的目录,相对于fs.default.name
4、mapred.tasktracker.map.tasks.maximum 类型:int 默认值:2 说明:在任一时刻,运行在tasktracker之上的map任务的最大数
5、mapred.tasktracker.reduce.tasks.maximum 类型:int 默认值:2 说明:在任一时刻,运行在tasktracker之上的reduce任务的最大数
6、mapred.child.java.opts 类型:string 默认值:-xmx200m 说明:jvm选项,用于启动运行map和reduce任务的tasktracker子进程,该属性可以针对每个作业进行设置,例如,可以设置jvm的属性,以支持调试
7、mapred.child.ulimit 限制由tasktracker发起的子进程的最大虚拟内存(单位千字节),该值设置一定要大于6设置项的值
三、rpc服务器属性
1、dfs.datanode.ipc.address 默认值:0.0.0.0:50020 说明:datanode的rpc服务器的地址和端口
2、mapred.job.tracker 默认值:local 说明:被设为主机名称和端口号时,该属性指定jobtracker的rpc服务器地址和端口,常用的端口号时8021
3、
mapred.task.tracker.report.address 默认值:127.0.0.1:0
说明:tasktracker的rpc服务器地址和端口号,tasktracker的子jvm利用它和tasktracker通信,在本例中,可以使用任
一空闲端口,因为服务器仅对会送地址隐藏,如果本机器没有会送地址,则需变更默认设置
datanode也运行tcp/ip服务器以支持块传输,默认由dfs.datanode.address设定,默认值是0.0.0.0:50010
三、http服务器属性
1、mapred.job.tracker.http.address 默认值:0.0.0.0:50030 说明:jobtracker的http服务器地址和端口
2、mapred.task.tracker.http.address 默认值:0.0.0.0:50060 说明:tasktracker的http服务器地址和端口
3、dfs.http.address 默认值:0.0.0.0:50070 说明:namenode的http服务器地址和端口
4、dfs.datanode.http.address 默认值:0.0.0.0:50075 说明:datanode的http服务器地址和端口
5、dfs.secondary.http.address默认值:0.0.0.0:50090 说明:辅助namenode的http服务器地址和端口
可
以选择某一个网络接口作为各个datanode和tasktracker的ip地址(针对http和rpc服务器)。相关属性项包括
dfs.datanode.dns.interface和mapred.tasktracker.dns.interface,默认值都是default
分享到:
相关推荐
Hadoop大数据平台运维杂记 Hadoop大数据平台运维杂记是关于Hadoop大数据平台的运维经验总结,主要涵盖了Hadoop集群的使用情况、安装升级、Cloudera Manager、Hadoop的发展历程、常见事故处理等方面的内容。 一、...
Apache 推了一个Hadoop,这是一个开源的、免费的东东;每个人、每个公司都可以拿来修改,发布。在众多公司中做的比较好(用的也比较广泛)是Cloudera。...它不是一个详细指导安装的文档、是一个杂记。
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
标题中的“大数据云计算技术 Hadoop运维杂记”表明这是一份关于Hadoop在大数据云计算环境下的运维实践文档。Hadoop是Apache基金会开发的一个开源框架,主要用于处理和存储大规模数据,尤其适合于处理非结构化和半...
Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...
在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...
【Hadoop第一次培训材料】是针对初学者设计的一份详细教程,旨在介绍分布式计算框架Hadoop的核心概念和技术。Hadoop是Apache软件基金会开发的一个开源项目,它为处理和存储大量数据提供了可扩展的、可靠的解决方案。...
Hadoop作为大数据处理的核心组件,包括HDFS(Hadoop Distributed File System)和MapReduce等模块,构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible,我们可以简化这个过程...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。它是由Apache软件基金会开发并维护的,旨在实现高效、可扩展的数据处理能力。Hadoop的核心由两个主要组件构成:Hadoop Distributed ...
在Hadoop生态系统中,Hadoop 2.7.7是一个重要的版本,它为大数据处理提供了稳定性和性能优化。Hadoop通常被用作Linux环境下的分布式计算框架,但有时开发者或学习者在Windows环境下也需要进行Hadoop相关的开发和测试...
Hadoop 架构是一个开源的、基于 Java 的编程框架,设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台,能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 ...
Hadoop 2.7.7是一款开源的分布式计算框架,由Apache基金会所开发。它的核心组件包括分布式文件系统HDFS和离线计算框架MapReduce。Hadoop 2.7.7支持完全分布式集群部署,具有高可靠性、高可扩展性、高容错性等特性。...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心设计是解决大数据处理的问题。Hadoop 2.7.4是Hadoop发展过程中的一个重要版本,它提供了许多增强特性和稳定性改进,使得大规模数据处理更加高效和...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop2.6.0是这个框架的一个重要版本,它包含了多项优化和改进,以提高系统的稳定性和性能。在这个压缩包中,我们关注的是与Windows...