hadoop单机转伪分布笔记

<!-- @page { margin: 2cm } PRE.cjk { font-family: "文泉驿微米黑", monospace } P { margin-bottom: 0.21cm } -->

一、伪分布（ Pseudo-Distributed ）与分布式（ Fully-Distributed ）的区别

     我们知道， hadoop 是运行在一个网络集群中的软件。在这个集群中，有 master 节点（一个逻辑上的节点包括二台物理节点），也有 node 节点（包括多台 namenode 节点和 datanode 节点）。也就是说，一个分布式 hadoop 程序的测试与运行，必须有多台主机的参与。那么，这就为编写软件带来了极大的不便。在这样的状况下， hadoop 推出了伪分布的概念。

     简单的讲，伪分布便是在一台主机上运行 hadoop 程序。其中的各个节点功能，均由 java 进程完成。在伪分布的环境下，实际上还是一台主机在进行代码执行和计算功能。

 

二、伪分布的配置

在完成单机版配置的情况下，进行以下配置：

1 ）配置 conf/core-site.xml 文件：

</configuration>

     					<property>


         						<name>fs.default.name</name>


       						  <value>hdfs://localhost:9000</value>


    					 </property>


				</configuration>


			

配置

hadoop

文件系统（

File System

）的

URL

路径，同时指定默认的端口

9000


			2

）配置
conf/hdfs-site.xml
文件：

<configuration>

<property>

<name>dfs.tem.dir</name>

<value>/home/tangli/hadoop/tem</value>

</property>

 

<property>

<name>dfs.name.dir</name>

<value>/home/tangli/hadoop/name</value>

</property>

 

<property>

<name>dfs.data.dir</name>

<value>/home/tangli/hadoop/data</value>

</property>

 

 

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

</configuration>

前三项分别配置伪分布运行下的缓冲文件目录地址， namenode 文件目录地址， datanode 文件目录地址，其值自定义设定。最后一项配置数据备份数量，可以任设，建议 1 ～ 3 。

注： 0.23.0 版本以后的配置文件都在 share/hadoop/common/templates/conf 目录之下。

 

3 ）配置 conf/mapred-site.xml 文件：

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

 

</configuration>

配置 JobTraker 地址（端口）

 

 

三、格式化 HDFS （很重要）：

进入 hadoop 所在目录，运行命令：

$ sudo bin/hadoop namenode -format

 

四、启动 hadoop 监护程序，即启动伪分布下的 hadoop ：

$ bin/start-all.sh

在启动监护程序之后，执行命令 $ jps ，会至少显示以下 5 项内容：

NameNode 、 SecondaryNameNode 、 JobTracker 、 TaskTracker 、 DataNode 、 Jps

 

      常见错误是缺少 NameNode 或者是 DataNode 。若缺少，请检查 conf/hdfs-site.xml 文件是否配置正确，若错误，修改后重新格式化 HDFS 。或者是权限错误，检查 namenode 文件目录地址， datanode 文件目录地址，若该目录图标上有小锁，表示当前用户无目录权限，请重新赋予正确权限。

 

五、停止 hadoop 监护程序

$ bin/stop-all.sh