hadoop 伪分布模式

hadoop 各个组件均利用XML文件进行配置。core-site.xml文件用于配置Common组件的属性，hdfs-site.xml文件用于配置HDFS属性，而mapred-site.xml文件则用于配置MapReduce属性。这些配置文件都放在conf子目录中。

hadoop的运行模式有三种：

1）独立模式：在本机模式下测试和调试，适宜用在开发阶段。

2）伪分布模式：hadoop守护进程运行在本机上，模拟一个小规模的集群。

3）全分布模式：守护进程运行在一个集群上，生产模式。

 

下面主讲一下伪分布模式：

core-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

 hdfs-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		 <name>dfs.replication</name>
		 <value>1</value>
	</property>
</configuration>

 mapred-site.xml

<?xml version="1.0"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:8021</value>
	</property>
</configuration>

 格式化HDFS文件系统

格式化HDFS文件系统非常方便，只需要一个命令：

hadoop namenode -format

 启动和终止守护进程

为启动HDF和MapReduce守护进程，键入如下命令：

start-dfs.sh
start-mapred.sh

或执行：

start-all.sh

 本地将启动三个守护进程：一个namenode、一个辅助namenode和一个datanode。可以浏览logs目录中的日志文件来检查守护进程是否成功启动，或通过web界面：http://localhost:500030查看jobtracker或在http://localhost:50070查看namenode。此外java的jps命令也能查看守护进程是否正在运行。

终止守护进程：

stop-dfs.sh
stop-mapred.sh