Hadoop-2.5.2在Win10上的伪分布式单节点配置

<div class="iteye-blog-content-contain" style="font-size: 14px">

Hadoop-2.5.2可以在win10系统上直接运行，而不需要Cygwin。下面来介绍配置过程：

一、下载Hadoop-2.5.2

在http://hadoop.apache.org/releases.html网址中可以找到Hadoop的相关版本点击进行下载

 

二、解压下载后的文件

（如hadoop-2.5.2.tar.gz）​到指定的目录，例如我的在

D:\hadoop\hadoop-2.5.2下。

 

三、配置相关文件

 1、配置hadoop-env.cmd文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop中）

用一种编辑器软件打开并在最后加上如下几句：

 

set HADOOP_PREFIX=D:\hadoop\hadoop-2.5.2
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

 

2、配置core-site.xml文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop中）

 

<configuration>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/hadoop/sysdata/tmp</value>
   </property>
   <property>
     <name>fs.default.name</name>
     <value>hdfs://0.0.0.0:19000</value>
   </property>
</configuration>

  

3、配置hdfs-site.xml文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop下

用一种编辑器软件打开并在内部编辑如下语句：​

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/hadoop/sysdata/hdfs/name</value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>/hadoop/sysdata/hdfs/data</value>
    </property>
</configuration>

  

4、配置mapred-site.xml文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop下）

用一种编辑器软件打开并在内部编辑如下语句：

<configuration>
   <property>
      <name>mapreduce.job.user.name</name>
      <value>%Administrator%</value>
   </property>
 
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
  
   <property>
      <name>yarn.apps.stagingDir</name>
      <value>/user/%Administrator%/staging</value>
   </property>
 
   <property>
      <name>mapreduce.jobtracker.address</name>
      <value>local</value>
   </property>
</configuration>

  

5、配置yarn-site.xml文件（该文件在e:/hadoop/deploy/etc/hadoop下）

用一种编辑器软件打开并在内部编辑如下内容：​

<configuration>
 
<property>
   <name>yarn.server.resourcemanager.address</name>
   <value>0.0.0.0:8020</value>
</property>
 
<property>
   <name>yarn.server.resourcemanager.application.expiry.interval</name>
   <value>60000</value>
</property>
 
<property>
   <name>yarn.server.nodemanager.address</name>
   <value>0.0.0.0:45454</value>
</property>
 
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
 
<property>
   <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
 
<property>
   <name>yarn.server.nodemanager.remote-app-log-dir</name>
   <value>/app-logs</value>
</property>
 
<property>
   <name>yarn.nodemanager.log-dirs</name>
   <value>/dep/logs/userlogs</value>
</property>
 
<property>
   <name>yarn.server.nodemanager.remote-app-log-dir</name>
   <value>/app-logs</value>
</property>
 
<property>
   <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
   <value>0.0.0.0</value>
</property>
 
<property>
   <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
   <value>0.0.0.0</value>
</property>
 
<property>
   <name>yarn.log-aggregation.retain-seconds</name>
   <value>-1</value>
</property>
 
<property>
   <name>yarn.application.classpath</name>
   <value>%HADOOP_CONF_DIR,HADOOP_COMMON_HOME%/share/hadoop/common/*,
   %HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,
   %HADOOP_COMMON_HOME%/share/hadoop/hdfs/*,
   %HADOOP_COMMON_HOME%/share/hadoop/hdfs/lib/*,
   %HADOOP_COMMON_HOME%/share/hadoop/mapreduce/*,
   %HADOOP_COMMON_HOME%/share/hadoop/mapreduce/lib/*,
   %HADOOP_COMMON_HOME%/share/hadoop/yarn/*,
   %HADOOP_COMMON_HOME%/share/hadoop/yarn/lib/*</value>
</property>
 
</configuration>

  

至此，所有的配置文件都以完成，下面要进行环境变量的初始化和相关的验证

四、环境变量的初始化及相关启动

1、打开cmd命令窗口，先切换到D:盘下。用cd D:\hadoop\hadoop-2.5.2\etc\hadoop目录下，执行hadoop-env.cmd命令即可初始化环境变量了。

  

2、格式化namenode,执行%HADOOP_PREFIX%\bin\hdfs namenode -format命令即可格式化namenode

  

3、启动 hdfs 进程，执行 %HADOOP_PREFIX%\sbin\start-dfs.cmd命令，这时会弹出两个命令窗口，在主窗口内用命令jps即可观察到现在启动的一些节点如下图所示：

 

可能会出现错误：如hadoop_io_nativeio_NativeIO$Windows_access0(Ljava-lang-String;I)Z

解决方法：见http://blog.csdn.net/congcong68/article/details/42043093

4、启动yarn进程，执行%HADOOP_PREFIX%\sbin\start-yarn.cmd命令，这时又会弹出两个命令窗口，在主窗口内用命令jps即可观察到现在启动的一些节点如下图所示：​

 

 

至此，Hadoop在win7系统下已经配置成功。

 

</div>