Mac OS X 10.7.2下搭建hadoop1.0.3伪分布式模式

 

第一步：下载hadoop1.0.3

 

在浏览器输入：http://apache.etoak.com/hadoop/common/hadoop-1.0.3/

 

选择hadoop-1.0.3.tar.gz

 

 

第二步：解压、配置环境变量

 

我将hadoop-1.0.3.tar.gz放置在了/Users/zhangosufei/software下。

利用命令：tar -zxvf hadoop-1.0.3.tar.gz解压，解压后的路径如下：

/Users/zhangosufei/software/hadoop-1.0.3

 

通过cd conf命令切换到conf，通过vi hadoop-env.sh，在此文件末尾输入一下命令：

 

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
export HADOOP_INSTALL=/Users/zhangosufei/software/hadoop-1.0.3
export PATH=$PATH:$HADOOP_INSTALL/bin

保存，退出。

注意：HADOOP_INSTALL根据你本地hadoop所放置的位置来设置。

 

第三步：配置hadoop

 

通过vi core-site.xml，编辑此文件如下：

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 

通过vi mapred-site.xml，编辑此文件如下：

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

 

通过vi hdfs-site.xml，编辑此文件如下：

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

 

第四步：配置SSH

 

在系统偏好设置-》共享中，勾选远程登录选项，如下图：

 

 

第五步：格式化分布式文件系统

 

使用如下命令格式化：

 

bin/hadoop namenode -format

 

第六步：启动hadoop

 

使用如下命令启动：

 

bin/start-all.sh

 启动过程中，需要多次输入你登录操作系统的密码，如下图：

 

starting namenode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-namenode-bogon.out
Password:
localhost: starting datanode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-datanode-bogon.out
Password:
localhost: starting secondarynamenode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-secondarynamenode-bogon.out
starting jobtracker, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-jobtracker-bogon.out
Password:
localhost: starting tasktracker, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-tasktracker-bogon.out

 

在浏览器中输入http://localhost:50070，如果无法访问此服务，请查看logs目录下的hadoop-zhangosufei-namenode-bogon.log文件。如果配置成功，会看到以下页面：

 

在浏览器中输入http://localhost:50030，如果无法访问此服务，请查看logs目录下的hadoop-zhangosufei-datanode-bogon.log文件。如果配置成功，会看到以下页面：

 

 

 

OK，恭喜你，你的hadoop配置成功了。

评论

1 楼 wsbjwjt 2012-06-13  

牛呀