hadoop-1.0.3单机配置

hadoop-1.0.3单机配置

 

前提条件：

1. 安装jdk

2. ssh免密码输入访问

 

配置步骤：

1. 下载hadoop-1.0.3并解压到/home/ting/program/hadoop目录

2. 设置环境变量

vim ~/.bash_profile，添加如下内容：

export HADOOP_HOME=/home/ting/program/hadoop/hadoop-1.0.3

 

3. 在hadoop-1.0.3目录创建一个tmp目录

mkdir tmp

 

4. 修改conf/hadoop-env.sh

去掉JAVA_HOME前的#，并将其修改成自己安装的java路径。

# The java implementation to use.  Required.

export JAVA_HOME=/home/ting/program/java/jdk1.6.0_34

 

5. 修改conf/core-site.xml

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://127.0.0.1:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/ting/program/hadoop/hadoop-1.0.3/tmp</value>

  </property>

</configuration>

说明：127.0.0.1是单机环境下的本机地址，9000在搭建hbase集群环境时需要用到。

hadoop.tmp.dir设置为之前创建的tmp目录

 

6. 修改conf/hdfs-site.xml

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

 

7. 修改conf/mapred-site.xml

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

  </property>

</configuration>

 

8. 修改conf/masters和conf/slaves，其内容都是localhost

localhost

 

9. 格式化HDFS

命令：./bin/hadoop namenode -format

说明：进行此步前最好先删除tmp目录下的所有数据，否则DataNode线程无法启动。

 

10. 运行hadoop

命令：sh start-all.sh

 

11. 测试hadoop是否启动成功

命令：jps

若出现如下6个名称的进程，则hadoop运行成功。

15125 SecondaryNameNode

15217 JobTracker

14984 DataNode

19072 Jps

14860 NameNode

15348 TaskTracker

 

12. 验证Hadoop是否安装成功。打开浏览器，分别输入一下网址：

http://localhost:50030    (MapReduce的Web页面)

 

http://localhost:50070    (HDfS的web页面)