ubuntu上安装cdh3（hadoop）

• 利用apt-get install 命令安装cdh3，所以首先要添加它的库（repository），方法如下：

新建文件/etc/apt/sources.list.d/cloudera.list，内容如下

deb http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib
deb-src http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib

 其中<RELEASE>部分要用lsb_release -c命令的结过替换。如我的电脑的执行结果如下所示

hadoop@hzs-755-hzhang-desktop:/usr/lib$ lsb_release -c
Codename:	lucid

 那么替换的结果如下所示

deb http://archive.cloudera.com/debian lucid-cdh3 contrib
deb-src http://archive.cloudera.com/debian lucid-cdh3 contrib

 保存退出。

执行一下下面的命令：

 

$ curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -

•  上面已经完成了库的添加，下面就可以安装了

1. 更新apt包的索引

   $ sudo apt-get update

2. 我们要安装hadoop，所以搜索下有哪些可用的版本

   apt-cache search hadoop

3. 安装hadoop-0.20

   sudo apt-get install hadoop-0.20

    

• 安装完成后，接下来配置一下hadoop的伪分布式模式

conf/core-site.xml :

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

</configuration>

conf/hdfs-site.xml :

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

conf/mapred-site.xml :

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

  </property>

</configuration>

 

同时别忘了修改hadoop-env.sh文件，指定一下JAVA_HOME的值。

• 由于cdh版本的hadoop不能用root帐户启动，所以我们接下来要创建hadoop用户和组

1. 创建组hadoop，

   sudo groupadd hadoop

2. 创建用户hadoop，

   sudo useradd -g hadoop -d /home/hadoop -m hadoop

3. 修改用户hadoop的密码

   sudo passwd hadoop

4. 切换到用户hadoop

   su - hadoop

5. 验证下如下命令是否需要输入密码，

   ssh localhost

    如果需要密码，那么执行

   $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 最后启动hadoop,并通过访问下面两个连接，如果可以访问说明hadoop安装成功。

bin/start-all.sh 

NameNode - http://localhost:50070/

 JobTracker - http://localhost:50030

 

 

参考：

https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation

http://hadoop.apache.org/common/docs/r0.20.2/quickstart.html