hadoop安装和配置

本文转载自：http://fromwiz.com/share/s/0YAPBB0MskCl2frl3h0UOwHX3raS-22RIQ1m2iNRRc0rJBP9

0、安装jdk

参考http://freewxy.iteye.com/blog/882784

（1）sudo apt-get install vim

vi .bashrc 进入vim模式  按i 进入插入模式 然后编辑 编辑完后 按ESC 然后：wq （保存并退出）

 

shift +zz （本质是按两个大写的Z）

 

:w 保存文件但并不退出vi

:w file 将修改另外保存到file中，不退出vi

:w! 强制保存，不退出vi

:wq 保存文件并退出vi

:wq!强制保存文件并退出vi

q: 不保存文件 退出vi

:q! 不保存文件 强制退出vi

:e! 放弃所有修改,以上次保存文件开始再编辑

 

vi编辑只读文档无法保存的解决办法

:w !sudo tee %

编辑/etc/sudoers文件 xxx ALL=(ALL) ALL

 

（2）配置环境变量：

 

1、下载好hadoop-1.0.0.tar.gz

cd /下载

→sudo cp hadoop-1.0.0.tar.gz /usr/local

→cd /usr/local→sudo tar -xzf hadoop-1.0.0.tar.gz

→sudo mv hadoop-1.0.0 hadoop（改名文件夹为hadoop）

 

sudo gedit /etc/sudoers

在root ALL =(ALL) ALL 下面添加如下文字： hadoop ALL = (ALL) ALL

 

执行sudo chown hadoop /usr/local/hadoop，将hadoop文件夹的权限赋给hadoop用户

 

2、安装ssh

ssh-keygen

会提示填写保存路径，直接填括号里同样的路径即可，

直接两次回车，

即成功，跳转到保存路径，可以看到生成了一对密钥。

然后将私钥添加到受信任列表中（把钥匙交给来访者）

然后验证：

第一次会询问你。

上示即为登陆成功。

 

3.配置hadoop文件

（1）配置hadoop-env.sh

sh hadoop-env.sh 如果没报错，则配置正确

（2）配置core-site.xml

即：

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
 </property>

 

（3）配置hdfs-site.xml

即：

<property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>

(4)配置mapred-site.xml

即：

 <property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
 </property>

 

此时配置结束。

 

4、启动及运行wordcount

第一启动hdfs时要格式化一下，

localhost:50070   hdfs的管理界面

localhsot:50030   mapred的管理界面

 

在hodoop目录下建立input文件夹

 

在hdfs文件系统建/tmp/input文件夹,并将input下的两个文件上传

查看：

 

下面hadoop-examples-1.0.0.jar就是hadoop自带的wordcount

运行，并将结果输出到output文件夹

 

5、安装eclipse

下载好eclispe，然后cp /opt

sudo tar -zxvf eclipse****.tar.gz

然后 cp /opt/eclipse eclipse 即启动