精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2012-11-26
主要步骤请参考 http://dngood.blog.51cto.com/446195/775368。 里边的步骤都比较详细(也就是如何去配置hadoop环境 ,即 how)。
这里我着重记录下为什么要这样做(也就是why)
操作系统环境: linux (GNU/Linux是hadoop产品开发和运行的平台。) 完全分布式模式只能布置在linux下(unix未测试,hadoop官方也未给出明确说明。 windows目前来说只能作为一个开发平台,而不能作为一个运行平台)
所需软件 1.java 1.5.x,必须安装,建议选择Sun公司发行的Java版本。(这个也不多说了,hadoop的运行环境) 2.ssh 必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。(比如 启动hadoop集群环境时候,start-all.sh 会调用其他机器上的启动脚本,这时候需要权限之类的。 可以简单理解为配置好了ssh,权限这些事情就交给ssh做了) 3.hadoop 这个...不用多说了
java 和 ssh 的安装这里就不再多说,网上很容易搜到。 ssh的配置 文中讲的也是比较清楚的,如果想更多的了解ssh,可以参考原文作者给出的ssh连接。http://dngood.blog.51cto.com/446195/724207
配置 host和主机名 修改/etc/hosts文件。给集群的机器ip地址起一个别名,在下边的配置文件中(如原文中的 四 hadoop 配置 一章)更容易使用和理解。
linux下创建hadoop用户 理论上不创建也可以,但是还是很建议单独创建hadoop用户,便于管理。
配置 hadoop配置文件时候的注意事项: 在修改配置文件时候,value里边的 namenode之类的字段,是要在/etc/hosts 里边的存在的host,不然可能找不到结点。 <name>mapred.job.tracker</name> <value>namenode:9001</value>
远程拷贝的命令:scp eg:scp -r hadoop hadoop@datanode1:/home/hadoop/
启动hadoop集群环境后,测试结点是否正常工作的命令: jps
jps位于jdk的bin目录下,其作用是显示当前系统的java进程情况,及其id号。
============================================================== 我也是刚开始学习hadoop,学习的资料来自于 《hadoop实战》和《hadoop权威指南》 以及网上搜到的一些资料。 这些笔记是学习的过程中自己积累的,然后用更加浅显的话表述出来,希望也能帮助到初学者。当然里边会有很多错误,也希望大家指出,我会认真改正,谢谢
声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |
浏览 1491 次