centos6.5 安装 hadoop 0.23.11 伪分布搭建

虚拟机是VMware10.0 + centos6.5， 配置难度不算高，

物理机IP：192.168.1.101，网关：192.168.1.1

虚拟机IP：192.168.1.201，网关：192.168.1.1

VMware Network Adapter VMnet8 IP：192.168.1.200 (NAT)

 

 

有两个问题：

1. 用PieTTY连接centos时，会拒绝连接，原因是sshd没有启动，需要配置sshd自动启动

#chkconfig --level 5 sshd on

2. 虚拟机无法上网，我暂时不知道怎么解决，目前不影响工作。

 

hadoop配置参考的是http://www.tuicool.com/articles/UnUnm2

但是里面漏写了几个地方，还有一些错误

1. 在运行start-dfs.sh 之前要格式化namenode，否则namenode进程不会启动，运行hadoop namenode -format

2. 运行start-yarn.sh 会出现找不到JAVA_HOME错误，有人说配置文件不是unix格式，好像不是这个问题。我是修改的 libexec/hadoop-config.sh, 在最上面加上JAVA_HOME=/usr/java/jdk8

3. 查到很多资料说可以把所有的环境变量配置到hadoop-env.sh这个文件，但是我没有找到，还是用老式的profile。有成功的朋友可以分享下，可能就是指hadoop-config.sh。

 

我折腾了几个晚上，最后祝大家都能配置成功。 

 

评论

2 楼 derekzhi 2014-10-15  

fair_jm 写道

不能上网要开两张网卡...vmware不知道 virtualbox一张host-only 一张nat
hadoop-env.sh 是hadoop 1.X里面的

用无线网卡上网，已经设置WLAN共享
WMnet8开启，WMnet1关闭，虚拟机还是不能上网。

1 楼 fair_jm 2014-10-11  

不能上网要开两张网卡...vmware不知道 virtualbox一张host-only 一张nat
hadoop-env.sh 是hadoop 1.X里面的