hadoop单机环境安装

root@alleni123

1. 首先下载http://www.apache.org/dyn/closer.cgi/hadoop/common/


2. 解压缩到usr/local/hadoop

3. 设置环境变量
sudo vi $HOME/.bashrc

加入
export HADOOP_PREFIX=/usr/local/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin

然后在终端窗口输入$PATH, 就可以看到hadoop/bin被加入进去了。


4. 在hadoop的配置文件中设置java路径， 告诉hadoop Java在哪里。
sudo vi /usr/local/hadoop/conf/hadoop-env.sh

找到#The java implementation to use. Required.
修改下面的java_home路径为系统上的jdk的home路径。

这里要禁止ipv6.
在#Extra Java runtime options. Empty by default下面修改为：
export HADOOP_OPTS=-Djava.net.preferIPV4Stack=true


5. 配置namenode端口地址
sudo vi /usr/local/hadoop/conf/core-site.xml

<configuration>
 <property>
  <name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/tmp</value>
</property>

</configuration>

6.
sudo vi /usr/local/hadoop/conf/mapred-site.xml

<configuration>
 <property>
  <name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

之前把name这里写成了mapred.jobtracker, 结果导致启动后jobtracker和tasktracker自动关闭。



7. sudo mkdir /usr/local/hadoop/tmp
sudo chown root /usr/local/hadoop/tmp
//这里配置，视频24分钟。 视频的窗口上方显示的是: nuggestuser@HNName
//而我的是root@alleni123
//视频的指令是 sudo chown nuggestuser /usr/local/hadoop/tmp
//所以我把nuggestuser改为root
//这里的chown指令如果不输入， 则会在执行format时抛出hadoop java.net.unknownhostexception
//说alleni123.linux:未知的名称或服务

8. hadoop namenode -format
//这里会出现错误， 参考==分界线下面的内容


9. 输入start-all.sh
然后输入jps
如果能看到
TaskTracker
JobTracker
NameNode
DataNode
SecondaryNameNode
Jps

那应该就是成功了。


====================

关于/etc/hosts

输入#hostname
可以看到我这里是alleni123.linux
也就是说， linux是我的localdomain, 而alleni123是localhost名称。

这样会导致一个错误，参考http://blog.csdn.net/shirdrn/article/details/6562292
Hadoop格式化HDFS报错java.net.UnknownHostException

因为hadoop找到了alleni123.linux, 却无法从这个域名映射我的localhost的地址。
所以就照着修改。
改了半天没作用。。
最后在http://www.jb51.net/LINUXjishu/10958.html看到赫然的四个字。
记得重启！！！
简直想骂人了。。