两台 Ubuntu 机器实现 Hadoop 集群

实验环境：一台是 Ubuntu 10.04 机器，另一台是安装在 Windows XP 下通过 Vmware Server 的虚拟机，该系统也是 Ubuntu 10.04。可以利用 LVM 的“快照”功能实现数据备份 。

 

1.  实现 Hadoop 集群时，用到以下这些软件：

• Ubuntu Linux 10.04 LTS, 8.10, 8.04 LTS, 7.10, 7.04 (9.10 and 9.04 should work as well)
• Hadoop 0.20.2, released February 2010 (also works with 0.13.x - 0.19.x)
• Sun JDK 6 6u21 (1.6.21), 安装 JDK 详细步骤 （该页面的 PDF 文件已上传到附件）。如在服务器上，我们只需安装 Sun JRE 6u21 即可。 注意，jdk-6u21-linux-i586.bin 需通过 VPN 才能下载；
• OpenSSH Server，在 Ubuntu 中输入 sudo apt-get install openssh-server 即可安装
• Rsync

使用 PuTTy 的 scp 功能实现文件传输

C:\Documents and Settings\Huagang Li>pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323
-scp "E:\Software\Linux Server\JDK\jdk-6u21-linux-i586.bin" lewis@192.168.1.198:
/home/lewis/
jdk-6u21-linux-i586.bin   | 81889 kB | 3899.5 kB/s | ETA: 00:00:00 | 100%

pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323 -scp "H:\Search Engine\Open Source\hadoop-0.21.0.tar.gz" lewis@192.168.1.199:/home/lewis/

 

注意 ：利用 Vmware Server 在 Windows XP 上安装 Ubuntu 10.04 完成后，记得执行以下命令，不然安装软件时出现 LC_ALL = (unset) 错误：

# 前提是 /etc/default/locale 文件的内容为（不包括 # 号）：
# LANG="en_US.UTF-8"
# LANGUAGE="en_US:en"
sudo locale-gen en_US.UTF-8

 

 

2.  配置 Hadoop 信息请浏览参考资料一

 

 

参考资料

1. Running Hadoop On Ubuntu Linux (Multi-Node Cluster)

2. Running Hadoop On Ubuntu Linux (Single-Node Cluster)

3. 用 Hadoop 进行分布式数据处理

4. 使用 Linux 和 Hadoop 进行分布式计算

评论

2 楼 Lewis·Lee 2012-12-15  

不清楚  那时还在学校读研，对这个感兴趣

1 楼 shmwei 2012-11-05  

台州也有搞这个的吗  我以前在路桥区