hadoop 0.21.0 环境的搭建。
一共有4台机器:
Master:10.125.20.5
Slaves:10.125.20.6,10.125.20.8,10.125.20.9
第一步:Linux服务器Host配置
每台机器修改/etc/hosts,添加以下几行:
10.125.20.5 master master
10.125.20.6 hadoop1 hadoop1
10.125.20.8 hadoop2 hadoop2
10.125.20.9 hadoop3 hadoop3
修改HostName(这一步是可选的,不过配了之后看文件分块信息更加明确)
10.125.20.5上执行 hostname master
10.125.20.6上执行 hostname hadoop1
10.125.20.8上执行 hostname hadoop2
10.125.20.9上执行 hostname hadoop3
第二步:各台Slaves建立对Master的信任关系,以使得可以从Master无密码直接ssh登录Slaves
Master机器上执行:
ssh-keygen -t rsa
它会生成以下文件:
/root/.ssh/id_rsa
/root/.ssh/id_rsa.pub
执行以下指令,将公钥拷贝到Slaves:
scp /root/.ssh/id_rsa.pub root@hadoop1:/root/.ssh/authorized_keys
scp /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/authorized_keys
scp /root/.ssh/id_rsa.pub root@hadoop3:/root/.ssh/authorized_keys
注意这种方式会覆盖Slaves对其它机器的信任关系,为了避免覆盖,可以将Master上/root/.ssh/id_rsa.pub里面的内容追加到各台Slaves机器的/root/.ssh/authorized_keys文件尾部。
试一下:
#ssh master
#ssh hadoop1
#exit
#ssh hadoop2
#exit
#ssh hadoop3
#exit
现在可以无密码登录各台slave了。
第三步:安装JDK
我安装的jdk1.6.0_21 linux64 bpm位版本。请到java官方网站下载。
Master和Slave各上传一份JDK安装文件,然后执行:
#chmod +x jdk6-xxxx.rpm.bin
#./jdk6-xxxx.rpm.bin
安装完成后JDK位于/usr/java/jdk1.6.0_21
第四部:“安装”hadoop
到官网下载
晚上继续完成。。。。未完待续
分享到:
相关推荐
Hadoop-0.21.0分布式集群配置.doc
1. 将下载的hadoop0.21.0.tar.gz复制到/usr/local目录下,使用`sudo cp hadoop路径 /usr/local`命令。 2. 进入/usr/local目录,解压hadoop0.21.0.tar.gz。 3. 为了管理方便和未来升级,重命名解压后的文件夹为hadoop...
- 解压Hadoop:`cd /usr/local && sudo tar -xzf hadoop0.21.0.tar.gz` - 重命名解压后的文件夹:`sudo mv hadoop0.21.0 hadoop` - 创建名为hadoop的用户和用户组: - `sudo addgroup hadoop` - `sudo adduser --...
《单结点Hadoop安装手册》是一份详细指导如何在单台计算机上搭建Hadoop伪分布式环境的文档。本文档适用于希望通过实践学习和熟悉Hadoop操作的个人,尤其适合初学者进行自我训练。作者建议使用RHEL6.0作为操作系统,...
通过以上步骤,你已经在 CentOS 系统上成功地搭建了一个单机版的 Hadoop 环境,可以进行基本的 Hadoop 测试和学习。在实际生产环境中,通常会配置多节点集群,以实现更高效的数据处理和容错能力。
- 安装Hadoop0.21.0,将其解压至/usr/local,并创建名为hadoop的用户和用户组。 - **配置阶段** - 配置环境变量,将Hadoop路径添加到PATH中,以便于命令行调用。 - 创建SSH密钥,使得Hadoop节点间可以安全无...
【云计算实验报告——Hadoop搭建】\n\n在软件工程的学习过程中,首次接触并实践了云计算领域的基础——Hadoop的搭建。本次实验旨在理解和掌握分布式计算环境的建立,以Hadoop 0.21.0版本为例,进行了一系列的安装与...
为了验证JDK和Hadoop是否配置成功,可以编译和运行一个简单的Java测试程序,如果输出显示JDK配置成功和Hadoop的运行提示,则说明Hadoop集群环境搭建成功。 需要强调的是,在实际搭建过程中可能会遇到各种问题,如...
在VMware Workstation上搭建Hadoop集群环境是一个重要的步骤,特别是在学习和测试分布式计算系统时。以下是关于在VMware Workstation上安装和配置Hadoop的详细步骤: 首先,我们需要从官方网站下载Hadoop的指定版本...
- **集群搭建难度**:Fourinone的集群搭建简单,仅需在每台机器上放置一个JAR文件和配置文件;而Hadoop搭建集群较为复杂,需要Linux操作基础和SSH等配置,还需配置多个文件。 - **计算模式**:Fourinone提供了两种...