`
Lewis·Lee
  • 浏览: 66088 次
  • 性别: Icon_minigender_1
  • 来自: 台州
社区版块
存档分类
最新评论

两台 Ubuntu 机器实现 Hadoop 集群

阅读更多

实验环境:一台是 Ubuntu 10.04 机器,另一台是安装在 Windows XP 下通过 Vmware Server 的虚拟机,该系统也是 Ubuntu 10.04。可以利用 LVM 的“快照”功能实现数据备份

 

1.  实现 Hadoop 集群时,用到以下这些软件:

  • Ubuntu Linux 10.04 LTS, 8.10, 8.04 LTS, 7.10, 7.04 (9.10 and 9.04 should work as well)
  • Hadoop 0.20.2, released February 2010 (also works with 0.13.x - 0.19.x)
  • Sun JDK 6 6u21 (1.6.21), 安装 JDK 详细步骤 (该页面的 PDF 文件已上传到附件)。如在服务器上,我们只需安装 Sun JRE 6u21 即可。 注意,jdk-6u21-linux-i586.bin 需通过 VPN 才能下载;
  • OpenSSH Server,在 Ubuntu 中输入 sudo apt-get install openssh-server 即可安装
  • Rsync

使用 PuTTy 的 scp 功能实现文件传输

C:\Documents and Settings\Huagang Li>pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323
-scp "E:\Software\Linux Server\JDK\jdk-6u21-linux-i586.bin" lewis@192.168.1.198:
/home/lewis/
jdk-6u21-linux-i586.bin   | 81889 kB | 3899.5 kB/s | ETA: 00:00:00 | 100%

pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323 -scp "H:\Search Engine\Open Source\hadoop-0.21.0.tar.gz" lewis@192.168.1.199:/home/lewis/

 

注意 :利用 Vmware Server 在 Windows XP 上安装 Ubuntu 10.04 完成后,记得执行以下命令,不然安装软件时出现 LC_ALL = (unset) 错误:

# 前提是 /etc/default/locale 文件的内容为(不包括 # 号):
# LANG="en_US.UTF-8"
# LANGUAGE="en_US:en"
sudo locale-gen en_US.UTF-8
 

 

2.  配置 Hadoop 信息请浏览参考资料一

 

 

参考资料

  1. Running Hadoop On Ubuntu Linux (Multi-Node Cluster)

  2. Running Hadoop On Ubuntu Linux (Single-Node Cluster)

  3. 用 Hadoop 进行分布式数据处理

  4. 使用 Linux 和 Hadoop 进行分布式计算

分享到:
评论
2 楼 Lewis·Lee 2012-12-15  
不清楚  那时还在学校读研,对这个感兴趣
1 楼 shmwei 2012-11-05  
台州也有搞这个的吗  我以前在路桥区

相关推荐

    基于Ubuntu的Hadoop简易集群安装与配置

    - 将SSH公钥复制到其他两台Slave节点,实现SSH免密登录。 ###### 3.3.3 进行Hadoop集群完全分布式的安装配置 - 下载并解压Hadoop安装包。 - 配置`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`等配置文件。 ...

    基于Ubuntu的hadoop集群安装与配置

    "基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置,涵盖Hadoop的基本概念、HDFS(分布式文件系统)、MapReduce(分布式计算模型)、集群架构、NameNode和DataNode的角色...

    Hadoop在两台Ubuntu的VM虚拟机的集群配置

    为了更好地学习和实践Hadoop,我们可以使用VMware WorkStation创建两台Ubuntu虚拟机,并在其上配置Hadoop集群。下面是相关的知识点: 1. VMware WorkStation的安装和配置:VMware WorkStation是一款功能强大且流行...

    hadoop集群搭建文档资料

    3. **硬件需求**:搭建Hadoop集群需要多台服务器或虚拟机,它们需要足够的内存、CPU和磁盘空间。硬件配置应根据预期的数据量和计算负载进行选择。 4. **安装环境准备**:首先,所有节点需要安装相同版本的操作系统...

    hadoop集群

    在搭建Hadoop集群之前,你需要准备多台服务器或虚拟机,这些节点将作为集群的一部分。至少需要一个NameNode(主节点)和一个DataNode(数据节点),但为了高可用性,通常会配置额外的NameNode和Secondary NameNode。...

    Ubuntu10.04下Hadoop-0.20.2集群配置手册.doc

    首先,硬件环境是一个典型的分布式计算集群配置,由两台物理机器上的四个虚拟机组成,每个虚拟机运行Ubuntu 10.04,通过VMware的桥接模式拥有独立的内网IP。宿主机使用Windows XP,通过SecureCRT进行远程连接。文件...

    基于Ubuntu的hadoop集群安装与配置.docx

    它的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,这两部分是实现大规模数据处理的基础。 首先,我们需要准备三台主机,分别为master、slaver1和slaver2,它们将在Hadoop集群中分别担任...

    hadoop集群配置范例及问题总结.pdf

    每台机器需要有两个物理IP地址,供Hadoop集群使用。 二、Java JDK安装 Hadoop集群需要Java JDK支持,推荐使用Java 1.6.0_31版本。在每台机器上安装Java JDK,确保版本一致。 三、NameNode和DataNode配置 Hadoop...

    Ubuntu11.10下安装Hadoop1.0.2(双机集群)

    该文档对于希望在类Ubuntu环境中部署Hadoop集群的用户具有较高的参考价值。 #### 二、准备工作与环境配置 **第一步:部署单机模式** 在搭建双机集群之前,首先需要确保在至少一台机器上成功安装并配置了Hadoop单机...

    hadoop集群配置范例及问题总结.docx

    1. 硬件环境:Hadoop集群需要至少两台机器,安装ubuntu11操作系统,并采用桥接模式,需要两个物理IP地址。 2. Java环境:Hadoop集群需要Java JDK 1.6.0_31或更高版本。 3. Namenode和Datanode的设置:Namenode是...

    词频统计(基于hadoop集群,python实现)

    本教程将深入探讨如何利用Hadoop集群和Python实现词频统计,这是一个经典的WordCount示例,适合初学者入门。在这个项目中,我们将通过Python编写MapReduce程序,并在Ubuntu系统上配置的Hadoop集群上运行它。 首先,...

    机房hadoop集群部署

    1. **硬件规划**:机房中的Hadoop集群通常由多台服务器组成,包括NameNode(主节点)、DataNode(数据节点)和Secondary NameNode(辅助NameNode)。硬件配置应根据数据规模、处理需求和预算来确定,包括CPU、内存、...

    最新Hadoop集群部署(最全面).pdf

    在 vmvare 安装好一台 Ubuntu 虚拟机后,可以导出或者克隆出另外两台虚拟机。准备机器:一台 master,若干台 slave,配置每台机器的 /etc/hosts 保证各台机器之间通过机器名可以互访。 3.2 安装 JDK 安装 JDK 的...

    构建Hadoop分布式集群环境

    在本教程中,使用两台机器来构建Hadoop集群,这样做是为了便于初学者理解和操作,因为两台机器的配置步骤相对简单,而且可以避免硬件资源限制的问题。随着学习的深入,可以逐渐增加节点数量来构建更复杂的集群环境。...

    Hadoop集群安装配置教程_Hadoop2.62

    【Hadoop集群安装配置教程_Hadoop2.6.0】是针对在Ubuntu和CentOS操作系统上搭建Hadoop集群的详细指南。本教程适用于Hadoop 2.x系列版本,特别是Hadoop 2.6.0及类似版本如Hadoop 2.7.1、Hadoop 2.4.1。它假设读者已经...

    hadoop集群安装-鲁德性能测试.docx

    创建Hadoop集群通常需要至少三个节点:一个Master节点,两个Slave节点。Master节点负责运行NameNode、SecondaryNameNode和JobTracker,而Slave节点运行DataNode和TaskTracker。为了快速创建多个虚拟节点,可以复制已...

Global site tag (gtag.js) - Google Analytics