在安装好单机模式的hadoop之后,我们就可以着手来在集群模式下安装hadoop了。在安装了单机版hadoop的机器上将hadoop转成集群模式是很容易的。首先来设置网络。
网络
首先,我们需要在同一个网络的几台机器(这里用的是192.168.0.0/24网段)。然后为了操作方便,我们需要给它们配上域名,直接在 /etc/hosts 文件里面加入以下内容。
配置SSH
为了能让hadoop运行,需要让master机器能够登录到slave机器上,这就要配置SSH密钥。跟配置单机模式的时候相似,把 ~/.ssh/authorized_key 文件拷贝slave机器的 ~/.ssh/ 路径下。在完成后试试是否能够用运行hadoop的帐号登录slave机器,能的话这一步就算完成了。
安装hadoop
master机器上的配置项
HADOOP_HOME/conf/master 这个文件定义了在多机器模式下在那台机器上运行 namenode , secondary namenode和jobtracker。我们可以通过运行 HADOOP_HOME/bin/start-all.sh 来启动多机器模式的hadoop。在master机器上,我们需要在 HADOOP_HOME/conf/master添加以下内容。
HADOOP_HOME/conf/slave 这个文件定义在多机器模式的hadoop里面在那些机器上运行datanode和tasktracker。需要在这个文件里面添加一下配置。
所有机器上都需要的配置项
在 HADOOP_HOME/conf/core-site.xml 文件里面添加一下配置
2 |
<name>fs.default.name</name> |
3 |
<value>hdfs://master:54310</value> |
4 |
<description>The name of the default file system. A URI whose
|
5 |
scheme and authority determine the FileSystem implementation. The |
6 |
uri's scheme determines the config property (fs.SCHEME.impl) naming |
7 |
the FileSystem implementation class. The uri's authority is used to |
8 |
determine the host, port, etc. for a filesystem.</description>
|
在HADOOP_HOME/conf/mapred-site.xml 文件里面添加以下配置:
2 |
<name>mapred.job.tracker</name> |
3 |
<value>master:54311</value> |
4 |
<description>The host and port that the MapReduce job tracker runs |
5 |
at. If "local" , then jobs are run in -process as a single map
|
在 HADOOP_HOME/conf/hdfs-site.xml 文件添加以下配置:
2 |
<name>dfs.replication</name> |
4 |
<description>Default block replication. |
5 |
The actual number of replications can be specified when the file is created.
|
6 |
The default is used if replication is not specified in create time .
|
接下来把HDFS文件系统来格式化一下
1 |
$ /usr/ local /hadoop$ bin/hadoop namenode - format |
然后运行 /usr/local/hasoop/bin/start-all.sh ,如果执行成功,多机器模式的hadoop就安装完成了。
相关推荐
ubuntu下安装hadoop集群,设置ssh对其他node无密码访问
### 在Ubuntu上配置Hadoop集群的关键知识点 #### 一、任务概述 本文档旨在指导用户如何在Ubuntu系统上搭建一个分布式的Hadoop集群。通过详细的操作步骤和注意事项,确保读者能够顺利地完成集群的配置。 #### 二、...
【在 Ubuntu12.04 上安装 Hadoop-1.2.1】的详细步骤 在 Ubuntu12.04 上安装 Hadoop-1.2.1 的过程涉及到多个环节,包括系统准备、用户权限设置、Java 开发环境的安装、Hadoop 的下载与配置、主机名与网络设置以及 ...
3. 伪分布式模式安装:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 4. 分布式模式安装:使用多个...
在Ubuntu上安装Hadoop是一项重要的任务,特别是对于那些想要学习和使用分布式计算框架的IT专业人士。Hadoop是一个开源框架,由Apache基金会维护,用于处理和存储大量数据。它基于谷歌的MapReduce编程模型和分布式...
Hadoop 需要 Java 运行环境支持,因此在安装 Hadoop 之前,需要安装 JDK。 1. **下载 JDK**:访问 Oracle 官方网站或使用第三方仓库提供的包来安装 JDK。 2. **安装 JDK**:使用 `apt-get install openjdk-7-jdk` ...
### 使用虚拟机在Ubuntu上搭建Hadoop平台单机模式 #### 概述 本文旨在详细介绍如何在虚拟机环境下,利用Ubuntu系统搭建Hadoop平台的单机模式。通过本教程,您可以掌握从安装虚拟机到配置Hadoop环境的全过程。本文...
本文档详细介绍了如何在Ubuntu20.04操作系统上搭建Hadoop2.10.0集群,包括环境配置、软件安装、网络设置、集群启动等多个方面。 ##### 1. 服务器环境 集群包含三台服务器: - **us1**:`192.168.94.136` - **us2*...
### 基于Ubuntu的Hadoop简易集群安装与配置知识点详解 #### 一、绪论 ##### 1.1 研究背景及意义 在当前信息化社会中,随着科技的发展与进步,尤其是互联网技术的普及,我们正处在一个数据爆炸的时代。各行各业都在...
本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。首先,确保你已经在VMware虚拟机上安装了Ubuntu 12.10系统,并准备安装Hadoop稳定版1.0.4。 **单机版安装步骤:** 1. **下载与解压...
标题 "两台 Ubuntu 机器实现 Hadoop 集群" 提到的是在两台运行 Ubuntu 操作系统的计算机上搭建 Hadoop 分布式集群的过程。Hadoop 是一个由 Apache 软件基金会开发的开源框架,主要用于存储和处理大规模数据。在 ...
- 在安装完Ubuntu系统后,可以通过图形界面的终端或者外部工具如XShell来连接和操作Ubuntu。 - 使用`Ctrl + Alt + T`快捷键快速打开终端。 - 如果需要使用其他终端工具,可以通过SSH协议连接到Ubuntu。 ##### 创建...
在本文中,我们将详细探讨如何在Ubuntu 10.10 (Maverick Meerkat)上通过VMware虚拟机安装并配置Hadoop集群。这个过程涵盖了从搭建虚拟环境到安装必要的软件,以及最终配置Hadoop分布式文件系统(HDFS)和MapReduce服务...
ubuntu18.04或者centos7搭建hadoop集群,可以参考博客https://blog.csdn.net/u013305783/article/details/83744122
"基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置,涵盖Hadoop的基本概念、HDFS(分布式文件系统)、MapReduce(分布式计算模型)、集群架构、NameNode和DataNode的角色...
在搭建双机集群之前,首先需要确保在至少一台机器上成功安装并配置了Hadoop单机模式。这一步是后续集群配置的基础。 **第二步:克隆配置好的Ubuntu** 为了减少重复工作,可以使用已配置好的Ubuntu机器来克隆出另一...
我们可以使用以下命令来安装 Hadoop: tar -xzvf hadoop-1.0.4.tar.gz 四、安装其他 Hadoop 必备软件 在安装 Hadoop 软件包之后,我们需要安装其他必备软件,例如 JDK 和 SSH。我们可以使用以下命令来安装这些...