`
welcome66
  • 浏览: 402760 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

集群模式:在Ubuntu上安装Hadoop

阅读更多

       在安装好单机模式的hadoop之后,我们就可以着手来在集群模式下安装hadoop了。在安装了单机版hadoop的机器上将hadoop转成集群模式是很容易的。首先来设置网络。

网络

       首先,我们需要在同一个网络的几台机器(这里用的是192.168.0.0/24网段)。然后为了操作方便,我们需要给它们配上域名,直接在 /etc/hosts 文件里面加入以下内容。

1 192.168.0.1    master
2 192.168.0.2    slave

配置SSH

 

       为了能让hadoop运行,需要让master机器能够登录到slave机器上,这就要配置SSH密钥。跟配置单机模式的时候相似,把 ~/.ssh/authorized_key 文件拷贝slave机器的 ~/.ssh/ 路径下。在完成后试试是否能够用运行hadoop的帐号登录slave机器,能的话这一步就算完成了。

安装hadoop

master机器上的配置项

HADOOP_HOME/conf/master 这个文件定义了在多机器模式下在那台机器上运行 namenode , secondary namenode和jobtracker。我们可以通过运行 HADOOP_HOME/bin/start-all.sh 来启动多机器模式的hadoop。在master机器上,我们需要在 HADOOP_HOME/conf/master添加以下内容。

1 master
HADOOP_HOME/conf/slave  这个文件定义在多机器模式的hadoop里面在那些机器上运行datanode和tasktracker。需要在这个文件里面添加一下配置。
1 master
2 slave

所有机器上都需要的配置项

 

在 HADOOP_HOME/conf/core-site.xml 文件里面添加一下配置

1 <property>
2   <name>fs.default.name</name>
3   <value>hdfs://master:54310</value>
4   <description>The name of the default file system.  A URI whose
5   scheme and authority determine the FileSystem implementation.  The
6   uri's scheme determines the config property (fs.SCHEME.impl) naming
7   the FileSystem implementation class.  The uri's authority is used to
8   determine the host, port, etc. for a filesystem.</description>
9 </property>
在HADOOP_HOME/conf/mapred-site.xml 文件里面添加以下配置:
1 <property>
2   <name>mapred.job.tracker</name>
3   <value>master:54311</value>
4   <description>The host and port that the MapReduce job tracker runs
5   at.  If "local", then jobs are run in-process as a single map
6   and reduce task.
7   </description>
8 </property>
在 HADOOP_HOME/conf/hdfs-site.xml 文件添加以下配置:
1 <property>
2   <name>dfs.replication</name>
3   <value>2</value>
4   <description>Default block replication.
5   The actual number of replications can be specified when the file is created.
6   The default is used if replication is not specified in create time.
7   </description>
8 </property>
接下来把HDFS文件系统来格式化一下
1 $ /usr/local/hadoop$ bin/hadoop namenode -format
然后运行 /usr/local/hasoop/bin/start-all.sh ,如果执行成功,多机器模式的hadoop就安装完成了。

 

分享到:
评论

相关推荐

    ubuntu下安装hadoop集群

    ubuntu下安装hadoop集群,设置ssh对其他node无密码访问

    在Ubuntu上配置Hadoop集群

    ### 在Ubuntu上配置Hadoop集群的关键知识点 #### 一、任务概述 本文档旨在指导用户如何在Ubuntu系统上搭建一个分布式的Hadoop集群。通过详细的操作步骤和注意事项,确保读者能够顺利地完成集群的配置。 #### 二、...

    在 Ubuntu12.04 上安装Hadoop-1.2.1 (讲解的非常详细)

    【在 Ubuntu12.04 上安装 Hadoop-1.2.1】的详细步骤 在 Ubuntu12.04 上安装 Hadoop-1.2.1 的过程涉及到多个环节,包括系统准备、用户权限设置、Java 开发环境的安装、Hadoop 的下载与配置、主机名与网络设置以及 ...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    3. 伪分布式模式安装:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 4. 分布式模式安装:使用多个...

    在Ubuntu上安装hadoop

    在Ubuntu上安装Hadoop是一项重要的任务,特别是对于那些想要学习和使用分布式计算框架的IT专业人士。Hadoop是一个开源框架,由Apache基金会维护,用于处理和存储大量数据。它基于谷歌的MapReduce编程模型和分布式...

    Ubuntu下的Hadoop安装教程

    Hadoop 需要 Java 运行环境支持,因此在安装 Hadoop 之前,需要安装 JDK。 1. **下载 JDK**:访问 Oracle 官方网站或使用第三方仓库提供的包来安装 JDK。 2. **安装 JDK**:使用 `apt-get install openjdk-7-jdk` ...

    用虚拟机在ubuntu上搭建hadoop平台的单机模式

    ### 使用虚拟机在Ubuntu上搭建Hadoop平台单机模式 #### 概述 本文旨在详细介绍如何在虚拟机环境下,利用Ubuntu系统搭建Hadoop平台的单机模式。通过本教程,您可以掌握从安装虚拟机到配置Hadoop环境的全过程。本文...

    Ubuntu20.04搭建hadoop2.10.0集群.md

    本文档详细介绍了如何在Ubuntu20.04操作系统上搭建Hadoop2.10.0集群,包括环境配置、软件安装、网络设置、集群启动等多个方面。 ##### 1. 服务器环境 集群包含三台服务器: - **us1**:`192.168.94.136` - **us2*...

    基于Ubuntu的Hadoop简易集群安装与配置

    ### 基于Ubuntu的Hadoop简易集群安装与配置知识点详解 #### 一、绪论 ##### 1.1 研究背景及意义 在当前信息化社会中,随着科技的发展与进步,尤其是互联网技术的普及,我们正处在一个数据爆炸的时代。各行各业都在...

    安装Hadoop(单机版和集群)步骤

    本教程将详细介绍如何在Ubuntu 12.10操作系统上安装Hadoop的单机版和集群版。首先,确保你已经在VMware虚拟机上安装了Ubuntu 12.10系统,并准备安装Hadoop稳定版1.0.4。 **单机版安装步骤:** 1. **下载与解压...

    两台 Ubuntu 机器实现 Hadoop 集群

    标题 "两台 Ubuntu 机器实现 Hadoop 集群" 提到的是在两台运行 Ubuntu 操作系统的计算机上搭建 Hadoop 分布式集群的过程。Hadoop 是一个由 Apache 软件基金会开发的开源框架,主要用于存储和处理大规模数据。在 ...

    Ubuntu上搭建Hadoop2.x详细文档

    - 在安装完Ubuntu系统后,可以通过图形界面的终端或者外部工具如XShell来连接和操作Ubuntu。 - 使用`Ctrl + Alt + T`快捷键快速打开终端。 - 如果需要使用其他终端工具,可以通过SSH协议连接到Ubuntu。 ##### 创建...

    ubuntu上hadoop的安装及配置

    在本文中,我们将详细探讨如何在Ubuntu 10.10 (Maverick Meerkat)上通过VMware虚拟机安装并配置Hadoop集群。这个过程涵盖了从搭建虚拟环境到安装必要的软件,以及最终配置Hadoop分布式文件系统(HDFS)和MapReduce服务...

    ubuntu18.04搭建hadoop步骤

    ubuntu18.04或者centos7搭建hadoop集群,可以参考博客https://blog.csdn.net/u013305783/article/details/83744122

    基于Ubuntu的hadoop集群安装与配置

    "基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置,涵盖Hadoop的基本概念、HDFS(分布式文件系统)、MapReduce(分布式计算模型)、集群架构、NameNode和DataNode的角色...

    Ubuntu11.10下安装Hadoop1.0.2(双机集群)

    在搭建双机集群之前,首先需要确保在至少一台机器上成功安装并配置了Hadoop单机模式。这一步是后续集群配置的基础。 **第二步:克隆配置好的Ubuntu** 为了减少重复工作,可以使用已配置好的Ubuntu机器来克隆出另一...

    Linux下Hadoop集群安装指南

    我们可以使用以下命令来安装 Hadoop: tar -xzvf hadoop-1.0.4.tar.gz 四、安装其他 Hadoop 必备软件 在安装 Hadoop 软件包之后,我们需要安装其他必备软件,例如 JDK 和 SSH。我们可以使用以下命令来安装这些...

Global site tag (gtag.js) - Google Analytics