`
cloudtech
  • 浏览: 4721376 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
文章分类
社区版块
存档分类
最新评论

Hadoop集群（三节点）安装与部署

 
阅读更多

1.2.1环境准备

环境由三台服务器组成，分别为目录节点，内容节点，服务器列表如下所示：

表１ 主机环境准备

IP

机器名称

10.0.0.201

m1.hadoop

10.0.0.209

s1.hadoop

10.0.0.211

s2.hadoop

下面列出各主机配置信息:

主机:m1.hadoop

[hadoop@m1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

NM_CONTROLLED="yes"

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=none

IPADDR=10.0.0.201

PREFIX=24

GATEWAY=10.0.0.254

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

HWADDR=10:50:56:AF:00:CF

[hadoop@m1 .ssh]$ cat /etc/hosts

10.0.0.201 m1.hadoop

10.0.0.209 s1.hadoop

10.0.0.211 s2.hadoop

127.0.0.1 localhost.localdomain localhost

[hadoop@m1 .ssh]$ cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=m1.hadoop

FORWARD_IPV4=yes

主机:s1.hadoop

[hadoop@s1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

NM_CONTROLLED="yes"

ONBOOT=yes

HWADDR=10:50:56:AF:00:D4

TYPE=Ethernet

BOOTPROTO=none

IPADDR=10.0.0.209

PREFIX=24

GATEWAY=10.0.0.254

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

[hadoop@s1 .ssh]$ cat /etc/hosts

10.0.0.209 s1.hadoop

10.0.0.201 m1.hadoop

10.0.0.211 s2.hadoop

127.0.0.1 localhost.localdomain localhost

[hadoop@s1 .ssh]$ cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=s1.hadoop

主机:s2.hadoop

[hadoop@s2 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

NM_CONTROLLED="yes"

ONBOOT=yes

HWADDR=01:50:56:AF:00:D7

TYPE=Ethernet

BOOTPROTO=none

IPADDR=10.0.0.211

PREFIX=24

GATEWAY=10.0.0.254

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

[hadoop@s2 .ssh]$ cat /etc/hosts

10.0.0.211 s2.hadoop

10.0.0.201 m1.hadoop

10.0.0.209 s1.hadoop

127.0.0.1 localhost.localdomain localhost

[hadoop@s2 .ssh]$ cat /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=s2.hadoop

1.2.2Java多机安装

将下载到后java文件传至各主机/home目录中，下面可以进行对其进行安装：

[root@s1 home]# chmod u+x jdk-6u25-linux-x64-rpm.bin

[root@s1 home]# ./jdk-6u25-linux-x64-rpm.bin

1.2.3SSH配置

在每台机器上创建hadoop帐户，在每台机器生成hadoop的的公私钥对，分别将上述公钥对写入到authorized_keys文件之中，将authorized_keys分别分发至各个主机~/.ssh/目录之中即可。

具体设置过程如下所示：

S1.hadoop主机:

[root@ s1 .ssh]# useradd hadoop #创建帐号

[root@ s1 .ssh]# passwd hadoop #配置密码

[root@ s1 .ssh 5]# su hadoop

[hadoop@s1 .ssh]$ssh-keygen

[hadoop@s1 .ssh]$chmod 700 ~/.ssh/

[hadoop@m1 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@m1 .ssh]$ chmod 600 authorized_keys

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@s2.hadoop:/home/hadoop/.ssh/

s2.hadoop主机：

[root@ s2 .ssh]# useradd hadoop #创建帐号

[root@ s2 .ssh]# passwd hadoop #配置密码

[root@ s2 .ssh 5]# su hadoop

[hadoop@s2 .ssh]$ssh-keygen

[hadoop@s2 .ssh]$chmod 700 ~/.ssh/

[hadoop@m2 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@m1.hadoop:/home/hadoop/.ssh/

m1.hadoop主机：

[root@ s1 .ssh]# useradd hadoop #创建帐号

[root@ s1 .ssh]# passwd hadoop #配置密码

[root@ s1 .ssh 5]# su hadoop

[hadoop@s1 .ssh]$ssh-keygen

[hadoop@s1 .ssh]$chmod 700 ~/.ssh/

[hadoop@m1 .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@s1.hadoop:/home/hadoop/.ssh/

[hadoop@m1 .ssh]$ scp authorized_keys hadoop@s2.hadoop:/home/hadoop/.ssh/

1.2.4Hadoop多机安装

Hadoop安装与配置过程见1.1.4节,先在m1.hadoop主机配置hadoop，安装hadoop、配置访问权限、配置环境变量：

具体操作过程（m1.hadoop）：

[root@m1 home]# tar xzvf hadoop-0.20.2.tar.gz

[root@ m1home]# mv hadoop-0.20.2 /usr/local

[root@ m1home]# cd /usr/local

[root@ m1local]# ls

bin etc games hadoop-0.20.2 include lib lib64 libexec sbin share src

[root@ m1local]# mv hadoop-0.20.2/ hadoop

[root@ m1local]# mkdir hadoop/Data

[root@ m1local]# mkdir hadoop/Name

[root@ m1local]# mkdir hadoop/Tmp

[root@ m1local]# chmod 777 /var/local

[root@ m1local]# ls

bin etc games hadoop include lib lib64 libexec sbin share src

[root@ m1local]# chown -R hadoop:hadoop /usr/local/hadoop/　#修改权限

[root@m1 conf]# vi core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://m1.hadoop:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/Tmp</value>

</property>

</configuration>

[root@m1 conf]# vi hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/usr/local/hadoop/Name</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/local/hadoop/Data</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

[root@m1 conf]# vi masters

m1.hadoop

[root@m1 conf]# vi slaves

m1.hadoop

s1.hadoop

s2.hadoop

[root@m1 conf]# vi mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>m1.hadoop:9001</value>

</property>

</configuration>

[root@ m1local]# scp -r /usr/local/hadoop s1.hadoop:/usr/local/

[root@ m1local]# scp -r /usr/local/hadoop s2.hadoop:/usr/local/

（s1.hadoop）：

[root@ s1local]# chmod 777 /var/local

（s2.hadoop）：

[root@ s2local]# chmod 777 /var/local

1.2.5Hadoop测试

[root@m1 conf]# jps

10209 Jps

9057 SecondaryNameNode

9542 SecondaryNameNode

7217 JobTracker

10087 TaskTracker

9450 DataNode


分享到：
| 单节点Hadoop安装过程
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    利用ansible 自动 安装Hadoop 集群

    在该目录下，创建`hosts`文件，列出所有Hadoop集群节点的IP地址或主机名，按照角色进行分组，例如，`namenode`、`datanode`等。 3. **编写Playbook**：创建`site.yml`或`hadoop-cluster.yml`文件，这是Ansible的...

    Hadoop集群部署方案.docx

    "Hadoop集群部署方案" Hadoop 集群部署方案是指在分布式系统中部署 Hadoop 集群的详细步骤和配置过程。下面是该方案的详细知识点解释： 1. Hadoop 简介 Hadoop 是Apache软件基金会旗下的开源项目，主要用于大数据...

    基于zookeeper的hadoop ha集群安装过程

    然后，需要配置机器名和主机名，以便于Hadoop集群的节点之间的通信。最后，需要配置ssh免密登录，以便于Hadoop集群的节点之间的无密码登录。 三、 JDK 安装 JDK是Hadoop的运行环境，需要安装JDK 1.7或更高版本。...

    Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc

    首先，我们来看任务1——Hadoop集群的部署。这一步至关重要，因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin 16.04.4是常见的选择，因为这是一个稳定且支持Hadoop的Linux发行版。安装完成后...

    在docker上部署hadoop集群

    教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。

    Hadoop集群部署实例

    由于工作需要，最近一段时间开始接触学习 Hadoop 相关的东西，目前公司的实时任务和离线任务都跑在一个 Hadoop 集群，离线 任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一...

    hadoop集群以及插件安装

    【标题】：Hadoop集群及插件安装 在大数据处理领域，Hadoop是一个核心的开源框架，用于存储和处理大规模数据。本指南将详细介绍如何在集群环境中安装和配置Hadoop，以及与其紧密相关的Zookeeper、HBase、Hive、...

    Hadoop集群程序设计与开发教材最终代码.zip

    《Hadoop集群程序设计与开发教材最终代码》这个压缩包文件是针对学习和理解Hadoop分布式计算框架的重要教学资源。Hadoop是Apache软件基金会开发的一个开源项目，它为大规模数据处理提供了一种分布式、容错性强的解决...

    Hadoop集群构建实训报告.doc

    ### Hadoop集群构建实训知识点详解 #### 一、运行平台构建 在构建Hadoop集群之前，需要对各台服务器进行必要的配置，确保集群能够稳定运行。主要包括修改主机名称、配置域名解析规则、关闭防火墙以及配置免密登录...

    基于Kubernetes平台部署Hadoop实践.docx

    因此，Hadoop在Kubernetes上的部署需要深入了解Hadoop集群工作原理和Kubernetes的架构原理。 第一，Hadoop集群重度依赖DNS机制，一些组件还使用了反向域名解析，以确定集群中的节点身份。这对Hadoop在Kubernetes上...

    Hadoop集群自动安装

    "Hadoop集群自动安装"是指通过自动化脚本或工具来快速部署和配置Hadoop环境，从而节省手动安装过程中所需的时间和精力。这样的自动化过程对于大规模的Hadoop集群尤其重要，因为它能确保一致性，减少人为错误，并提高...

    Ambari部署Hadoop集群.doc

    Ambari是Apache开源项目，由Hortonworks公司贡献，专为简化Hadoop集群的部署、管理和监控而设计。在大数据领域，Hadoop生态圈包含了众多组件，如HDFS（分布式文件系统）、MapReduce（分布式计算框架）、HBase（NoSQL...

    安装hadoop集群

    本文将详细介绍在多节点环境下搭建Hadoop集群的过程，包括硬件准备、软件安装、配置优化等多个方面，旨在帮助读者掌握Hadoop集群的实际部署技巧。 #### 二、Hadoop集群概述 Hadoop集群主要由两个核心组件构成：...

    基于Ubuntu的hadoop集群安装与配置

    "基于Ubuntu的hadoop集群安装与配置" 本文将详细介绍基于Ubuntu环境下的Hadoop集群安装与配置，涵盖Hadoop的基本概念、HDFS（分布式文件系统）、MapReduce（分布式计算模型）、集群架构、NameNode和DataNode的角色...

    完全分布式模式的Hadoop集群安装

    ### 完全分布式模式的Hadoop集群安装 #### 实验背景与目的 在现代大数据处理领域，Apache Hadoop因其强大的数据处理能力而受到广泛青睐。本文档旨在介绍如何在Linux环境下，利用三台虚拟机（一台主机两台从机）...

    Hadoop单机与集群部署笔记.docx

    ### Hadoop单机与集群部署知识点 #### 一、Hadoop单机系统版本安装配置 ...以上步骤详细介绍了Hadoop单机与集群部署的具体流程，包括单机安装配置、集群部署所需的各种准备以及具体配置方法，为读者提供了全面的指导。

    hadoop2.4.1集群部署详细步骤

    在部署Hadoop集群之前，首先需要确保每台服务器都具有唯一的主机名。这可以通过编辑 `/etc/sysconfig/network` 文件来实现，具体命令如下： ```bash vim /etc/sysconfig/network ``` 修改 `HOSTNAME` 的值为当前...

Magicbox
Global site tag (gtag.js) - Google Analytics