`

Linux下hadoop的全分布式安装

 
阅读更多

1.首先在vmware中新建三个系统分别为node1,node2,node3。

2.装好后要先将hostname改为以上三个系统响应的名字,命令:vi  etc/sysconfig/network,将localhost.localdomain这个名字改为node1。node2的系统改为node2,node3依次。

3.修改启动项,由图形界面到命令行界面。命令:cd /etc,然后vi inittab ,将5修改我3

4.用winscp软件将hadoop-1.2.1这个压缩包上传到node1的linux系统下。上传到的目录是root的根目录。

5.在node1下安装jdk,命令:yum -y install java-1.7.0-openjdk*

6.在node1下安装hadoop,命令:tar -zxvf hadoop-1.2.1.tar.gz,解压后由于目录特别长,所以要改一下目录,命令:ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2,然后可以查看home目录,命令:cd /home/,然后会显示这是一个蓝色的超链接,执行命令:ll可以查看。进入到hadoop-1.2,命令:cd hadoop-1.2/,然后进入conf文件,开始修改配置文件。

7.修改core-site.xml文件,修改内容http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

8.修改hdfs-site.xml,修改内容http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

9.修改slaves

10.修改master

11设置免密码登录http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html,两句命令全部执行,就可以本地免密码登录

生成的密码在.ssh/目录下,查看秘钥命令:more id_dsa.pub

12要在4台机器上全部执行上边两条命令。

13进入node1中的.ssh目录,执行命令:scp id_dsa.pub root@node2:~/,将node1的公钥放入node2的~文件夹下,然后在~目录下将其追加的日志文件中去命令:cat id_dsa.pub >> ~/.ssh/authorized_keys,在.ssh这层目录中执行more authorized_keys可以查看现在的秘钥。

14.在node1中执行ssh node2ip就可以看到免密码登录到了node2

15.node3中执行免密码登录的命令。将node1中的公钥拷贝到node3中同13步。

16将目录切换到bin下,命令:cd bin/ ,将node1下的文件全部拷贝到node2,node3上,命令:scp -r ~/hadoop-1.2.1.tar.gz  root@node2IP:~/,切换到node1下的conf文件夹下然后将所有的文件全部拷贝的node2,和node3上。scp ./* root@node2IP:/home/hadoop-1.2/conf/,同理node3页一样,然后在node1上切换到hadoop-1.2中的bin目录下,执行./hadoop namenode -format,格式化

以上就完成了分布式的安装。

启动hadoop

cd /home/hadoop-1.2/

ls

cd bin/

 ./start-dfs.sh启动分布式系统

 注:关闭防火墙的命令  service iptables stop

        重启网卡Service network restart

分享到:
评论

相关推荐

    hadoop全分布式-脚本一键安装

    总之,Hadoop的一键安装脚本是大数据领域的一个实用工具,它结合了Linux自动化命令和Hadoop的配置知识,使得部署大规模分布式数据处理环境变得更加便捷。对于想要学习和使用Hadoop的开发者来说,掌握这种安装方式...

    hadoop伪分布式安装.pdf

    ### Hadoop伪分布式安装知识点详解 #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式,...

    Linux下Hadoop伪分布式配置.pdf

    Linux 下 Hadoop 伪分布式配置需要进行多个步骤,包括 JDK 安装、SSH 无密码验证配置、Hadoop 配置、Hadoop 集群启动和 Hadoop 使用等。在伪分布式模式下,Hadoop 可以模拟分布式环境,用于测试和开发 Hadoop 应用...

    Linux下安装Hadoop完全分布式

    ### Linux下安装Hadoop完全分布式 #### 知识点概览 - **环境搭建**:包括操作系统选择、硬件配置需求、用户与权限管理等。 - **JDK安装与配置**:涉及JDK版本的选择、环境变量配置及版本切换方法。 - **主机名与...

    hadoop完全分布式安装步骤

    ### Hadoop完全分布式安装步骤详解 #### 一、实验环境准备 本次实验使用VirtualBox虚拟机作为实验平台,具体的网络配置如下: - **本机Windows IP:** 192.168.3.2 - **台式机IP:** 192.168.3.9 - **笔记本Linux ...

    Linux下Hadoop的分布式配置和使用.doc

    "Linux下Hadoop的分布式配置和使用" 本文档主要介绍了在 Linux 系统下 Hadoop 的分布式配置和使用,涵盖了从集群网络环境介绍到 Hadoop 集群配置和启动、Hadoop 使用等多个方面的知识点。 一、集群网络环境介绍 ...

    Linux下Hadoop伪分布式配置及操作命令

    Linux下Hadoop伪分布式配置及操作命令详细知识点: 1. Hadoop伪分布式模式说明: Hadoop伪分布式模式是一种在单台计算机上模拟分布式环境的配置方式,它通过使用线程来模拟多个节点的分布式工作,但实际上所有的...

    hadoop伪分布式安装方法步骤

    "hadoop伪分布式安装方法步骤" Hadoop是大数据处理的基石,而伪分布式安装是Hadoop的基本配置之一。在本资源中,我们将详细介绍Hadoop伪分布式安装的步骤,包括宿主机和客户机的网络连接、Hadoop的伪分布安装步骤、...

    Hadoop完全分布式详细安装过程

    本文旨在详细介绍Hadoop在完全分布式环境下的安装步骤及注意事项。整个安装过程分为六个主要部分:安装虚拟化工具VMware、在VMware上安装Ubuntu系统、安装JDK与SSH服务作为Hadoop安装前的准备、配置Hadoop、安装...

    部署全分布模式Hadoop集群 实验报告

    5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划...

    hadoop完全分布式所需的九个配置文件

    见文章:Deepin Linux下快速Hadoop完全分布式集群搭建https://blog.csdn.net/lzw2016/article/details/86618345 ,文章中所提及的配置文件

    linux虚拟机搭建hadoop伪分布式集群

    在搭建Hadoop伪分布式集群的过程中,首先需要在Linux环境下配置VMware的NAT网络,确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信,同时保持IP地址的固定性。具体操作包括取消DHCP...

    hadoop完全分布式安装配置

    本教程将详细介绍如何在Linux环境中配置Hadoop2.7.6的完全分布式环境,以实现高效的数据处理。 首先,理解Hadoop的基本架构至关重要。Hadoop由两个主要组件构成:HDFS(Hadoop Distributed File System)和...

    Linux虚拟机上Hadoop伪分布式安装方法及实例检测

    在Linux环境下,Hadoop的安装涉及多个环节,包括用户创建、软件源更改、SSH配置、环境变量设置、OpenJdk安装以及Hadoop下载和解压。 1. 创建Hadoop用户: 使用`sudo useradd -m hadoop -s /bin/bash`创建名为...

Global site tag (gtag.js) - Google Analytics