`

hadoop安装前准备

阅读更多

1)查看当前机器名称
hostname

   用下面命令进行显示机器名称,如果跟规划的不一致,要按照下面进行修改。
vi /etc/sysconfig/network

2)修改当前机器名称
   假定我们发现我们的机器的主机名不是我们想要的,通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值,改成我们规划的名称。
  这个"/etc/sysconfig/network"文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。
3)修改当前机器IP
    假定我们的机器连IP在当时安装机器时都没有配置好,那此时我们需要对"ifcfg-eth0"文件进行配置,该文件位于"/etc/sysconfig/network-scripts"文件夹下。
  在这个目录下面,存放的是网络接口(网卡)的制御脚本文件(控制文件),ifcfg- eth0是默认的第一个网络接口,如果机器中有多个网络接口,那么名字就将依此类推ifcfg-eth1,ifcfg-eth2,ifcfg- eth3,……。
  这里面的文件是相当重要的,涉及到网络能否正常工作。
  设定形式:设定值=值
  设定项目项目如下:
        DEVICE 接口名(设备,网卡)
        BOOTPROTO IP的配置方法(static:固定IP, dhcpHCP, none:手动)
        HWADDR MAC地址
        ONBOOT 系统启动的时候网络接口是否有效(yes/no)
        TYPE 网络类型(通常是Ethemet)
        NETMASK 网络掩码
        IPADDR IP地址
        IPV6INIT IPV6是否有效(yes/no)
       GATEWAY 默认网关IP地址
  查看"/etc/sysconfig/network-scripts/ifcfg-eth0"内容,如果IP不复核,就行修改。
linux保存MAC地址的配置文件为"/etc/udev/rules.d/70-persistent-net.rules"  拷贝虚拟机的时候需要修改里面的网卡MAC
    如果修改DNS:
vi /etc/resolv.conf

4 ) 配置Master无密码登录所有Salve
  1)SSH无密码原理
  Master(NameNode | JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode | Tasktracker)上时,需要在Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时,Salve就会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。
  2)Master机器上生成密码对
   在Master节点上执行以下命令:
    
ssh-keygen -t rsa -P ''

   这条命是生成其无密码密钥对,询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa和id_rsa.pub,默认存储在"/home/hadoop/.ssh"目录下。
   查看"/home/hadoop/"下是否有".ssh"文件夹,且".ssh"文件下是否有两个刚生产的无密码密钥对。
   接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

     在验证前,需要做两件事儿。第一件事儿是修改文件"authorized_keys"权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能),另一件事儿是用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效。
  1)修改文件"authorized_keys"
chmod 644 ~/.ssh/authorized_keys

  备注:如果不进行设置,在验证时,扔提示你输入密码,在这里花费了将近半天时间来查找原因。在网上查到了几篇不错的文章,把作为"Hadoop集群_第5期副刊_JDK和SSH无密码配置"来帮助额外学习之用。
    2)设置SSH配置
  用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。
    RSAAuthentication yes # 启用 RSA 认证
    PubkeyAuthentication yes # 启用公钥私钥配对认证方式
    AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
  设置完之后记得重启SSH服务,才能使刚才设置有效。
   
service sshd restart

  退出root登录,使用hadoop普通用户验证是否成功。
ssh localhost

        配置用户的公钥登陆时,配置完authorized_keys居然一直不生效,发现原来是因为.ssh目录和下面文件的权限问题导致的,因为目录的权限已经超过了sshd的要求权限。
如果希望ssh公钥生效需满足至少下面两个条件:

1) .ssh目录的权限必须是700
2) .ssh/authorized_keys文件权限必须是644

    3)把公钥复制所有的Slave机器上。
scp -r ~/.ssh 远程用户名@远程服务器IP:~/
5)创建用户和用户组
    1:创建用户组:groupadd hadoop
    2:创建用户:useradd -g hadoop hadoop
    3:修改密码:passwd hadoop
6)关闭所有机器防火墙
chkconfig iptables off
service iptables stop
  • 大小: 144 KB
分享到:
评论

相关推荐

    hadoop安装前准备工作.doc

    ### Hadoop安装前准备工作知识点详解 #### 一、实验背景及目标 - **实验目的**: - 在虚拟机Ubuntu上安装Hadoop单机模式和集群; - 编写一个用Hadoop处理数据的程序,并在单机和集群上运行。 - **实验环境**: ...

    hadoop安装配置文档.pdf

    二、Hadoop安装前准备 1. Linux系统上安装ssh协议,至少需要两台Linux机器,以三台为基础,一台作为NameNode,其他两台作为DataNode。需要修改机器的hostname,例如将***.**.**.***设置为master,将***.**.**.***和*...

    hadoop 安装部署手册

    Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...

    HADOOP安装部署文档

    《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    hadoop虚拟机环境准备

    本节主要介绍了在CentOS 6虚拟机环境中准备Hadoop环境的步骤,包括虚拟机环境准备、Linux安装Hadoop、Hadoop目录结构等内容。 1. 虚拟机环境准备 在CentOS 6虚拟机环境中,需要首先克隆虚拟机,并将其设置为静态IP...

    hadoop的安装

    标题《hadoop的安装》所涉及的知识点涵盖Hadoop安装过程中的各个方面,包括但不限于JDK环境的配置与安装、Hadoop下载、解压、配置以及启动等步骤。以下是根据给定内容和描述生成的详细知识点: 1. JDK环境配置与...

    Hadoop安装教程_单机_伪分布式配置

    ### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...

    HADOOP安装过程

    ### Hadoop安装过程详解 #### 一、概述 Hadoop是一种能够处理大量数据的大规模分布式存储与计算框架,常用于构建大数据分析平台。本文档基于一位用户的实践经历,详细介绍了如何在虚拟机环境下安装和配置Hadoop的...

    linux下载,安装,JDK配置,hadoop安装

    **3.2 Hadoop安装准备** - **版本选择**:根据 CentOS 6.5 系统选择合适的 Hadoop 版本(如 Hadoop 2.x)。 - **下载 Hadoop**:从官方网站下载 Hadoop 的 tar.gz 包。 **3.3 安装Hadoop** - **解压 Hadoop**:将...

    hadoop完全安装手册

    ##### 2.3 Hadoop安装与配置 1. **下载与解压Hadoop**:下载Hadoop压缩包,并解压到指定目录。 2. **配置环境变量**:在`/etc/profile.d/hadoop.sh`中添加Hadoop的环境变量。 3. **配置hadoop-env.sh**:配置JDK的...

    Hadoop安装和配置

    ### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...

    hadoop安装详细文档

    ### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...

    Hadoop集群安装详细步骤

    在这里,我们将详细介绍Hadoop集群的安装步骤,包括准备工作、安装Hadoop软件、配置集群环境等内容。 准备工作 在安装Hadoop集群之前,我们需要确保系统已经安装了必备软件,包括ssh、rsync和Jdk1.6。ssh是默认...

    eclipse安装Hadoop插件

    ### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...

Global site tag (gtag.js) - Google Analytics