1)查看当前机器名称
hostname
用下面命令进行显示机器名称,如果跟规划的不一致,要按照下面进行修改。
vi /etc/sysconfig/network
2)修改当前机器名称
假定我们发现我们的机器的主机名不是我们想要的,通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值,改成我们规划的名称。
这个"/etc/sysconfig/network"文件是定义hostname和是否利用网络的不接触网络设备的对系统全体定义的文件。
3)修改当前机器IP
假定我们的机器连IP在当时安装机器时都没有配置好,那此时我们需要对"ifcfg-eth0"文件进行配置,该文件位于"/etc/sysconfig/network-scripts"文件夹下。
在这个目录下面,存放的是网络接口(网卡)的制御脚本文件(控制文件),ifcfg- eth0是默认的第一个网络接口,如果机器中有多个网络接口,那么名字就将依此类推ifcfg-eth1,ifcfg-eth2,ifcfg- eth3,……。
这里面的文件是相当重要的,涉及到网络能否正常工作。
设定形式:设定值=值
设定项目项目如下:
DEVICE 接口名(设备,网卡)
BOOTPROTO IP的配置方法(static:固定IP, dhcpHCP, none:手动)
HWADDR MAC地址
ONBOOT 系统启动的时候网络接口是否有效(yes/no)
TYPE 网络类型(通常是Ethemet)
NETMASK 网络掩码
IPADDR IP地址
IPV6INIT IPV6是否有效(yes/no)
GATEWAY 默认网关IP地址
查看"/etc/sysconfig/network-scripts/ifcfg-eth0"内容,如果IP不复核,就行修改。
linux保存MAC地址的配置文件为"/etc/udev/rules.d/70-persistent-net.rules" 拷贝虚拟机的时候需要修改里面的网卡MAC
如果修改DNS:
vi /etc/resolv.conf
4 ) 配置Master无密码登录所有Salve
1)SSH无密码原理
Master(NameNode | JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode | Tasktracker)上时,需要在Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时,Salve就会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。
2)Master机器上生成密码对
在Master节点上执行以下命令:
ssh-keygen -t rsa -P ''
这条命是生成其无密码密钥对,询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa和id_rsa.pub,默认存储在"/home/hadoop/.ssh"目录下。
查看"/home/hadoop/"下是否有".ssh"文件夹,且".ssh"文件下是否有两个刚生产的无密码密钥对。
接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
在验证前,需要做两件事儿。第一件事儿是修改文件"authorized_keys"权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能),另一件事儿是用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效。
1)修改文件"authorized_keys"
chmod 644 ~/.ssh/authorized_keys
备注:如果不进行设置,在验证时,扔提示你输入密码,在这里花费了将近半天时间来查找原因。在网上查到了几篇不错的文章,把作为"Hadoop集群_第5期副刊_JDK和SSH无密码配置"来帮助额外学习之用。
2)设置SSH配置
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
设置完之后记得重启SSH服务,才能使刚才设置有效。
service sshd restart
退出root登录,使用hadoop普通用户验证是否成功。
ssh localhost
配置用户的公钥登陆时,配置完authorized_keys居然一直不生效,发现原来是因为.ssh目录和下面文件的权限问题导致的,因为目录的权限已经超过了sshd的要求权限。
如果希望ssh公钥生效需满足至少下面两个条件:
1) .ssh目录的权限必须是700
2) .ssh/authorized_keys文件权限必须是644
3)把公钥复制所有的Slave机器上。
scp -r ~/.ssh 远程用户名@远程服务器IP:~/
5)创建用户和用户组
1:创建用户组:groupadd hadoop
2:创建用户:useradd -g hadoop hadoop
3:修改密码:passwd hadoop
6)关闭所有机器防火墙
chkconfig iptables off service iptables stop
发表评论
-
hadoop2.x常用端口及定义方法
2014-09-11 12:25 524Hadoop集群的各部分一般都会使用到多个端口,有些是daem ... -
hadoop2.x安装
2014-09-08 23:37 596hadoop2.x安装 1.搭建虚拟机(使用桥接网络,以便设置 ... -
64位的CentOS上编译 Hadoop 2.2.0
2014-07-14 12:54 856编译需要安装的软件: ... -
hadoop2.2安装前64位编译常见错误
2014-07-13 22:42 609CentOS上安装软件错误提示: configure: err ... -
MapReduce任务的优化
2014-07-07 13:02 915MapReduce任务的优化 ... -
hadoop 重启datanode及动态加入节点
2014-07-07 11:38 3054hadoop2.2.0启动子节点 适用于子节点单独挂掉然后 ... -
hadoop配置文件详解
2014-07-07 10:45 525http://blog.163.com/ldw21cn@126 ... -
hadoop2x-eclipse-plugin的制作
2014-07-06 22:27 610https://github.com/winghc/hadoo ... -
linux下环境变量配置
2014-06-22 14:14 0JAVA环境变量配置: 下载:jdk-7u40-lin ... -
hadoop命令大全
2014-06-16 17:08 471学习地址: http://blog.csdn.net/wf19 ... -
hadoop学习系列
2014-05-21 11:02 361http://www.iteye.com/blogs/subj ... -
HDFS的基本概念
2014-05-09 11:35 4401、数据块(block) HDFS(Hadoop Distr ... -
hadoop作业调优参数整理及原理(转)
2014-05-09 11:05 4151 Map side tuning参数 1.1 Map ... -
Hadoop添加节点datanode
2014-05-09 10:33 4501.部署hadoop 和普通的datanode一样。安装jdk ... -
hadoop2.2 单节点安装
2014-04-26 22:38 25您可以访问以下地址获取最新的安装包: http://mirro ...
相关推荐
### Hadoop安装前准备工作知识点详解 #### 一、实验背景及目标 - **实验目的**: - 在虚拟机Ubuntu上安装Hadoop单机模式和集群; - 编写一个用Hadoop处理数据的程序,并在单机和集群上运行。 - **实验环境**: ...
二、Hadoop安装前准备 1. Linux系统上安装ssh协议,至少需要两台Linux机器,以三台为基础,一台作为NameNode,其他两台作为DataNode。需要修改机器的hostname,例如将***.**.**.***设置为master,将***.**.**.***和*...
Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...
《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
本节主要介绍了在CentOS 6虚拟机环境中准备Hadoop环境的步骤,包括虚拟机环境准备、Linux安装Hadoop、Hadoop目录结构等内容。 1. 虚拟机环境准备 在CentOS 6虚拟机环境中,需要首先克隆虚拟机,并将其设置为静态IP...
标题《hadoop的安装》所涉及的知识点涵盖Hadoop安装过程中的各个方面,包括但不限于JDK环境的配置与安装、Hadoop下载、解压、配置以及启动等步骤。以下是根据给定内容和描述生成的详细知识点: 1. JDK环境配置与...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
**3.2 Hadoop安装准备** - **版本选择**:根据 CentOS 6.5 系统选择合适的 Hadoop 版本(如 Hadoop 2.x)。 - **下载 Hadoop**:从官方网站下载 Hadoop 的 tar.gz 包。 **3.3 安装Hadoop** - **解压 Hadoop**:将...
##### 2.3 Hadoop安装与配置 1. **下载与解压Hadoop**:下载Hadoop压缩包,并解压到指定目录。 2. **配置环境变量**:在`/etc/profile.d/hadoop.sh`中添加Hadoop的环境变量。 3. **配置hadoop-env.sh**:配置JDK的...
### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...
### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...
在这里,我们将详细介绍Hadoop集群的安装步骤,包括准备工作、安装Hadoop软件、配置集群环境等内容。 准备工作 在安装Hadoop集群之前,我们需要确保系统已经安装了必备软件,包括ssh、rsync和Jdk1.6。ssh是默认...
### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展,Hadoop作为处理海量数据的重要工具之一,其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发,安装Hadoop Eclipse插件是十分...