`
柯小芍
  • 浏览: 13452 次
  • 性别: Icon_minigender_2
社区版块
存档分类
最新评论

Hadoop集群搭建之jdk和ssh无密码配置

 
阅读更多

一、操作系统

CentOS6.2

二、jdk安装配置

(1)安装jdk

1)创建安装目录,在/usr/java

(如果没有java目录,先进入usr目录下建立java目录)下建立安装路径

#mkdir /usr/java

 并将文件拷到该路径下:

进入/usr/java目录

将jdk*****.bin文件拷贝至该目录中

jdk-6u11-linux-i586.bin 这个是自解压的文件,在linux上安装如下:
1)先分配执行权限
chmod 755 jdk****.bin  或者 chmod +x jdk****.bin
2)执行以下安装命令
#sh jdk****.bin (注意,这个步骤一定要在jdk****.bin所在目录下)

3)根据提示按enter键完成安装。

(二)配置环境变量

1)编辑系统文件:

#vi /etc/profile

在文件的末尾加上(这里的JAVA_HOME 根据实际的JDK目录而定)

JAVA_HOME=/usr/java/jdk1.6.0_38

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export JAVA_HOME PATH CLASSPATH

2)重启脚本

#source /etc/profile

3)测试是否配置成功

#java -version (这点很重要)

三、ssh无密码配置

在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。

原理:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)。然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了~

1)安装openssh

#yum install openssh

2)在linux上添加一个普通用户

#useradd hadoop

3)进入普通用户生成ssh-key

#su - hadoop

$ssh-keygen -t rsa -P ""


 注意:看清楚此时你将key放在哪个目录下,然后决定第四步进哪个目录追加授权文件

4)进入/home/hadoop/.ssh目录下,将id_rsa.pub追加到authorized_keys授权文件中

$cd /home/hadoop/.ssh

$cat id_rsa.pub >> authorized_keys

5)返回root用户修改sshd的配置文件

$exit

#vi /etc/ssh/sshd_config

找到以下内容,去掉#

 

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

 

6)给authorized_keys文件赋权

#chmod 600 /home/hadoop/.ssh authorized_keys

7)重启sshd服务

#service sshd restart

8)测试连接本机

#su - hadoop

$ssh localhost

根据提示输入yes即可

退出返回则是输入exit!

  • 大小: 13.1 KB
分享到:
评论

相关推荐

    细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置

    ### 细细品味Hadoop:深入理解Hadoop集群与JDK及SSH无密码配置 #### Linux环境下JDK的配置详解 ...总之,正确的JDK环境配置与SSH无密码登录机制是搭建稳定、高效Hadoop集群的基石,需要在部署初期给予充分重视。

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第5期副刊_JDK和SSH无密码配置 共9页.pdf

    在Hadoop集群的配置中,无密码SSH配置可以让集群中的节点无需人工干预,自动进行通信和任务分配。这样不仅提高了集群的稳定性和可靠性,而且极大地提高了管理的效率。配置SSH无密码登录,本质上是在生成SSH密钥后,...

    hadoop集群搭建(超级详细)

    在大数据领域,Hadoop是一个广泛使用的开源框架,用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程,按照步骤执行,可以轻松掌握Hadoop集群搭建技术。

    hadoop集群安装笔记

    在安装Hadoop集群时,需要配置ssh无密码登录,以便Hadoop节点之间可以通信。ssh无密码登录可以方便地登录到不同的机器。 使普通用户也可ssh 在配置ssh无密码登录时,需要使普通用户也可以ssh,以便普通用户可以...

    hadoop集群搭建文档资料

    8. **配置SSH免密登录**:为了简化集群间的命令执行,需要配置节点间的SSH无密码登录,这将通过ssh-keygen和ssh-copy-id命令实现。 9. **测试Hadoop集群**:启动后,可以使用Hadoop的命令行工具进行简单的操作,如`...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    7. "细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置.pdf":JDK是Java开发工具包,Hadoop是用Java编写的,文件可能讲解如何安装JDK以及如何设置SSH无密码登录,以便于集群内的节点间通信。 8. "Hadoop...

    基于centos的大数据hadoop集群搭建说明文档

    【标题】:基于CentOS的大数据Hadoop集群搭建详解 【描述】:本教程专为初学者设计,详细阐述了如何手动搭建Hadoop集群,步骤详尽,易于理解。 【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式...

    hadoop集群搭建

    Hadoop集群搭建是大数据处理和存储的关键步骤,本文档将指导您如何从头开始搭建一个Hadoop集群,包括安装虚拟机、Ubuntu系统、JDK、Hadoop等步骤。 一、虚拟机安装 首先,在Windows系统上安装虚拟机VMware ...

    搭建hadoop集群,到zookeeper包含ssh

    为了确保Hadoop集群中各节点间能够无密码通信,需要配置SSH免密登录。此步骤对于集群的稳定运行至关重要。 1. **配置对应关系**:确保每台机器上都配置了正确的对应关系。 2. **生成公钥**:在每台机器上执行`ssh-...

    Hadoop集群构建实训报告.doc

    这些步骤是搭建Hadoop集群的基础,每一步都至关重要,确保了集群的安全性和稳定性。在实际部署过程中,还需要根据具体需求进一步配置Hadoop的相关组件,如HDFS、MapReduce等,以满足数据处理的需求。

    Hadoop集群搭建超详细步骤及注意点

    ### Hadoop集群搭建详解 Hadoop作为大数据处理领域的重要工具之一,其集群的搭建对于企业级数据处理至关重要。本文将详细介绍Hadoop集群的搭建步骤及其注意事项,帮助读者顺利完成Hadoop集群的部署。 #### 一、...

    linux下Hadoop集群环境搭建

    - 初始化SSH无密码登录:在每个节点上生成ssh密钥对,然后将公钥分发到其他节点。 - 启动Hadoop守护进程:先启动Datanodes和Namenode,然后启动ResourceManager和NodeManager。 - 使用`jps`命令检查是否所有进程...

    Hadoop集群架构搭建分析

    环境准备是指在搭建 Hadoop 集群环境之前需要进行的准备工作,包括设置 IP、设置 hostname、配置 SSH、安装 JDK、安装 Hadoop 等步骤。 设置 IP 需要修改 /etc/sysconfig/network-scripts/ifcfg-eth0 文件,设置...

    Hadoop集群搭建详细简明教程.pdf

    ### Hadoop集群搭建知识点详解 #### 一、概述 Hadoop是一种开源的大数据处理框架,主要用于存储和处理大规模数据集。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。为了提高数据处理...

    部署全分布模式Hadoop集群 实验报告

    部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...

    hadoop集群搭建教程

    【Hadoop集群搭建教程】 Hadoop是一个开源的分布式计算框架,它允许在廉价硬件上运行大规模数据处理应用。本教程适合初学者,旨在提供清晰易懂的步骤来搭建一个Hadoop集群。 1. **修改主机名** 主机名是区分网络...

    Hadoop平台搭建.ppt

    Hadoop平台搭建是指在分布式环境中部署和配置Hadoop集群的过程。该过程涉及到硬件环境、软件环境、虚拟机安装、Ubuntu安装、JDK安装、SSH安装、Hadoop安装、配置JDK环境变量、配置SSH、配置Hadoop、格式化、启动等多...

    CentOS6.5mini版Hadoop集群搭建流程

    【Hadoop集群搭建流程详解】 在本文中,我们将详述如何在CentOS6.5 mini版本上搭建Hadoop集群。这个过程适用于想要学习Hadoop分布式计算框架或建立实验环境的IT专业人士。首先,确保你的系统是CentOS6.5,并且你...

    Hadoop集群环境虚拟机上搭建详解

    总结来说,搭建Hadoop集群环境首先需要准备虚拟机环境,安装操作系统,配置虚拟机工具以便于文件传输,安装并配置JDK环境以支持Java程序的运行,设置SSH免密码登录以便于集群节点之间的安全通信,最后还需要为集群中...

Global site tag (gtag.js) - Google Analytics