一、操作系统
CentOS6.2
二、jdk安装配置
(1)安装jdk
1)创建安装目录,在/usr/java
(如果没有java目录,先进入usr目录下建立java目录)下建立安装路径
#mkdir /usr/java
并将文件拷到该路径下:
进入/usr/java目录
将jdk*****.bin文件拷贝至该目录中
jdk-6u11-linux-i586.bin 这个是自解压的文件,在linux上安装如下:
1)先分配执行权限
chmod 755 jdk****.bin 或者 chmod +x jdk****.bin
2)执行以下安装命令
#sh jdk****.bin (注意,这个步骤一定要在jdk****.bin所在目录下)
3)根据提示按enter键完成安装。
(二)配置环境变量
1)编辑系统文件:
#vi /etc/profile
在文件的末尾加上(这里的JAVA_HOME 根据实际的JDK目录而定)
JAVA_HOME=/usr/java/jdk1.6.0_38
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH
2)重启脚本
#source /etc/profile
3)测试是否配置成功
#java -version (这点很重要)
三、ssh无密码配置
在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。
原理:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)。然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了~
1)安装openssh
#yum install openssh
2)在linux上添加一个普通用户
#useradd hadoop
3)进入普通用户生成ssh-key
#su - hadoop
$ssh-keygen -t rsa -P ""
注意:看清楚此时你将key放在哪个目录下,然后决定第四步进哪个目录追加授权文件
4)进入/home/hadoop/.ssh目录下,将id_rsa.pub追加到authorized_keys授权文件中
$cd /home/hadoop/.ssh
$cat id_rsa.pub >> authorized_keys
5)返回root用户修改sshd的配置文件
$exit
#vi /etc/ssh/sshd_config
找到以下内容,去掉#
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
6)给authorized_keys文件赋权
#chmod 600 /home/hadoop/.ssh authorized_keys
7)重启sshd服务
#service sshd restart
8)测试连接本机
#su - hadoop
$ssh localhost
根据提示输入yes即可
退出返回则是输入exit!
相关推荐
### 细细品味Hadoop:深入理解Hadoop集群与JDK及SSH无密码配置 #### Linux环境下JDK的配置详解 ...总之,正确的JDK环境配置与SSH无密码登录机制是搭建稳定、高效Hadoop集群的基石,需要在部署初期给予充分重视。
在Hadoop集群的配置中,无密码SSH配置可以让集群中的节点无需人工干预,自动进行通信和任务分配。这样不仅提高了集群的稳定性和可靠性,而且极大地提高了管理的效率。配置SSH无密码登录,本质上是在生成SSH密钥后,...
在大数据领域,Hadoop是一个广泛使用的开源框架,用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程,按照步骤执行,可以轻松掌握Hadoop集群搭建技术。
在安装Hadoop集群时,需要配置ssh无密码登录,以便Hadoop节点之间可以通信。ssh无密码登录可以方便地登录到不同的机器。 使普通用户也可ssh 在配置ssh无密码登录时,需要使普通用户也可以ssh,以便普通用户可以...
8. **配置SSH免密登录**:为了简化集群间的命令执行,需要配置节点间的SSH无密码登录,这将通过ssh-keygen和ssh-copy-id命令实现。 9. **测试Hadoop集群**:启动后,可以使用Hadoop的命令行工具进行简单的操作,如`...
7. "细细品味Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置.pdf":JDK是Java开发工具包,Hadoop是用Java编写的,文件可能讲解如何安装JDK以及如何设置SSH无密码登录,以便于集群内的节点间通信。 8. "Hadoop...
【标题】:基于CentOS的大数据Hadoop集群搭建详解 【描述】:本教程专为初学者设计,详细阐述了如何手动搭建Hadoop集群,步骤详尽,易于理解。 【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式...
Hadoop集群搭建是大数据处理和存储的关键步骤,本文档将指导您如何从头开始搭建一个Hadoop集群,包括安装虚拟机、Ubuntu系统、JDK、Hadoop等步骤。 一、虚拟机安装 首先,在Windows系统上安装虚拟机VMware ...
为了确保Hadoop集群中各节点间能够无密码通信,需要配置SSH免密登录。此步骤对于集群的稳定运行至关重要。 1. **配置对应关系**:确保每台机器上都配置了正确的对应关系。 2. **生成公钥**:在每台机器上执行`ssh-...
这些步骤是搭建Hadoop集群的基础,每一步都至关重要,确保了集群的安全性和稳定性。在实际部署过程中,还需要根据具体需求进一步配置Hadoop的相关组件,如HDFS、MapReduce等,以满足数据处理的需求。
### Hadoop集群搭建详解 Hadoop作为大数据处理领域的重要工具之一,其集群的搭建对于企业级数据处理至关重要。本文将详细介绍Hadoop集群的搭建步骤及其注意事项,帮助读者顺利完成Hadoop集群的部署。 #### 一、...
- 初始化SSH无密码登录:在每个节点上生成ssh密钥对,然后将公钥分发到其他节点。 - 启动Hadoop守护进程:先启动Datanodes和Namenode,然后启动ResourceManager和NodeManager。 - 使用`jps`命令检查是否所有进程...
环境准备是指在搭建 Hadoop 集群环境之前需要进行的准备工作,包括设置 IP、设置 hostname、配置 SSH、安装 JDK、安装 Hadoop 等步骤。 设置 IP 需要修改 /etc/sysconfig/network-scripts/ifcfg-eth0 文件,设置...
### Hadoop集群搭建知识点详解 #### 一、概述 Hadoop是一种开源的大数据处理框架,主要用于存储和处理大规模数据集。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。为了提高数据处理...
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
【Hadoop集群搭建教程】 Hadoop是一个开源的分布式计算框架,它允许在廉价硬件上运行大规模数据处理应用。本教程适合初学者,旨在提供清晰易懂的步骤来搭建一个Hadoop集群。 1. **修改主机名** 主机名是区分网络...
Hadoop平台搭建是指在分布式环境中部署和配置Hadoop集群的过程。该过程涉及到硬件环境、软件环境、虚拟机安装、Ubuntu安装、JDK安装、SSH安装、Hadoop安装、配置JDK环境变量、配置SSH、配置Hadoop、格式化、启动等多...
【Hadoop集群搭建流程详解】 在本文中,我们将详述如何在CentOS6.5 mini版本上搭建Hadoop集群。这个过程适用于想要学习Hadoop分布式计算框架或建立实验环境的IT专业人士。首先,确保你的系统是CentOS6.5,并且你...
总结来说,搭建Hadoop集群环境首先需要准备虚拟机环境,安装操作系统,配置虚拟机工具以便于文件传输,安装并配置JDK环境以支持Java程序的运行,设置SSH免密码登录以便于集群节点之间的安全通信,最后还需要为集群中...