我的CSDN博客地址:
http://blog.csdn.net/qidong7
为Hadoop集群安装SSH
一、验证是否安装了ssh
[hadoop-user@brain /]# which ssh
/usr/bin/ssh
[hadoop-user@brain /]# which sshd
/usr/sbin/sshd
[hadoop-user@brain /]# which ssh-keygen
/usr/bin/ssh-keygen
如果收到类似这样的错误信息
/usr/bin/which no ssh in (/usr/bin:/bin:/usr/bin...
您可以通过Linux安装包管理器安装OpenSSH(www.openssh.com)或者直接下载源码。
二、生成SSH密钥对
务必要避免输入口令,否则,主节点每次试图访问其他节点时,你都得手动输入这个口令
[hadoop-user@brain /]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop-user/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoop-user/.ssh/id_rsa.
Your public key has been saved in /home/hadoop-user/.ssh/id_rsa.pub.
The key fingerprint is:
2e:e1:91:cf:85:48:f9:92:8f:2d:e5:36:92:15:e0:1a root@brain
The key's randomart image is:
+--[ RSA 2048]----+
| . |
| . o |
| E + . |
| + = o |
| . B S . |
| . / . |
| B X |
| = . |
| |
+-----------------+
生成密钥对之后,公钥的形式为:
[hadoop-user@brain /]#
more /home/hadoop-user/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0pmwcaf/xgUrDQfK4ZePQEqjXhYPSV2iUsRxunk20RxerLOpw5SNJ+3gb2jVSnuncAlABkS
yi8VCCJVmV4b0y6kCP6ap9jdcRJhxLB33zd5IyHMyo9zjdo8j2xRnFtv1SfaqkhIt8/By1E2+Si3dlIE61DhRGtdxGJNkVv0O4+8AANKcEk
C5LK8Hr+pEBBVlM9m9OHYJ9GdekQcMQQC/CtrZohzHznDm70tJ1EtnidYdUcBz31FuOfeJjuEapbkn6Az9HwDEQD8cemtED0QK/aW9FLjko
zid5nLjJ7ZJwmkmq5V3rLSE2AbqGnGtYSYCezJFFHmUpNyG35vYjpGj....
三、将密钥公布(本人的target为localhost)
[hadoop-user@brain hadoop-1.2.0]# scp ~/.ssh/id_rsa.pub root@localhost:~/master_key
[hadoop-user@brain /]# ssh localhost
Last login: Sat Jun 1 18:12:59 2013 from 192.168.1.102
四、安装hadoop
1、 解压
tar xzvf hadoop-1.2.0.tar.gz
2、配置 Hadoop
2.1 . 配置JDK
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_17
2.2 . 配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/app/hadoop-hdfs</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3、启动hadoop
cd /home/brain/hadoop-1.2.0/bin
1.格式化文件系统
./hadoop namenode –format
2. 启动/关闭 hadoop
启动所有任务start-all.sh/stop-all.sh
启动关闭HDFS: start-dfs.sh/stop-dfs.sh
启动关闭MapReduce: start-mapred.sh/stop-mapred.sh
3. 用jps命令查看进程,确保有
namenode,
dataNode,
JobTracker,
TaskTracker
如果没有namenode ,
1、先运行stop-all.sh
2、格式化namdenode,不过在这之前要先删除原目录,即core-site.xml下配置 的<name>hadoop.tmp.dir</name>所指向的目录,然后运行 hadoop namenode -format
3、运行start-all.sh
4、检查执行
访问
http://192.168.1.77:50030 (MapReduce的Web页面)
http://192.168.1.77:50070 (HDfS的web页面)
本人安装过程中出现没有namenode,格式化后仍然没有,这时可以查看下日志,发现端口被占。
有问题查看日志 HADOOP_HOME/logs/
另外如果访问
http://192.168.1.77:50030 访问不到,可能是防火墙的原因,可以关闭防火墙,再次访问
service iptables stop
如果是,修改防火墙配置,对50030端口不监控;
修改防火墙监控端口
vi /etc/sysconfig/iptables
中加
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT
就不对50030端口进行监控了
请关注微博
http://weibo.com/u/3272022684
分享到:
相关推荐
hadoop伪分布CentOS安装(四)hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
### CentOS下Hadoop安装超级详细指南 #### 一、前言 随着大数据技术的发展,Hadoop作为处理海量数据的重要框架之一,在企业级应用中扮演着关键角色。本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备...
hadoop伪分布CentOS安装(五)hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
【标题】"hadoop2.4.1_centos7_64位本包" 提供的是针对64位 CentOS 7 操作系统编译的 Hadoop 2.4.1 版本。Hadoop 是一个开源框架,主要用于...对于需要在64位CentOS 7上部署Hadoop的用户,这是一个非常实用的资源。
格式化文件系统(仅第一次执行即可,不要重复执行):hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功: jps DataNode SecondaryNameNode NameNode 浏览器访问方式: ...
使用以下命令安装 Hadoop: ``` tar -xvf hadoop-2.6.0.tar.gz mv hadoop-2.6.0 /usr/opt/hadoop chmod -R 775 /usr/opt/hadoop chown -R hadoop:hadoop /usr/opt/hadoop ``` 配置 Hadoop 环境变量 使用以下命令...
CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架,由 Apache 开发,旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...
总结起来,部署Hadoop 2.6.5集群在CentOS 6.8上涉及多个步骤,包括硬件和软件的准备、环境配置、服务安装、集群配置以及服务验证。这个过程需要细心和耐心,但一旦成功,将为我们提供一个强大的分布式计算平台,处理...
这些库文件是专门为CentOS 6.5定制的,可以替换现有Hadoop安装中的对应文件,以提高与系统的兼容性和性能。 六、安装编译结果 将编译生成的`hadoop-common-2.8.1`目录下的内容复制到Hadoop安装目录,覆盖原有的...
2. 安装Hadoop:将Hadoop安装到CentOS系统中,包括下载Hadoop软件包、配置Hadoop环境变量、设置HDFS和MapReduce等核心组件。 3. 运行Hadoop:启动Hadoop集群,并运行一些基本的Hadoop命令来验证安装是否成功,如...
6. **编译过程**:在CentOS 64位系统上编译Hadoop CDH5的本地库,一般需要安装必要的依赖,如GCC编译器、Java开发工具包(JDK)、CMake等,然后通过源码编译Hadoop及相关组件。 7. **替换问题**:在升级或安装过程中...
### Hadoop平台搭建CentOS7的安装步骤 #### 一、前言 在大数据处理领域,Hadoop无疑占据着举足轻重的地位。Hadoop是一个能够对大量数据进行分布式处理的软件框架,它使得可以高效地处理PB级别的数据。本文将详细...
linux下安装hadoop Linux版本:centos5 Hadoop版本:hadoop-0.20.2.tar.gz
### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台,其核心组件包括Hadoop分布式文件系统(HDFS)和MapReduce计算框架。HDFS用于存储大规模数据集,而...
在“细细品味Hadoop_Hadoop集群(第1期)_CentOS安装配置.pdf”文件中,你可以找到更详细的步骤和截图,以便更好地理解和实践这一过程。通过这个系列的学习,你将具备搭建和管理Hadoop集群的基本技能,为进一步探索...
centos8安装hadoop3.3.docx
sudo chown -R hadoop:hadoop /usr/local/hadoop sudo ln -s /usr/local/src/hadoop-2.6.4 /usr/local/hadoop ``` 配置Hadoop的环境变量。打开`~/.bashrc`或`~/.bash_profile`(取决于你的shell),添加以下内容: ...