`

Hadoop(一):CentOS 安装hadoop

阅读更多
我的CSDN博客地址:http://blog.csdn.net/qidong7

为Hadoop集群安装SSH
一、验证是否安装了ssh

[hadoop-user@brain /]# which ssh
/usr/bin/ssh
[hadoop-user@brain /]# which sshd
/usr/sbin/sshd
[hadoop-user@brain /]# which ssh-keygen
/usr/bin/ssh-keygen


如果收到类似这样的错误信息
/usr/bin/which no ssh in (/usr/bin:/bin:/usr/bin...

您可以通过Linux安装包管理器安装OpenSSH(www.openssh.com)或者直接下载源码。

二、生成SSH密钥对
务必要避免输入口令,否则,主节点每次试图访问其他节点时,你都得手动输入这个口令
[hadoop-user@brain /]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop-user/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop-user/.ssh/id_rsa.
Your public key has been saved in /home/hadoop-user/.ssh/id_rsa.pub.
The key fingerprint is:
2e:e1:91:cf:85:48:f9:92:8f:2d:e5:36:92:15:e0:1a root@brain
The key's randomart image is:
+--[ RSA 2048]----+
|      .          |
|     . o         |
|    E + .        |
|     + = o       |
|    . B S .      |
|     . / .       |
|      B X        |
|       = .       |
|                 |
+-----------------+


生成密钥对之后,公钥的形式为:
[hadoop-user@brain /]# 
more  /home/hadoop-user/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0pmwcaf/xgUrDQfK4ZePQEqjXhYPSV2iUsRxunk20RxerLOpw5SNJ+3gb2jVSnuncAlABkS
yi8VCCJVmV4b0y6kCP6ap9jdcRJhxLB33zd5IyHMyo9zjdo8j2xRnFtv1SfaqkhIt8/By1E2+Si3dlIE61DhRGtdxGJNkVv0O4+8AANKcEk
C5LK8Hr+pEBBVlM9m9OHYJ9GdekQcMQQC/CtrZohzHznDm70tJ1EtnidYdUcBz31FuOfeJjuEapbkn6Az9HwDEQD8cemtED0QK/aW9FLjko
zid5nLjJ7ZJwmkmq5V3rLSE2AbqGnGtYSYCezJFFHmUpNyG35vYjpGj....




三、将密钥公布(本人的target为localhost)
[hadoop-user@brain hadoop-1.2.0]# scp ~/.ssh/id_rsa.pub root@localhost:~/master_key


[hadoop-user@brain /]# ssh localhost
Last login: Sat Jun  1 18:12:59 2013 from 192.168.1.102

四、安装hadoop

1、 解压
tar xzvf hadoop-1.2.0.tar.gz

2、配置 Hadoop
2.1 . 配置JDK
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_17                                  

2.2 . 配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件     
core-site.xml
<configuration>     
<property>  
       <name>fs.default.name</name>  
       <value>hdfs://localhost:9000</value>  
</property>  
<property>
       <name>hadoop.tmp.dir</name>
        <value>/usr/app/hadoop-hdfs</value>
        </property>
</configuration>   
     

hdfs-site.xml
<configuration>     
   <property>  
         <name>dfs.replication</name>  
         <value>1</value>  
    </property>  
</configuration>  


mapred-site.xml
<configuration>     
    <property>  
         <name>mapred.job.tracker</name>  
         <value>localhost:9001</value>  
    </property>  
</configuration>  


3、启动hadoop
cd /home/brain/hadoop-1.2.0/bin
1.格式化文件系统
     ./hadoop namenode –format
2. 启动/关闭 hadoop
    启动所有任务start-all.sh/stop-all.sh
    启动关闭HDFS: start-dfs.sh/stop-dfs.sh
    启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh     
3. 用jps命令查看进程,确保有  
    namenode,
    dataNode,
    JobTracker,
    TaskTracker                              

如果没有namenode ,
1、先运行stop-all.sh
2、格式化namdenode,不过在这之前要先删除原目录,即core-site.xml下配置 的<name>hadoop.tmp.dir</name>所指向的目录,然后运行 hadoop namenode -format

3、运行start-all.sh  

4、检查执行
访问

http://192.168.1.77:50030    (MapReduce的Web页面)

http://192.168.1.77:50070    (HDfS的web页面)

本人安装过程中出现没有namenode,格式化后仍然没有,这时可以查看下日志,发现端口被占。
有问题查看日志 HADOOP_HOME/logs/

另外如果访问

http://192.168.1.77:50030 访问不到,可能是防火墙的原因,可以关闭防火墙,再次访问
service iptables stop

如果是,修改防火墙配置,对50030端口不监控;
修改防火墙监控端口
vi /etc/sysconfig/iptables
中加
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT
就不对50030端口进行监控了

请关注微博http://weibo.com/u/3272022684

分享到:
评论

相关推荐

    hadoop伪分布CentOS安装(四)

    hadoop伪分布CentOS安装(四)hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程

    hadoop伪分布CentOS安装(三)

    hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程

    hadoop伪分布CentOS安装(二)

    hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程

    centos安装hadoop超级详细

    ### CentOS下Hadoop安装超级详细指南 #### 一、前言 随着大数据技术的发展,Hadoop作为处理海量数据的重要框架之一,在企业级应用中扮演着关键角色。本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备...

    hadoop伪分布CentOS安装(五)

    hadoop伪分布CentOS安装(五)hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程

    hadoop2.4.1_centos7_64位本包

    【标题】"hadoop2.4.1_centos7_64位本包" 提供的是针对64位 CentOS 7 操作系统编译的 Hadoop 2.4.1 版本。Hadoop 是一个开源框架,主要用于...对于需要在64位CentOS 7上部署Hadoop的用户,这是一个非常实用的资源。

    大数据hadoop,centos7的安装

    格式化文件系统(仅第一次执行即可,不要重复执行):hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功: jps DataNode SecondaryNameNode NameNode 浏览器访问方式: ...

    hadoop2.6 centos6.5 伪分布式环境部署 实例

    使用以下命令安装 Hadoop: ``` tar -xvf hadoop-2.6.0.tar.gz mv hadoop-2.6.0 /usr/opt/hadoop chmod -R 775 /usr/opt/hadoop chown -R hadoop:hadoop /usr/opt/hadoop ``` 配置 Hadoop 环境变量 使用以下命令...

    CentOS7 Hadoop 2.7.X 安装部署.docx

    CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架,由 Apache 开发,旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...

    Hadoop 2.6.5在CentOS6.8版本下的集群部署

    总结起来,部署Hadoop 2.6.5集群在CentOS 6.8上涉及多个步骤,包括硬件和软件的准备、环境配置、服务安装、集群配置以及服务验证。这个过程需要细心和耐心,但一旦成功,将为我们提供一个强大的分布式计算平台,处理...

    hadoop-2.8.1 CentOS6.5编译的源码

    这些库文件是专门为CentOS 6.5定制的,可以替换现有Hadoop安装中的对应文件,以提高与系统的兼容性和性能。 六、安装编译结果 将编译生成的`hadoop-common-2.8.1`目录下的内容复制到Hadoop安装目录,覆盖原有的...

    Linux运维入门Hadoop实验参照手册一(安装VMware与CentOS)

    2. 安装Hadoop:将Hadoop安装到CentOS系统中,包括下载Hadoop软件包、配置Hadoop环境变量、设置HDFS和MapReduce等核心组件。 3. 运行Hadoop:启动Hadoop集群,并运行一些基本的Hadoop命令来验证安装是否成功,如...

    hadoop cdh5 centos 64位系统本地库编译文件

    6. **编译过程**:在CentOS 64位系统上编译Hadoop CDH5的本地库,一般需要安装必要的依赖,如GCC编译器、Java开发工具包(JDK)、CMake等,然后通过源码编译Hadoop及相关组件。 7. **替换问题**:在升级或安装过程中...

    Hadoop平台搭建CentOS7的安装步骤

    ### Hadoop平台搭建CentOS7的安装步骤 #### 一、前言 在大数据处理领域,Hadoop无疑占据着举足轻重的地位。Hadoop是一个能够对大量数据进行分布式处理的软件框架,它使得可以高效地处理PB级别的数据。本文将详细...

    centos安装配置hadoop超详细过程.docx

    ### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台,其核心组件包括Hadoop分布式文件系统(HDFS)和MapReduce计算框架。HDFS用于存储大规模数据集,而...

    细细品味Hadoop_Hadoop集群CentOS安装配置.rar_hadoop

    在“细细品味Hadoop_Hadoop集群(第1期)_CentOS安装配置.pdf”文件中,你可以找到更详细的步骤和截图,以便更好地理解和实践这一过程。通过这个系列的学习,你将具备搭建和管理Hadoop集群的基本技能,为进一步探索...

    centos8安装hadoop3.3.docx

    centos8安装hadoop3.3.docx

    [整理]Centos6.5 + hadoop2.6.4环境搭建

    sudo chown -R hadoop:hadoop /usr/local/hadoop sudo ln -s /usr/local/src/hadoop-2.6.4 /usr/local/hadoop ``` 配置Hadoop的环境变量。打开`~/.bashrc`或`~/.bash_profile`(取决于你的shell),添加以下内容: ...

    linux下安装hadoop

    linux下安装hadoop Linux版本:centos5 Hadoop版本:hadoop-0.20.2.tar.gz

Global site tag (gtag.js) - Google Analytics