`
lanhuidong
  • 浏览: 230224 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

安装Apache Hadoop

阅读更多

1.系统(本人使用虚拟机):VMware-workstation-full-7.1.2-301548

                                   ubuntu-10.10-desktop-i386 

   软件包: jdk-6u31-linux-i586.bin

               hadoop-0.20.205.0.tar.gz

2.JDK安装:

   1)将jdk-6u31-linux-i586.bin复制到安装目录,比如:/usr/java/

   2)cd /usr/java

   3)chmod 777 jdk-6u31-linux-i586.bin

   4)./jdk-6u31-linux-i586.bin

   5)设置JAVA_HOME,vi /etc/profile

   6)在profile文件中加入:JAVA_HOME=/usr/java/jdk1.6.0_31

        PATH=$JAVA_HOME/bin:$PATH

        export JAVA_HOME PATH
           
 

   7)保存/etc/profile并退出,source /etc/profile

   8)执行java -version
      


 3.Hadoop安装

    1)将hadoop-0.20.205.0.tar.gz复制到安装目录,比如:/usr

    2)cd /usr

    3)tar zxf hadoop-0.20.205.0.tar.gz

    4)进入hadoop的conf目录

    5)vi hadoop-evn.sh,将JAVA_HOME设置为JDK安装目录


          

    6)设置HADOOP_INSTALL环境变量,vi /etc/profile

    7)在profile中加入:HADOOP_INSTALL=/usr/hadoop-0.20.205.0

        PATH=$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$PATH

        export JAVA_HOME  HADOOP_INSTALL PATH
           

    8)保存profile文件并退出,source /etc/profile

    9)执行hadoop version

 

  4.配置hadoop伪分布模式

     1)修改/config/core-site.xml

         <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost/</value> </property> </configuration>


 

    2)修改hdfs-site.xml

 

 

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>


 

    3)修改mapred-site.xml

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> </configuration>


 

    4)创建一个基于空口令的SSH密钥,以启动无密码登录

        ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

        cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    5)测试步骤4)是否成功,ssh localhost,如成功则无需键入密码

    6)格式化HDFS文件系统,hadoop namenode -format

    7)启动进程

         start-dfs.sh

         start-mapred.sh

    8)查看启动是否成功

        a.查看logs目录下的日志文件

        b.通过web界面:http://localhost:50030/  (查看jobtracker)

                             http://localhost:50070/ (查看namenode)

        c.通过java的jps命令

    9)终止进程

         stop-dfs.sh

         stop-mapred.sh


 

 

  • 大小: 6 KB
  • 大小: 10 KB
  • 大小: 6.1 KB
  • 大小: 8.7 KB
  • 大小: 14.6 KB
分享到:
评论

相关推荐

    CentOS下安装Apache Hadoop(案例).pdf

    在安装Apache Hadoop之前,首先需要理解Hadoop是什么。Apache Hadoop是一个开源框架,专为分布式存储和处理大规模数据而设计。它由Apache Software Foundation维护,包含几个关键组件,如Hadoop Common、HDFS...

    Apache Hadoop版本详解

    本文总结了ApacheHadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。感兴趣的朋友一起看看吧

    Hadoop - Dell Apache Hadoop Solutions

    ### Hadoop - Dell Apache Hadoop Solutions #### 核心知识点概览 - **Hadoop概述与价值** - **Dell|Cloudera解决方案优势** - **Apache Hadoop(CDH)核心特性** - **企业级Hadoop解决方案的重要性** - **开放源...

    什么是 Apache Hadoop?Hadoop介绍

    hadoop 什么是 Apache Hadoop?Hadoop介绍 Apache Hadoop 是一个开源软件框架,由当时就职于雅虎的 Douglas Cutting 开发,该框架使用简单的编程模型提供对大型数据集的高度可靠的分布式处理。

    Hadoop简介及Apache Hadoop三种搭建方式

    Apache Hadoop 是一个开源的分布式计算框架,专为处理和存储大规模数据集而设计。它由Apache软件基金会维护,是大数据处理领域中的核心组件。Hadoop 的主要特点是高容错性和可扩展性,使得它能够处理PB级别的数据。...

    Pro apache Hadoop

    《Pro Apache Hadoop》是一本深入探讨Apache Hadoop生态系统的专业书籍,旨在为读者提供全面且深入的Hadoop知识。Hadoop是大数据处理领域的重要框架,由Apache软件基金会开发,以分布式计算为核心,实现了对海量数据...

Global site tag (gtag.js) - Google Analytics