`

Hadoop安装教程——单机模式【转载】

阅读更多
HadoopSSHUbuntuJDKSUN
Hadoop是MapReduce的开源实现,现在介绍它的单机模式安装方法。

实验平台:Ubuntu 9.04,Hadoop0.20,JDK1.6

step 1. ssh的安装设置

由于Hadoop用ssh 通信,因此先进行免密码登录设定,
Java代码 
$ apt-get install ssh  
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
$ ssh localhost 
完成后请登入确认不用输入密码,(第一次登入需按enter键,第二次就可以直接登入到系统。 
~$ ssh localhost 
~$ exit 
~$ ssh localhost 
~$ exit 


step 2. 安装java

由于 Sun Java Runtime 是执行 Hadoop 必备的工具,因此我们需要安装 JRE 或 JDK。这里我们直接安装 JDK,因为后面写程序仍旧需要用到 JDK 所提供的编译程序。目前 Ubuntu 9.04 提供的 JDK 套件最新版本为 Sun Java(TM) Development Kit (JDK) 6 ,套件名称为 sun-java6-jdk。并建议删除原本的 「 gcj 」 。
~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre

step 3. 下载安装Hadoop

•请至下载 Hadoop 0.20,并解开压缩文件到 /opt 路径。
•$ tar zxvf hadoop-0.20.0.tar.gz
•$ sudo mv hadoop-0.20.0 /opt/
•$ sudo chown -R hadoop:hadoop /opt/hadoop-0.20.0
•$ sudo ln -sf /opt/hadoop-0.20.0 /opt/hadoop

step 4. 设定 hadoop-env.sh

•进入 hadoop 目录,做进一步的设定。我们需要修改两个档案,第一个是 hadoop-env.sh,需要设定 JAVA_HOME, HADOOP_HOME, PATH 三个环境变量。
/opt$ cd hadoop/
/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF
贴上以下信息
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin
EOF

step 5. 设定 hadoop配置文件

•編輯 /opt/hadoop/conf/core-site.xml
Xml代码 
<configuration> 
  <property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:9000</value> 
  </property> 
  <property> 
    <name>hadoop.tmp.dir</name> 
    <value>/tmp/hadoop/hadoop-${user.name}</value> 
  </property> 
</configuration> 
•編輯 /opt/hadoop/conf/hdfs-site.xml  
<configuration> 
  <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
  </property> 
</configuration> 
•編輯 /opt/hadoop/conf/mapred-site.xml  
<configuration> 
  <property> 
    <name>mapred.job.tracker</name> 
    <value>localhost:9001</value> 
  </property> 
</configuration> 


step 6. 格式化HDFS

•以上我们已经设定好 Hadoop 单机测试的环境,接着让我们来启动 Hadoop 相关服务,格式化 namenode, secondarynamenode, tasktracker
•$ cd /opt/hadoop
•$ source /opt/hadoop/conf/hadoop-env.sh
•$ hadoop namenode -format

执行画面如:
09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:  host = /localhost
STARTUP_MSG:  args = [-format]
STARTUP_MSG:  version = 0.20.3
STARTUP_MSG:  build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
************************************************************/
09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.
09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at /localhost
************************************************************/

step 7. 启动Hadoop

•接着用 start-all.sh 来启动所有服务,包含 namenode, datanode,
/opt/hadoop$ bin/start-all.sh
执行画面如:
starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out

step 8. 安装完毕测试

•启动之后,可以检查以下网址,来观看服务是否正常。Hadoop 管理接口 Hadoop Task Tracker 状态 Hadoop DFS 状态
•http://localhost:50030/ - Hadoop 管理接口
分享到:
评论

相关推荐

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html

    网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。

    Hadoop安装教程_单机_伪分布式配置

    ### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    Hadoop高级编程——构建与实现大数据解决方案.rar

    本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行高效的数据操作,构建实际的大数据解决方案。 一、Hadoop概述 Hadoop是由Apache基金会开发的开源项目,主要由Hadoop ...

    Hadoop安装使用教程0基础!!!易懂!!!

    Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...

    Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu141

    【Hadoop安装教程:单机与伪分布式配置详解】 在大数据处理领域,Hadoop是一个广泛使用的开源框架,它允许在廉价硬件集群上处理大规模数据。本文将指导您如何在Ubuntu 14.04 64位系统上安装Hadoop 2.6.0,无论是...

    hadoop集群搭建——JDK的安装

    ### hadoop集群搭建——JDK的安装 #### 实验背景及目标 在部署Hadoop集群的过程中,第一步往往是安装Java Development Kit (JDK),因为Hadoop是基于Java开发的,因此在集群上的每个节点都需要安装JDK。本实验旨在...

    Hadoop安装教程_单机_伪分布式配置_CentOS6.4_Hadoop2.6

    根据给定文件的信息,本文将详细介绍如何在 CentOS 6.4 系统中安装 Hadoop 2.6.0,并实现单机模式与伪分布式模式的配置。 ### 环境准备 #### 操作系统环境 - **操作系统**: CentOS 6.4 32位 - **虚拟化平台**: ...

    Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程

    Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程)

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK&lt;最新版&gt; - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...

    实验1 安装Hadoop.doc

    - 在VirtualBox中安装Ubuntu的具体步骤可参考相关书籍资料(例如《大数据基础编程、实验和案例教程》P18—P30)。 - 如需导入已有的Ubuntu系统镜像,参考教程P36—P38的操作流程。 #### 目的意义 通过这一环节的...

    Hadoop高级编程- 构建与实现大数据解决方案

    9. **Hadoop集群的部署和管理**:掌握在单机、伪分布式和完全分布式模式下安装和配置Hadoop集群,以及使用Ambari等工具进行集群管理。 10. **案例研究**:通过实际的大数据解决方案案例,如日志分析、推荐系统、...

    单机版hadoop安装(linux)

    单机版 Hadoop 安装(Linux) 单机版 Hadoop 安装是指在单台机器上安装 Hadoop 环境,以便快速入门 Hadoop 和了解 Hadoop 的基本原理和使用方法。在这个安装过程中,我们将创建 Hadoop 用户组和用户,安装 JDK,...

    Hadoop3.1.3安装和单机/伪分布式配置

    - **掌握Hadoop3.1.3的安装与配置**:包括单机模式和伪分布式模式。 - **理解Hadoop的工作原理**:特别是其在不同模式下的运行机制。 - **熟悉Hadoop的常用操作**:如文件上传、数据处理等。 #### 二、实验原理 ##...

    Ubuntu下的Hadoop安装教程

    ### Hadoop 在 Ubuntu 下的安装教程 #### 一、安装 Linux 操作系统 在搭建 Hadoop 开发环境之前,首先需要确保系统环境已准备好。本文档假设你正在使用 Ubuntu 12.04 操作系统。 如果你还没有安装 Linux 操作系统...

    hadoop配置文件——精简版.zip

    此压缩包主要包含的是是hadoop的7个主要的配置文件,core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、mapred-env.sh、yarn-env.sh精简配置优化性能,具体相关参数根据集群规模适当...

Global site tag (gtag.js) - Google Analytics