`
salazar
  • 浏览: 31270 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop-1.2 单机部署

 
阅读更多
准备相关资源环境 
运行环境 工具

Linux Centos 6.3

JDK 1.7.0_51

SSH Secure Shell

  1. 下载Hadoop1.2

 

http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

 

这里下载的是hadoop-1.2.1.tar.gz,解压缩:

 

tar -zxvf hadoop-1.2.1.tar.gz


   

 


  2. 配置系统环境变量

 

vi /hadoop/hadoop1.2.1/conf/hadoop-env.sh
     

  3. 测试安装
source hadoop-env.sh
hadoop version
   
      

  4. 运行前配置,由于Hadoop是分布式系统,要在单机上运行就要采用伪分布式方式
   1) 在运行目录中,创建tmp hdfs/name hdfs/data目录
cd /hadoop/hadoop-1.2.1
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
    2) mapred-site.xml    
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>
   3) hdfs-site.xml   
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/hadoop/hadoop-1.2.1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/hadoop/hadoop-1.2.1/hdfs/data</value>
    </property>
</configuration>
    4) core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-1.2.1/tmp</value>
    </property>
</configuration>
  

  5. 格式化namenode,不然的话在jps里找不到namenode   
hadoop namenode -format
      

  6. 执行启动
start-all.sh
      

 7. 检查启动是否正常,应出现DataNode/NameNode/TaskTracker/SecondaryNameNode/JobTracker进程
    
8. 一切OK,恭喜Hadoop部署运行成功!
最后可自己去运行Hadoop-examples相关例子来试试效果,如:WordCount。
 

 
 
 
 
 
 

 


 
 

  • 大小: 41.6 KB
  • 大小: 85.1 KB
  • 大小: 44.9 KB
  • 大小: 232 KB
  • 大小: 90.8 KB
  • 大小: 13 KB
分享到:
评论

相关推荐

    Hadoop单机与集群部署笔记.docx

    ### Hadoop单机与集群部署知识点 #### 一、Hadoop单机系统版本安装配置 **1.1 配置前的准备工作** - **添加hadoop用户并设置密码:** - 在Linux环境下,首先需要创建一个专用的`hadoop`用户,并为其设置一个安全...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    ### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...

    hadoop部署手册

    通过以上步骤,你将在单机环境中成功部署了Hadoop 2.0.2。这只是一个起点,实际生产环境中通常会涉及多节点集群的配置和管理,包括Hadoop的高可用性、性能优化等复杂话题。在深入学习和实践的过程中,你将逐步掌握...

    使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

    但在Hadoop 2.x中,这种集中式的依赖管理方式被分成了多个单独的JAR文件,这样的变化提高了系统的灵活性,但也增加了开发人员在构建和部署MapReduce应用程序时的复杂度。 在Hadoop 2.6.0中,运行一个简单的...

    Hadoop2.2部署文档

    本文档旨在为初学者提供一个清晰、详尽的Hadoop部署流程,包括单机伪分布模式和多节点集群的安装与配置,帮助读者快速理解Hadoop的核心概念和实际操作。 1.2 背景 在Linux环境下部署Hadoop,需要对操作系统有基本的...

    Hadoop实战.Hadoop.in.Action.Chuck.Lam.文字版

    本章节将详细介绍如何安装和配置Hadoop环境,包括单机模式和集群模式下的设置方法。此外,还将演示如何启动和停止Hadoop服务。 ##### 1.3 Hadoop组件详解 - **HDFS**:Hadoop的分布式文件系统,用于存储数据。 - **...

    hadoop入门[归纳].pdf

    单机部署主要是为了学习和测试Hadoop环境,了解其基本工作原理。 3.2 先决条件 包括操作系统要求、Java环境安装、网络环境等。 3.2.1 支持平台 Hadoop支持多种操作系统,如Linux、Windows、Mac OS等。 3.2.2 所需...

    linux下如何配置分布式检索

    2. **软件准备**:准备好Nutch(例如版本为1.2)和Hadoop等必要的软件包。 3. **网络准备**:确认所有节点之间的网络连接畅通无阻。 #### 三、具体步骤 ##### 1. 安装与部署Tomcat - **安装Tomcat**:确保目标...

    基于hadoop的海量文本处理系统

    ##### 1.2 硬件配置 - **服务器配置**:采用30台双路四核商用服务器,每台配备Intel Xeon E5450 CPU,运行频率为3.00GHz,拥有16GB内存以及8个500GB SAS硬盘。 - **网络配置**:采用20Gb/s IB网+千兆以太网混合组网...

    hadoop入门实战

    3. **Hadoop的单机部署** 在学习Hadoop的过程中,通常会先进行单机部署以熟悉基本操作和流程。 3.1. **目的** 主要是为开发者提供一个本地环境,便于测试代码和理解Hadoop的工作原理。 3.2. **先决条件** ...

    hadoop 笔记

    #### 三、Hadoop单机部署 **3.1 目的** 本节旨在介绍如何在单台计算机上部署Hadoop,这通常用于开发和测试环境。 **3.2 先决条件** - **3.2.1 支持平台**:Hadoop可以在多种操作系统上运行,如Linux、Mac OS X和...

    Hadoop入门实战手册

    #### 三、Hadoop的单机部署 **3.1 目的**:在单机环境中安装和配置Hadoop,以便进行学习和测试。 **3.2 先决条件** - **支持平台**:通常支持Linux操作系统,如Ubuntu、CentOS等。 - **所需软件**:包括JDK、...

    CHD3安装部署手册

    3. 章节未给出,但通常会涵盖伪分布模式安装,这是单机环境下测试Hadoop的常见方式,涉及配置hadoop-env.sh、core-site.xml、hdfs-site.xml等文件,以及格式化NameNode和启动Hadoop服务等步骤。 这个手册的后续章节...

    Hadoop实战中文版

    #### 1.2 Hadoop的核心组件 - **HDFS**:用于存储海量数据的分布式文件系统。 - **MapReduce**:用于处理大量数据的编程模型和框架。 - **YARN**:资源管理和任务调度系统。 - **Hive**:提供SQL-like查询语言的数据...

Global site tag (gtag.js) - Google Analytics