`

hadoop2.x安装

阅读更多
hadoop2.x安装

1.搭建虚拟机(使用桥接网络,以便设置ssh连接,注意版本)
2.安装jdk
3.编辑hosts的文件
4.关闭防火墙
5.部署免密码登录
6.下载hadoop2.x并解压
7.修改配置文件
8.并分发hadoop到各个节点
9.启动集群


修改配置文件,涉及到的配置文件有:
hadoop2.2/etc/hadoop/hadoop-env.xml
  修改JAVA_HOME
hadoop2.2/etc/hadoop/yarn-env.xml
  修改JAVA_HOME
hadoop2.2/etc/hadoop/slaves
  写入各个主机的名称
hadoop2.2/etc/hadoop/core-site.xml
    
<property>
       <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
   </property>
   <property>
       <name>io.file.buffer.size</name>
       <value>131072</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/opt/hadoopdfs/tmp</value>
       <description>Abase for other temporary directories.</description>
   </property>
      <property>
       <name>hadoop.proxyuser.hduser.hosts</name>
       <value>*</value>
   </property>
   <property>
       <name>hadoop.proxyuser.hduser.groups</name>
       <value>*</value>
   </property>

hadoop2.2/etc/hadoop/hdfs-site.xml
    
<property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/opt/hadoopdfs/name</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:/opt/hadoopdfs/data</value>
   </property>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
hadoop2.2/etc/hadoop/mapred-site.xml
   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
     <final>true</final>
   </property>
   <property>
     <name>mapred.job.tracker</name>
     <value>master:9001</value>
   </property>

hadoop2.2/etc/hadoop/yarn-site.xml
  
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>

----------------------------------------------------------------------------------
格式化namenode:/bin/hdfs namenode -format
启动hdfs:/sbin/start-dfs.sh
    此时在master上进程有:NameNode,ResourceManager
    datanode上进程有:datanode
启动yarn:/sbin/start-yarn.sh
    此时在master上进程有:NameNode,ResourceManager,SecondaryNameNode
    datanode上进程有:DataNode,NodeManager
分享到:
评论

相关推荐

    Apache Hadoop2.x 安装入门详解 PDF

    本教程将详细讲解Apache Hadoop 2.x的安装过程,帮助初学者快速入门。 一、Hadoop的体系结构 Hadoop的核心由两个主要组件构成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一种分布式文件系统,能...

    hadoop2.x 安装文档

    ### Hadoop 2.x 安装与配置详解 #### 一、准备工作 在开始Hadoop 2.x集群的搭建之前,需要确保以下条件已经满足: 1. **操作系统环境**: 所有的服务器节点均应安装Linux操作系统。 2. **Java Development Kit ...

    Hadoop2.x安装共25页.pdf.zip

    很抱歉,根据您提供的信息,"Hadoop2.x安装共25页.pdf.zip"这个压缩文件似乎包含了关于Hadoop 2.x安装的详细教程,但实际的文件内容并没有提供。通常,这样的文档会涵盖Hadoop环境配置、集群搭建、分布式文件系统...

    hadoop1.x与hadoop2.x配置异同

    接下来,我们将详细讨论Hadoop的安装过程,以及Hadoop1.x与Hadoop2.x之间的配置差异。 ### Hadoop的安装 #### Hadoop1.x安装 1. **下载Hadoop**:从Apache官方网站(http://www.us.apache.org/dist/hadoop/common)...

    hadoop2.X新特性介绍

    ### Hadoop2.X 新特性详解 #### Hadoop1.0 的局限性 Hadoop1.0作为初代的大数据处理框架,在数据存储和处理方面取得了显著成就,但也暴露出了一系列问题,主要包括: - **HDFS(Hadoop Distributed File System)...

    理清Hadoop1.x与Hadoop2.x区别

    理清Hadoop1.x与Hadoop2.x区别,对比分析。 Hadoop是大数据惊世之作,必学的东西,需要知道: 它由哪些部分组成? 各自的作用是什么? 如果工作的?

    Hadoop 2.x

    **Hadoop 2.x 入门指南** Hadoop 2.x 是一个开源的分布式计算框架,它是Apache Hadoop项目的最新版本,旨在提供高效、可...通过学习"0101+初识Hadoop+2.x.pdf"这样的文档,你可以逐步掌握这个领域的核心概念和技术。

    Hadoop3.x系统文档

    文档中提到,与Hadoop 2.x相比,3.x版本在集群安装和配置方面基本变化不大,但具体到新版本的特性以及对默认端口的改变上,还是存在一些需要特别注意的地方。 #### 1. Hadoop 3.x集群安装知识 在集群安装知识部分,...

    Hadoop2.X集群安装与配置

    本文将详细介绍如何在三节点环境下安装和配置Hadoop 2.x 集群。 一、环境准备 在开始Hadoop的安装前,你需要确保你的硬件环境满足基本需求,包括足够的内存、硬盘空间以及至少三台服务器或虚拟机。每台节点应安装...

    hadoop2.x 介绍

    hadoop2.x 介绍,及对比hadoop1.x的区别。hadoop2.x的新特性的详细介绍。

    hadoop3.x盘地址及官方其他版本下载地址.rar

    Hadoop 3.x系列是Hadoop的主要版本之一,相比之前的Hadoop 2.x,它引入了诸多改进和优化,提升了整体的存储性能和计算效率。在本文中,我们将深入探讨Hadoop 3.x的关键特性、优化之处以及如何获取和安装这个版本。 ...

    win32win64hadoop2.7.x.hadoop.dll.bin

    标题“win32win64hadoop2.7.x.hadoop.dll.bin”暗示了这是一个与Hadoop 2.7.x版本相关的二进制文件,适用于32位和64位的Windows操作系统。描述中提到,这些文件是用于在Windows环境下部署Hadoop时必需的组件,并且在...

    初识Hadoop 2.x.pdf

    ### Hadoop 2.x 入门知识点概览 #### 一、大数据应用发展前景 随着信息技术的飞速发展,数据量呈爆炸式增长,这不仅带来了挑战也孕育着新的机遇。根据2015年中国(深圳)IT领袖峰会的讨论,大数据正逐渐成为推动...

    Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进

    在这篇文章中,我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...

    Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月

    Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月,分享给所有需要的人!

    hadoop2.x文档

    ### Hadoop 2.x 企业级项目实战知识点详解 #### 一、课程概览与目标定位 **课程背景与目标:** 本课程旨在为具备一定软件开发经验的专业人士提供一个深入学习Hadoop 2.x及大数据相关技术的机会。不同于一般的入门...

    hadoop3.x带snappy(可用于windows本地开发)

    【标题】"hadoop3.x带snappy(可用于windows本地开发)"所涉及的知识点主要集中在Hadoop 3.0版本以及Snappy压缩算法在Windows环境下的应用。Hadoop是一个开源的大数据处理框架,由Apache软件基金会开发,它使得在...

Global site tag (gtag.js) - Google Analytics