`

Hadoop-2.7.1单机版安装

阅读更多
一、修改配置(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml)

hadoop-2.7.1/etc/hadoop/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

hadoop-2.7.1/etc/hadoop/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/tmp/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>127.0.0.1:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

hadoop-2.7.1/etc/hadoop/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- <property>
        <name>mapred.job.tracker</name>
        <value>127.0.0.1:9001</value>
    </property> -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>127.0.0.1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>127.0.0.1:19888</value>
    </property>
</configuration>

hadoop-2.7.1/etc/hadoop/yarn-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>127.0.0.1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>127.0.0.1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>127.0.0.1:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>127.0.0.1:8033</value>
    </property> -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>127.0.0.1:8088</value>
    </property>
    <!-- <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property> -->
</configuration>

二、配置本机密码登录
输入命令:ssh-keygen后一致按回车健
输入命令:cp   id_rsa.pub    authorized_keys;复制之前检测是否已存在authorized_keys文件,若存在需要将id_rsa.pub的内容复制到 authorized_keys中
另外可能需要服务器上
~/.ssh权限设置为700
~/.ssh/authorized_keys的权限设置为600

三、启动
先格式化:hadoop-2.7.1/bin/hdfs    namenode   -format
启动:hadoop-2.7.1/sbin/start-dfs.sh
启动:hadoop-2.7.1/sbin/start-yarn.sh


四:验证
在浏览器中输入:
http://127.0.0.1:8088


http://127.0.0.1:50070


PS:在Window上启动时出现了如下错误:
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
时需要下载源代码重新编译,如下:将610行注释掉,直接返回true

若出现下面的错误需要下载winutils.exe文件放入D:\Tools\hadoop-2.7.1\bin目录下
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
15/12/04 19:18:12 ERROR util.Shell: Failed to locate the winutils binary in the
hadoop binary path
java.io.IOException: Could not locate executable D:\Tools\hadoop-2.7.1\bin\winutils.exe in the Hadoop binaries.
        at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:356)
        at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:371)
        at org.apache.hadoop.util.Shell.<clinit>(Shell.java:364)
        at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.j
ava:2483)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2508)


hadoop-common-2.2.0-bin-master.zip下载地址:https://codeload.github.com/srccodes/hadoop-common-2.2.0-bin/zip/master

  • 大小: 58 KB
  • 大小: 130.3 KB
  • 大小: 95.8 KB
  • 大小: 443.3 KB
分享到:
评论

相关推荐

    hadoop-common-2.7.1-bin-master.zip+hbase-2.0.0-bin.tar.gz Hbase与Hadoop版本对应

    本文将深入探讨Hadoop Common 2.7.1与HBase 2.0.0之间的关系,以及在Windows环境下如何正确安装和配置这两个组件。 Hadoop是Apache软件基金会开发的一个开源框架,主要用于处理和存储大规模数据集。Hadoop Common是...

    hadoop2.7.1安装手册.docx

    - ZooKeeper 是 Hadoop 集群中的协调服务,需要单机或集群安装 5. **关闭 Linux 防火墙** - 关闭防火墙以允许 Hadoop 相关服务通信 6. **编译并安装 Hadoop 2.7.1** - 对于 64 位系统,可能需要编译源码 - ...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...

    Hadoop-3.2.0基础讲义-单点集群部署-(windows,linux).docx

    3.2. Hadoop 2.7.1 部署 首先,我们需要解压缩Hadoop安装包,修改Hadoop的Java配置路径,配置环境变量。然后,我们需要修改配置文件core-site.xml和hdfs-site.xml。最后,我们可以格式化Hadoop系统,启动Hadoop服务...

    Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html

    网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。

    hadoop2.71 window环境下运行文件

    6. **配置Hadoop**: 在Windows上运行Hadoop,首先需要下载Hadoop发行版(如hadoop-2.7.1),解压后配置`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`和`mapred-site.xml`等配置文件,指定HDFS和YARN的相关参数...

    Hadoop安装教程_单机_伪分布式配置_CentOS6.4_Hadoop2.6

    根据给定文件的信息,本文将详细介绍如何在 CentOS 6.4 系统中安装 Hadoop 2.6.0,并实现单机模式与伪分布式模式的配置。 ### 环境准备 #### 操作系统环境 - **操作系统**: CentOS 6.4 32位 - **虚拟化平台**: ...

    Hadoop架构实验ppt

    #### 一、Hadoop安装部署模式详解 Hadoop支持三种主要的部署模式:单机模式、伪分布式模式以及分布式模式。 1. **单机模式**: - **定义**:这是Hadoop默认的运行模式,无需额外配置即可运行。 - **特点**:所有...

    Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu141

    【Hadoop安装教程:单机与伪分布式配置详解】 在大数据处理领域,Hadoop是一个广泛使用的开源框架,它允许在廉价硬件集群上处理大规模数据。本文将指导您如何在Ubuntu 14.04 64位系统上安装Hadoop 2.6.0,无论是...

    Ch4-Hadoop系统安装运行与程序开发1

    安装Hadoop时,需要下载对应版本,例如稳定的2.7.1版本,或者最新的开发版如3.0.0。在安装过程中,创建特定的用户组和用户,如'hadoop-user'和'hadoop',以确保权限管理和安全性。 总的来说,掌握Hadoop的安装、...

    MPLab1-171850524-刘扬1

    3. **Hadoop安装**:下载Hadoop的二进制包,如Hadoop-2.7.1,并将其解压到指定目录。解压后,Hadoop即可在单机模式下运行。 4. **环境变量配置**:为了使Hadoop命令能在终端中正常执行,需要配置环境变量。这涉及到...

    Spark集群安装.pdf

    - **版本选择**:本文档推荐使用Hadoop2.7.1。 - **用户一致性**:建议所有虚拟机使用相同的用户名(例如“hadoop”),以便简化后续配置过程。 **2. JDK安装** - **命令行安装**:`sudo apt-get install default-...

    Hadoop集群安装配置教程_Hadoop2.62

    本教程适用于Hadoop 2.x系列版本,特别是Hadoop 2.6.0及类似版本如Hadoop 2.7.1、Hadoop 2.4.1。它假设读者已经具备了Hadoop单机或伪分布式配置的基础知识。 **环境配置** 教程以Ubuntu 14.04 64位作为示例操作系统...

    Hadoop2.7.2伪分布部署

    本教程不仅适用于Hadoop2.7.2版本,也适用于任何2.x.y系列的Hadoop版本,如Hadoop2.7.1或Hadoop2.6.0。Hadoop有两个主要的版本系列,Hadoop1.x.y和Hadoop2.x.y。较新版本的Hadoop2.x.y系列包括了YARN(Yet Another ...

    大数据原理与通用 hadop环境安装

    - 学习如何在单机上进行Hadoop的伪分布式安装。 - 通过实际操作加深对大数据处理架构的理解。 #### 二、实验环境准备 - **操作系统**:推荐使用Ubuntu 14.04版本。 - **虚拟机软件**:推荐使用VirtualBox。这是...

Global site tag (gtag.js) - Google Analytics