`
wandejun1012
  • 浏览: 2737568 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop 环境搭建

 
阅读更多

 

环境:ubuntu+hadoop2.6.4

 

步骤:

 

1、安装jdk8.

参考链接:http://wandejun1012.iteye.com/blog/1903804

 

2、下载hadoop.tar.gz

下载链接:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

 

3、添加hadoop用户

4、运行hadoop第一个hello world

参考链接:http://www.powerxing.com/install-hadoop/

 

5、官方环境搭建教程:

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

 

 6、运行namenode format时会报如下错误:

 Cannot create directory /usr/local/hadoop/tmp/dfs/name/current

这个经过调查证明是权限的问题,只要将$HADOOP_HOME的owner设置成hadoop用户即可,输入如下命令:

sudo chown hadoop /usr/local/hadoop 

这样无论是create,还是delete,他都有权限了。

参考链接:http://stackoverflow.com/questions/18949628/formatting-namenode-in-ubuntu

http://stackoverflow.com/questions/11315177/hadoop-java-io-ioexception-while-running-namenode-format

http://askubuntu.com/questions/35551/error-when-formatting-the-hadoop-filesystem 这个方法是用的chmod 777的方法,未测试

 

 

  

 

 

 

分享到:
评论

相关推荐

    hadoop环境搭建

    Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...

    hadoop环境搭建教程

    Hadoop环境搭建主要包括配置Hadoop相关的配置文件,包括但不限于hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters和slaves文件。 在hadoop-env.sh文件中需要指定Java的安装路径,因为Hadoop...

    hadoop环境搭建手册

    ### Hadoop环境搭建手册 #### 一、Hadoop简介 Hadoop是一个开源的分布式计算框架,主要用于处理大规模数据集。该框架由Apache软件基金会维护,是大数据领域内最重要的技术之一。Hadoop的核心组件包括MapReduce和...

    Windows上Hadoop环境搭建简介

    在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。...其实,Hadoop环境搭建的主要内容是Cygwin的安装,估计要占总时间的2/3, 其它工作我会手把手的教你,come on,follow me!

    hadoop环境搭建和eclipse开发

    hadoop环境搭建和eclipse开发

    Hadoop环境搭建手册(包含所有基本信息,本人亲测)

    Hadoop环境搭建手册 Hadoop,作为开源的分布式计算框架,是云计算领域的重要组成部分,尤其在大数据处理上表现卓越。本手册将详细讲解如何搭建一个完整的Hadoop环境,包括所有基本信息,供读者参考并实操。 **...

    Hadoop环境搭建.pdf

    Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf

    hadoop环境搭建脚本

    hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境

    最详细的Hadoop环境搭建

    ### Hadoop环境搭建详解 #### 一、引言 随着大数据技术的发展,Hadoop作为大数据处理的核心框架之一,其重要性不言而喻。对于初学者来说,掌握Hadoop的基本安装与配置流程是非常重要的第一步。本文旨在提供一份...

    hadoop环境搭建,机器部署以及 Linux 常用命令操作指南

    hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境,包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...

    hadoop环境搭建.docx

    4. 配置Hadoop环境是关键步骤,主要涉及以下几个文件: - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量,如`JAVA_HOME`,应确保指向正确的JDK安装路径,例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...

    第2集-Hadoop环境搭建 - linux(centos7) - 安装配置jdk1.8.pdf

    Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 JDK1.8 本文档主要介绍了在 CentOS7 环境下搭建 Hadoop 环境,包括安装配置 JDK1.8 的过程。下面是相关知识点的总结: 一、删除自带的 OpenJDK 在 CentOS7 中,...

    1、Hadoop环境搭建.docx

    "Hadoop环境搭建" Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机的安装、操作系统的选择、虚拟机的配置等多个方面。下面是 Hadoop 环境搭建的详细知识点: 一、虚拟机的安装 1.1 VMware 中新建虚拟机的...

    第5集-Hadoop环境搭建 - linux(centos7) - 安装配置scala2.11.8.pdf

    "Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 Scala 2.11.8" 本文主要讲述如何在 CentOS7 环境下搭建 Hadoop 环境,并安装配置 Scala 2.11.8。下面是相关知识点的总结: 1. Hadoop 环境搭建 在 CentOS7 环境下...

    大数据-Hadoop环境搭建(单机)

    大数据-Hadoop环境搭建(单机) 本文档旨在指导读者搭建大数据Hadoop环境,基于CentOS 6.8操作系统,使用JDK 1.8和Hadoop 2.8.2版本。文档涵盖了服务器选择、相关配置、Hadoop环境安装、JDK环境配置、Hadoop环境配置...

    hadoop环境搭建资源

    本资源包含Hadoop环境搭建所需的关键组件,主要为Hadoop 2.7.2和Java Development Kit (JDK) 8u181的Linux版本。 1. **Hadoop 2.7.2**: 这是Hadoop的一个稳定版本,它支持HDFS(Hadoop Distributed File System)和...

    史上最详细的Hadoop环境搭建

    ### Hadoop环境搭建知识点 #### 一、Hadoop的重要性与基础知识 - **Hadoop的地位**:作为大数据处理领域的核心框架之一,Hadoop被广泛应用于数据存储与处理领域,特别是对于大规模数据集的数据处理方面有着不可替代...

Global site tag (gtag.js) - Google Analytics