环境:ubuntu+hadoop2.6.4
步骤:
1、安装jdk8.
参考链接:http://wandejun1012.iteye.com/blog/1903804
2、下载hadoop.tar.gz
下载链接:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
3、添加hadoop用户
4、运行hadoop第一个hello world
参考链接:http://www.powerxing.com/install-hadoop/
5、官方环境搭建教程:
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
6、运行namenode format时会报如下错误:
Cannot create directory /usr/local/hadoop/tmp/dfs/name/current
这个经过调查证明是权限的问题,只要将$HADOOP_HOME的owner设置成hadoop用户即可,输入如下命令:
sudo chown hadoop /usr/local/hadoop
这样无论是create,还是delete,他都有权限了。
参考链接:http://stackoverflow.com/questions/18949628/formatting-namenode-in-ubuntu
http://stackoverflow.com/questions/11315177/hadoop-java-io-ioexception-while-running-namenode-format
http://askubuntu.com/questions/35551/error-when-formatting-the-hadoop-filesystem 这个方法是用的chmod 777的方法,未测试
相关推荐
Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...
Hadoop环境搭建主要包括配置Hadoop相关的配置文件,包括但不限于hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters和slaves文件。 在hadoop-env.sh文件中需要指定Java的安装路径,因为Hadoop...
### Hadoop环境搭建手册 #### 一、Hadoop简介 Hadoop是一个开源的分布式计算框架,主要用于处理大规模数据集。该框架由Apache软件基金会维护,是大数据领域内最重要的技术之一。Hadoop的核心组件包括MapReduce和...
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。...其实,Hadoop环境搭建的主要内容是Cygwin的安装,估计要占总时间的2/3, 其它工作我会手把手的教你,come on,follow me!
hadoop环境搭建和eclipse开发
Hadoop环境搭建手册 Hadoop,作为开源的分布式计算框架,是云计算领域的重要组成部分,尤其在大数据处理上表现卓越。本手册将详细讲解如何搭建一个完整的Hadoop环境,包括所有基本信息,供读者参考并实操。 **...
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境
### Hadoop环境搭建详解 #### 一、引言 随着大数据技术的发展,Hadoop作为大数据处理的核心框架之一,其重要性不言而喻。对于初学者来说,掌握Hadoop的基本安装与配置流程是非常重要的第一步。本文旨在提供一份...
hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境,包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...
4. 配置Hadoop环境是关键步骤,主要涉及以下几个文件: - `hadoop-env.sh`: 这个文件用于设置Hadoop相关的环境变量,如`JAVA_HOME`,应确保指向正确的JDK安装路径,例如`/home/tools/jdk1.8.0_221`。 - `hdfs-...
Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 JDK1.8 本文档主要介绍了在 CentOS7 环境下搭建 Hadoop 环境,包括安装配置 JDK1.8 的过程。下面是相关知识点的总结: 一、删除自带的 OpenJDK 在 CentOS7 中,...
"Hadoop环境搭建" Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机的安装、操作系统的选择、虚拟机的配置等多个方面。下面是 Hadoop 环境搭建的详细知识点: 一、虚拟机的安装 1.1 VMware 中新建虚拟机的...
"Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 Scala 2.11.8" 本文主要讲述如何在 CentOS7 环境下搭建 Hadoop 环境,并安装配置 Scala 2.11.8。下面是相关知识点的总结: 1. Hadoop 环境搭建 在 CentOS7 环境下...
大数据-Hadoop环境搭建(单机) 本文档旨在指导读者搭建大数据Hadoop环境,基于CentOS 6.8操作系统,使用JDK 1.8和Hadoop 2.8.2版本。文档涵盖了服务器选择、相关配置、Hadoop环境安装、JDK环境配置、Hadoop环境配置...
本资源包含Hadoop环境搭建所需的关键组件,主要为Hadoop 2.7.2和Java Development Kit (JDK) 8u181的Linux版本。 1. **Hadoop 2.7.2**: 这是Hadoop的一个稳定版本,它支持HDFS(Hadoop Distributed File System)和...
### Hadoop环境搭建知识点 #### 一、Hadoop的重要性与基础知识 - **Hadoop的地位**:作为大数据处理领域的核心框架之一,Hadoop被广泛应用于数据存储与处理领域,特别是对于大规模数据集的数据处理方面有着不可替代...