`
ajax
  • 浏览: 253666 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop2.7.1安装的一些坑

 
阅读更多

1. 在/etc/profile里更新了JDK的版本,因为Hadoop2.7只能使用JDK1.7,更新后,需要即时更新,可以使用命令>. /etc/profile.

 

2. hadoop 2.7 的Eclipse plugin没有测试成功,但是Hadoop官方网站已经提供了开发工具,实际上也是一个Eclipse的plugin(http://hdt.incubator.apache.org/download.html

 

3. 几个网站对配置Hadoop2 比较有用:

http://www.aboutyun.com/thread-11909-1-1.html

http://www.open-open.com/lib/view/open1436855630959.html 

http://www.cnblogs.com/meiyuanbao/p/3545929.html

 

4. 如果配置了namenode的HA,当format一个namenode,另外一个必须使用hdfs namenode -bootstrapStandby.

 

5. 如果多于一次的format namenode,那么datanode的clusterid总是和第一次的namenode culsterid一样,之后不会改变。两种方式修复这个问题:

 - 修改datanode下的VERSION,改成跟namenode一致

- 删除namenode.dir和datanode.dir,然后重新格式话

 

6. 如果拷贝多个虚拟机,比如数据节点完成配置,拷贝出其它两个,如果data.dir里已经有文件,那么uuid在多个数据节点就是重复的,会导致只有一个数据节点是活着的。其它无法注册。

分享到:
评论

相关推荐

    hadoop-2.7.1.zip

    Hadoop 2.7.1是Hadoop发展过程中的一个重要版本,它提供了许多增强特性和稳定性改进,使得大规模数据处理更加高效和可靠。在这个版本中,Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,...

    hadoop-2.7.1

    10. **安装与部署**:安装Hadoop 2.7.1通常涉及解压`hadoop-2.7.1.tar.gz`,配置环境变量,格式化HDFS,启动守护进程等步骤。集群部署还需要考虑节点间的通信和数据同步。 综上所述,Hadoop 2.7.1是一个强大的大...

    hadoop2.7.1 eclipse插件

    hadoop2.7.1的eclipse插件,编译环境,eclipse 4.4(luna) ,jdk1.7,ant1.9.6,maven3.3,hadoop2.7.1,centos6.7,jdk1.7 要注意的是开发黄金下jdk版本必须是jdk1.7及以上,否则无法使用

    Hadoop2.7.1中文文档

    Hadoop2.7.1是Hadoop发展中的一个重要版本,它在前一个版本的基础上进行了一系列的优化和改进,增强了系统的稳定性和性能。这个压缩包文件包含的是Hadoop2.7.1的中文文档,对于学习和理解Hadoop的运作机制、配置以及...

    hadoop2.7.1的Windows版本

    为了在Windows上成功部署并运行Hadoop 2.7.1,我们需要对原始的发行包进行一些调整。 首先,Hadoop在Windows上的主要问题在于它的依赖于某些Unix/Linux工具,例如`bash`, `sed`, `grep`等。为了在Windows上运行,...

    hadoop.zip hadoop2.7.1安装包

    Hadoop2.7.1是Hadoop的一个稳定版本,提供了许多改进和新特性,旨在提高性能、可靠性和可管理性。 在Hadoop2.7.1安装包中,`hadoop-2.7.1.tar.gz`是主要的发布文件,包含了Hadoop的所有组件和依赖库。这个tarball...

    hadoop2.7.1.rar

    标题中的"hadoop2.7.1.rar"表明这是一个关于Apache Hadoop的压缩文件,具体版本为2.7.1。Hadoop是一个开源框架,主要用于分布式存储和计算,它由Apache软件基金会开发,广泛应用于大数据处理领域。这个压缩包可能是...

    eclipse hadoop2.7.1 plugin 配置

    `eclipse hadoop2.7.1 plugin`是为了方便开发者在Eclipse中进行Hadoop项目开发而设计的插件。本文将详细介绍如何配置Eclipse以支持Hadoop 2.7.1,并讨论相关的知识点。 首先,配置Eclipse Hadoop插件的步骤如下: ...

    hadoop2.7.1平台搭建

    hadoop2.7.1平台搭建

    hadoop 2.7.1

    在Hadoop 2.7.1中,引入了一些关键改进,如YARN(Yet Another Resource Negotiator)资源调度器。YARN分离了资源管理和作业调度的功能,使得Hadoop能够更好地支持多种计算框架,如Spark、Tez等。此外,YARN提高了...

    hadoop2.7.1-win32.zip

    标题 "hadoop2.7.1-win32.zip" 指示了这是一个适用于Windows 32位操作系统的Hadoop版本,具体为2.7.1。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在大量计算机节点上处理和存储海量数据。这个...

    hadoop2.7.1版本的hadoop.dll,winutils.exe

    在安装和配置Hadoop 2.7.1时,正确设置和使用winutils.exe是必不可少的步骤。 在Windows上使用Hadoop可能会遇到一些与Linux环境不同的挑战,例如路径处理、文件系统权限和网络配置。hadoop.dll和winutils.exe的引入...

    Spark所需的hadoop2.7.1相关资源

    在Windows环境下安装和配置Hadoop2.7.1和Spark2.0.0+时,确保正确放置hadoop.dll和winutils.exe文件,并配置相应的环境变量,是成功运行Spark作业的必要步骤。用户还需要注意Java环境的配置,因为Hadoop和Spark都是...

    hadoop2.7.1安装手册.docx

    【Hadoop 2.7.1 安装详解】 在大数据处理领域,Hadoop 是一个不可或缺的开源框架,主要用于分布式存储和计算。本篇将详细阐述如何在 CentOS 6.4 系统上安装 Hadoop 2.7.1。 **一、准备工作** 1. **获取安装包** ...

    hadoop-2.7.1 64位编译包 part1

    本人用7个多小时成功编译 hadoop 2.7.1 64位编译包(JDK1.8 64),由于文件太大,分3卷压缩。 hadoop 2.7.1 相对于2.7.0修复了上百个Bug,是可用于生产环境的版本了。

    hadoop2.7.1可使用的hadoop.dll

    在网上下了好多2.6版本的hadoop.dll,但是都不好使,昨天有个好心网友给我发了一份,实际测试通过。开发环境是64位win7+hadoop2.7.1+redhat版本的linux。

    Windows 7 or 10 eclipse hadoop2.7.1 配置需要文件和工具

    在Windows 7或10操作系统上配置Eclipse与Hadoop 2.7.1环境,是大数据开发过程中的一项基础任务。这个过程涉及到多个步骤,包括安装必要的软件、配置环境变量以及整合Eclipse插件,以便在集成开发环境中无缝运行...

    hadoop-2.7.1.rar

    Hadoop 2.7.1 是 Apache 基金会发布的一个开源分布式计算框架,它在大数据处理领域扮演着至关重要的角色。这个版本是Hadoop发展中的一个重要里程碑,提供了许多性能优化和新特性,旨在提高数据处理的效率和可靠性。 ...

    hadoop2.7.1tar包.zip

    在这个hadoop2.7.1tar包.zip文件中,我们拥有了Hadoop 2.7.1的源码或二进制版本,它是一个重要的里程碑版本,包含了很多改进和优化。Hadoop在大数据领域扮演着核心角色,其主要由两个关键组件构成:HDFS(Hadoop ...

Global site tag (gtag.js) - Google Analytics