- 浏览: 109244 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
zenoh:
是啊,我也纳闷,apache hadoop2.2.0的已经修复 ...
安装CDH5 hadoop2.2.0遇到的配置问题 -
Molisa:
你好,我有两个问题请教一下:1.为了密码安全,你有没有试过使用 ...
使用oozie调度sqoop从oracle导入hbase
今天在把原来的hadoop HA的环境给变换了,在start-dfs.sh时,报了以下一个错误:
013-09-23 16:39:33,248 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: slave3:50070
2013-09-23 16:39:33,248 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-09-23 16:39:33,282 INFO org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer: Starting standby checkpoint thread...
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Determined nameservice ID: master
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: HA Enabled: true
2013-09-23 16:33:59,033 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Append Enabled: true
2013-09-23 16:33:59,672 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000
2013-09-23 16:33:59,677 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/hadoop/dw/data/hadoop/dfs/name does not exist
2013-09-23 16:33:59,678 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2013-09-23 16:33:59,680 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: Cannot start an HA namenode with name dirs that need recovery. Dir: Storage Directory /dw/data/hadoop/dfs/name state: NON_EXISTENT
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:289)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:639)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:476)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:400)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:434)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:610)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:591)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1162)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1226)
2013-09-23 16:33:59,683 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2013-09-23 16:33:59,684 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at slave3/10.95.3.64
************************************************************/
2013-09-23 16:39:30,752 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
这个错误导致备NN的进程起不起来,原因是主NN和备NN的元数据不一致导致的,只要把主NN的元数据目录拷贝到备NN的元数据目录即可。
013-09-23 16:39:33,248 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: slave3:50070
2013-09-23 16:39:33,248 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-09-23 16:39:33,282 INFO org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer: Starting standby checkpoint thread...
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Determined nameservice ID: master
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: HA Enabled: true
2013-09-23 16:33:59,033 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Append Enabled: true
2013-09-23 16:33:59,672 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000
2013-09-23 16:33:59,677 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/hadoop/dw/data/hadoop/dfs/name does not exist
2013-09-23 16:33:59,678 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2013-09-23 16:33:59,680 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: Cannot start an HA namenode with name dirs that need recovery. Dir: Storage Directory /dw/data/hadoop/dfs/name state: NON_EXISTENT
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:289)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:639)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:476)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:400)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:434)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:610)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:591)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1162)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1226)
2013-09-23 16:33:59,683 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2013-09-23 16:33:59,684 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at slave3/10.95.3.64
************************************************************/
2013-09-23 16:39:30,752 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
这个错误导致备NN的进程起不起来,原因是主NN和备NN的元数据不一致导致的,只要把主NN的元数据目录拷贝到备NN的元数据目录即可。
发表评论
-
-snn.saturn.local:8485 failed on connection exception: java.net.ConnectException
2014-05-07 15:12 02014-01-26 00:46:35,631 INFO ... -
Hadoop 归档 和HIVE 如何使用har 归档 文件
2014-05-01 23:47 1055Hadoop archive 唯一的优势可能就是将众多的小 ... -
Hadoop的JVM重用
2014-05-01 20:21 1098Hadoop中有个参数是mapred.job.reuse. ... -
Hadoop 优化总结(一)
2014-04-27 12:09 15961. 使用自定义Writable 自带的Text很好用,但 ... -
hadoop调优
2014-04-26 12:01 0硬件级别提高磁盘IO的 ... -
启动hadoop 报错:A fatal error has been detected by the Java Runtime
2014-04-25 10:10 0今天在重启hadoop集群的时候,一个节点报了下面的一个错,由 ... -
java.io.IOException: Cannot obtain block length for LocatedBlock{BP-
2014-04-25 10:07 0今天的job在执行的时候,出现了下述的异常: java. ... -
hadoop报的一个job提交的错
2014-04-24 10:56 0Diagnostics: Application a ... -
hadoop hdfs HA 启动不了ZKFC
2014-04-23 11:47 0测试环境master1 系统重做了,原来的所有数据都丢失,后来 ... -
Hadoop平台优化综述(一)
2014-04-19 18:48 01. 概述 随着企业 ... -
大数据处理分析的六大最好工具
2014-04-19 11:59 0Hadoop Hadoop 是一个能够对大量数据进行分布式处 ... -
Shuffle$ShuffleError
2014-04-06 10:10 0Error: org.apache.hadoop.mapr ... -
hadoop2.2.0 CDH 源码编译
2014-03-27 13:29 01 下载 源码 wget chd5 2 安装软件 yum ... -
Map/Reduce Task JVM 堆大小设置优化
2014-03-13 15:15 1892前一阵子发现用户提交的hive query和hadoop jo ... -
hadoop参数配置优化
2014-03-13 15:12 721hadoop.tmp.dir 默认值: /tmp 说明: 尽 ... -
Hadoop为什么处理小数据量时效果不好?
2014-03-11 16:50 1170Every file, directory and bloc ... -
Hadoop : MapReduce中的Shuffle和Sort分析
2014-03-03 14:06 887MapReduce 是现今一个非常流行的分布式计算框架,它被 ... -
关于Hadoop的shuffle
2014-03-03 11:16 886我们知道每个reduce task输入的key都是按照k ... -
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError:
2014-03-01 23:17 4278hadoop执行JOB在reduce阶段 ... -
hadoop Caused by: java.io.IOException: Filesystem closed
2014-02-25 13:46 6542今天在执行hive的时候报了下面的错: 2014-02 ...
相关推荐
这个文件是HDFS(Hadoop Distributed File System)的配置中心,其中的`dfs.nameservices`定义了HA命名服务的ID,如`nameservice1`,而`dfs.ha.namenodes.nameservice1`则指定了该命名服务下的两个活动/备用命名节点...
首先,Hadoop是Apache基金会开源的分布式文件系统,Hadoop 2.7.0是一个稳定版本,引入了HA特性,允许集群拥有两个NameNode,即活性NameNode(Active NN)和备用NameNode(Standby NN),确保NameNode层面的高可用。...
为了提高系统的可用性和可靠性,Hadoop引入了High Availability(HA)特性,允许NameNode和ResourceManager等关键服务在主备之间无缝切换。本笔记将深入探讨如何搭建Hadoop HA环境,并分享配置文件及其详细解读。 ...
而Hadoop HA(High Availability)则是为了确保系统在面临单点故障时仍能保持高可用性。以下是我根据自身经验总结的Hadoop HA安装流程,这个流程已经在实际工作中得到验证,可以确保稳定运行。 一、环境准备 1. ...
本文件"**HadoopHA配置文件.rar**"包含了实现Hadoop HA所需的一些核心配置,主要包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`,以及`slaves`文件。以下将详细解析这些配置文件中的...
为了解决这一问题,Hadoop引入了HA机制,通过设置两个NameNode实例(一个主动、一个被动),并利用共享存储(如Quorum Journal Manager,QJM)来同步状态信息,实现了NameNode的故障自动转移功能。 #### 集群环境...
本教程将详细讲解如何配置、启动和验证Hadoop HA集群,以及HDFS HA的相关设置。 首先,我们需要对`core-site.xml`进行修改。此文件主要包含了Hadoop集群的基本配置信息。在HDFS HA环境中,我们需要将`fs.defaultFS`...
【Hadoop HA + Federation】是Hadoop 2.0架构中的关键特性,旨在解决Hadoop 1.0中单点故障和性能瓶颈的问题。在Hadoop 1.0中,NameNode作为HDFS的核心组件,负责存储所有元数据,这导致了单一命名空间的局限性和资源...
### Hadoop HA高可用配置详解 #### 一、HA机制-高可用性 在Hadoop集群中实现高可用性(HA)是确保集群稳定运行的关键技术之一。通过配置Hadoop HA,可以在Namenode出现故障时自动切换到备份Namenode,从而保障系统的...
### Hadoop HA高可用集群配置详解 #### 一、引言 在大数据处理领域,Hadoop作为一款开源软件框架,以其高效稳定的数据处理能力而受到广泛欢迎。而在实际生产环境中,为了确保系统的高可用性和数据的安全性,通常会...
在Hadoop HA部署中,通常会有两个活动的NameNode,它们以主备的方式运行,保证了当一个NameNode出现故障时,另一个可以立即接管工作,从而实现系统的高可用。 在Hadoop HA部署过程中,涉及多个步骤和配置要点,下面...
为了解决这个问题,Hadoop引入了HA配置。 二、HA架构原理 HA架构通过配置两个NameNode节点,一个作为主节点(活动状态),一个作为从节点(备用状态),来实现高可用。集群操作请求由活动状态的NameNode负责处理,...
Hadoop HA是为了解决单点故障问题,通过引入NameNode的热备机制,确保即使主NameNode故障,系统仍能正常运行。它通常由两个NameNode组成:一个活动NameNode (Active NN) 和一个备用NameNode (Standby NN),两者实时...
YARN HA也采用双活模式,有两个同时运行的RM,一个为主(Active RM),另一个为备(Standby RM)。 - `yarn-site.xml`中的配置如`yarn.resourcemanager.cluster-id`定义集群ID,`yarn.resourcemanager.ha.enabled`...
Hadoop HA(High Availability)架构涉及到NameNode(NN)的高可用性配置。在高可用性配置下,存在两个NameNode节点:一个是处于活跃状态的Active NameNode,另一个是处于备用状态的Standby NameNode。通过Zookeeper...
首先,要实现Hadoop的HA,你需要设置两个NameNode节点,这通常被称为活性NameNode(active NN)和备用NameNode(standby NN)。配置过程中,需要修改`hdfs-site.xml`文件,添加如下属性: 1. `dfs.nameservices`: ...
6. 启动Hadoop集群,包括DataNode、NameNode、Zookeeper等服务。 **三、HA集群验证** 验证Hadoop HA集群的正确性有三种常见方法: 1. **Web界面验证**:通过NameNode的HTTP地址访问HDFS Web UI,确认两个NameNode...
在Hadoop生态系统中,高可用性(High Availability, HA)是一个关键特性,它确保了即使在主节点故障时,服务也能不间断地运行。本压缩包文件"hadop配置.zip"提供了一个简单的Hadoop高可用性(HA)配置参考,特别针对...
第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs...
在Hadoop 2.0中,NameNode的High Availability(HA)和Federation是为了解决传统Hadoop架构中的两个关键问题:单点故障和集群扩展性。在Hadoop 2.0之前,NameNode作为HDFS的核心组件,它的单点故障可能导致整个...