`
heipark
  • 浏览: 2097510 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

SecondaryNamenode无法同步文件一例错误解决

阅读更多

/dfs/namesecondary下只有current的空文件夹和lastcheckporint.tmp(文件名记不清了)文件,检查logs,发现如下错误:

 



2011-06-09 11:06:41,430 INFO org.apache.hadoop.hdfs.server.common.Storage: Recovering storage directory /tmp/hadoop-hadoop/dfs/namesecondary from failed checkpoint.
2011-06-09 11:06:41,433 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint:
2011-06-09 11:06:41,434 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: java.net.ConnectException: Connection refused
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:351)
at java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:211)
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:200)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)
at java.net.Socket.connect(Socket.java:529)
at java.net.Socket.connect(Socket.java:478)
at sun.net.NetworkClient.doConnect(NetworkClient.java:163)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:394)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:529)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:233)
at sun.net.www.http.HttpClient.New(HttpClient.java:306)
at sun.net.www.http.HttpClient.New(HttpClient.java:323)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:970)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:911)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:836)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1172)
at org.apache.hadoop.hdfs.server.namenode.TransferFsImage.getFileClient(TransferFsImage.java:151)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.downloadCheckpointFiles(SecondaryNameNode.java:256)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:313)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:225)
at java.lang.Thread.run(Thread.java:662)

 

google的解决办法,在hdfs-site.xml文件添加如下属性:

 

 

 

<property>
<name>dfs.http.address</name>
<value>{your_namenode_ip}:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>

 

 

参考链接:http://www.mentby.com/yibo820217/exception-in-docheckpoint-connection-refused.html

 

 

分享到:
评论

相关推荐

    SecondaryNameNode职责.pptx

    在Hadoop分布式文件系统(HDFS)中,SecondaryNameNode是一个关键组件,它在系统运行过程中扮演着重要的角色。此组件的主要职责是辅助NameNode管理HDFS的状态,并确保数据的安全性和稳定性。以下是对...

    NameNode及SecondaryNameNode分析

    NameNode及SecondaryNameNode分析

    hdfs-secondarynamenode.png

    hdfs-secondarynamenode,nn2节点的作用,以及它的运行原理

    11_尚硅谷大数据之HDFS_NameNode和SecondaryNameNode1

    下面我们将详细探讨NameNode和SecondaryNameNode的工作机制,以及Fsimage和Edits文件的作用。 1. NameNode工作流程: - **首次启动**:NameNode会格式化存储,生成初始的Fsimage和Edits文件。之后,每次启动时,...

    Hadoop中namenode和secondarynamenode工作机制讲解

    因此,为了解决这个问题,引入了secondarynamenode。 secondarynamenode并非namenode的热备份,它不会直接处理客户端的请求,其主要功能是定期合并namenode的编辑日志(edits)和命名空间镜像(FSImage),以防止...

    快速学习-NameNode和SecondaryNameNode

    第5章 NameNode和SecondaryNameNode(面试开发重点) 5.1 NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应...

    Hadoop HDFS文件系统技术概述.pptx

    Hadoop Distributed File System(HDFS)是一种分布式文件系统,旨在提供高容错、可靠、可扩展的文件存储解决方案。HDFS来自Google的GFS(Google File System),是GFS的开源版本。 HDFS的特点: 1. 高容错:HDFS...

    分布式文件系统HDFS原理与操作

    Hadoop分布式文件系统(HDFS)是Hadoop核心组件之一,它的设计目标是为了在普通的硬件上提供高吞吐量的数据访问,适用于大规模数据集的存储和处理。HDFS作为一个高度容错的系统,旨在提供高可靠性且易于扩展的分布式...

    HDFS中NameNode节点的配置、备份和恢复.doc

    HDFS(Hadoop Distributed File System)是 Hadoop 生态系统中的分布式文件系统,它提供了高效、可靠、可扩展的文件存储解决方案。 NameNode 是 HDFS 集群中的中心服务器,负责管理文件系统的名字空间和客户端对文件...

    实验项目 实战 HDFS 实验报告

    实验目的是通过一系列操作,让学生全面理解HDFS的架构、文件存储原理以及数据读写流程。 一、HDFS体系架构 HDFS由NameNode、DataNode和SecondaryNameNode等关键组件构成。NameNode作为元数据管理节点,负责文件系统...

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...

    【HDFS篇07】NameNode和SecondearyNameNode1

    3. **同步回NameNode:** 合并完成后,SecondaryNameNode会将fsimage.chkpoint文件传回NameNode,NameNode将其重命名为Fsimage,用以替换旧的Fsimage。这样,NameNode在下次启动时只需加载较小的Fsimage和较新的...

    Hadoop HDFS文件系统技术概述.pdf

    4. SecondaryNameNode:辅助NameNode,分担NameNode工作量、定期合并fsimage和edits、推送给NameNode、执行合并时机、根据配置文件设置的时间间隔和edits log大小。 HDFS是Hadoop生态系统中的核心组件,提供了高...

    Hadoop集群的搭建.docx

    解决方法有两种:一是手动修改DataNode和NameNode中`VERSION`文件的`clusterID`使其一致;二是删除临时文件目录,重新初始化NameNode并重启所有服务。 启动Hadoop集群,执行`start-all.sh`脚本。通过`jps`命令验证...

    NameNode机制.docx

    如果NameNode同意,则SecondaryNameNode会请求执行CheckPoint,NameNode会切割现有的Edits文件并创建一个新的文件,将之前的Edits文件和fsImage文件复制到SecondaryNameNode。然后,SecondaryNameNode会在内存中合并...

    大数据练习题.docx

    在一个基本的 Hadoop 集群中,SecondaryNameNode 主要负责帮助 NameNode 收集文件系统运行的状态信息。 HDFS 的含义 HDFS 指的是分布式文件系统,用于存储海量数据。 MapReduce 的含义 MapReduce 指的是分布式...

    hadoop3.x笔记.docx

    5. SecondaryNameNode 将 edits1 变成可读文件,生成新的 edits2, edits1 可读文件和 fsimage 一同发送到 SecondaryNameNode 中。 6. SecondaryNameNode 生成新的 fsimage(fsimage_chkpoint),并将其发送到 ...

    大数据Hadoop中Hdfs的工作原理简洁版

    其次,SecondaryNameNode的工作机制是每隔一个小时,去NameNode中拉取最新的fsimage文件(里面存放元数据信息)和已经终止的edits文件(里面存放NameNode的操作记录)拉到SecondaryNameNode的服务器上,然后进行合并...

    hadoop笔记

    - **同步元数据**:Namenode切换Edits日志文件,SecondaryNameNode下载Edits和FsImage文件到本地。 - **合并元数据**:读取FsImage和Edits文件中的数据,进行合并。 - **序列化并上传元数据**:将合并后的元数据序列...

    炼数成金,hadoop经典案例,1-4章书面作业

    Hadoop的高可用性解决方案之一是将SecondaryNameNode独立部署在单独的节点上,以减轻NameNode的压力,并提供故障转移。文档说明了如何修改masters文件,将SecondaryNameNode独立部署在名为slave1的节点上,从而实现...

Global site tag (gtag.js) - Google Analytics