`
david.org
  • 浏览: 157175 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

[HDFS] 主控节点的双IP解决方案

阅读更多
需求:Master服务器有两个网卡,一个内网地址,一个外网地址。现在监听9000端口,那么其他节点可通过内网或是外网地址都可以连接到这台NameNode.

在程序中,监听0.0.0.0地址,可以使程序监听某端口上的任意IP,不过事实没有那么简单,经过反复折腾,发现windows是可以这样监听,但是Linux不行,大伙可以试试。

在linux中,在启动Namenode时,可以通过日志看到监听服务起来之后,又退出了。日志如下:
2009-05-26 12:29:50,771 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 3 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 5 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 54310: starting
2009-05-26 12:29:50,777 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310: starting
2009-05-26 12:29:50,797 INFO org.mortbay.util.ThreadedServer: Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=5
0070]
2009-05-26 12:29:50,801 INFO org.mortbay.http.SocketListener: Stopped SocketListener on 0.0.0.0:50070
2009-05-26 12:29:50,802 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.servlet.WebApplicationHandler@57ea52
2009-05-26 12:29:50,887 INFO org.mortbay.util.Container: Stopped WebApplicationContext[/static,/static]
2009-05-26 12:29:50,887 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.servlet.WebApplicationHandler@39c8c1
2009-05-26 12:29:50,947 INFO org.mortbay.util.Container: Stopped WebApplicationContext[/logs,/logs]
2009-05-26 12:29:50,947 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.servlet.WebApplicationHandler@126a29c
2009-05-26 12:29:51,014 INFO org.mortbay.util.Container: Stopped WebApplicationContext[/,/]
2009-05-26 12:29:51,014 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.Server@109de5b
2009-05-26 12:29:51,051 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Number of transactions: 0 Total time for transacti
ons(ms): 0 Number of syncs: 0 SyncTimes(ms): 0
2009-05-26 12:29:51,052 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: ReplicationMonitor thread received InterruptedExce
ption.java.lang.InterruptedException: sleep interrupted
2009-05-26 12:29:51,056 INFO org.apache.hadoop.ipc.Server: Stopping server on 54310
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 3 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 5 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 54310
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310: exiting

  那么这个情况,在windows中,是不会出现的,Linux上解决的办法是关闭IPV6.
分享到:
评论

相关推荐

    大数据开发:HDFS数据节点与名称节点的通信机制.docx

    "大数据开发:HDFS数据节点与名称节点的通信机制" 大数据开发中,HDFS(Hadoop Distributed File System)作为分布式文件系统,提供了稳固的底层存储支持。HDFS的各个节点之间的通信机制是大数据开发的关键所在。...

    HDFS中NameNode节点的配置、备份和恢复.doc

    HDFS(Hadoop Distributed File System)是 Hadoop 生态系统中的分布式文件系统,它提供了高效、可靠、可扩展的文件存储解决方案。 NameNode 是 HDFS 集群中的中心服务器,负责管理文件系统的名字空间和客户端对文件...

    HDFS Comics HDFS 漫画

    HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part2.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part1.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    Hadoop HDFS系统双机热备方案

    HDFS通过数据节点的冗余复制策略确保了数据的可靠性,但名字节点作为整个文件系统的核心,其高可用性通常需要特殊方案来实现。 一种常见的双机热备方案是结合DRBD(Distributed Replicated Block Device)和...

    HDFS小文件处理方案

    ### HDFS小文件处理方案详解 #### 一、概述与挑战 HDFS(Hadoop Distributed File System)设计初衷是为了高效地存储和处理大型文件。然而,在面对大量的小文件时,HDFS面临着诸多挑战: 1. **内存限制**:...

    Hadoop_HDFS系统双机热备方案.pdf

    在展开有关Hadoop HDFS系统双机热备方案的知识点前,首先需要了解双机热备的基本概念,HDFS的基本架构以及如何搭建Hadoop集群。在这些基础之上,才能更深入地理解双机热备方案的设计理念及其实施步骤。 双机热备,...

    HDFS实例基本操作

    Hadoop分布式文件系统(HDFS)是Apache Hadoop项目的核心组件之一,它为大数据处理提供了可靠的、可扩展的分布式存储解决方案。在这个“HDFS实例基本操作”中,我们将深入探讨如何在已经安装好的HDFS环境中执行基本...

    并发消费kafka数据并写入hdfs。 基于flink统计实时ip热点统计.zip

    这个项目结合了这三个组件,构建了一个实时IP热点统计的解决方案。 首先,我们需要理解Kafka和Flink如何协同工作。Kafka作为数据生产者和消费者之间的桥梁,可以存储和转发大量的实时数据流。在本案例中,它负责...

    HDFS文件系统基本文件命令、编程读写HDFS

    它是 Hadoop 云计算平台的核心组件之一,提供了高效、可靠、可扩展的数据存储和管理解决方案。 HDFS 的优点包括: 1. 高可靠性:HDFS 能够检测和恢复节点故障,确保数据的安全和可用性。 2. 高性能:HDFS 可以处理...

    Flume配置双HA hdfsSink.docx

    需要注意的是,这种定制化的解决方案可能会带来额外的维护成本和技术挑战,因此在实际应用中需要综合考虑项目的具体需求和技术能力。 总之,通过修改Flume源码,我们可以轻松实现将数据同时发送到两个HA Hadoop集群...

    利用heartbeat和drbd实现HDFS的双机热备

    在当前的大数据处理环境中,Hadoop分布式文件系统(HDFS)作为主流的数据存储解决方案之一,面临着诸多挑战,其中最重要的一项就是如何保障系统的高可用性(High Availability,简称HA)。在传统的单点故障解决方案...

    基于Lucene和HDFS的PB级数据索引、搜索、存储系统.zip

    为了有效地管理和利用这些海量数据,我们需要强大的数据索引、搜索和存储解决方案。这里我们将深入探讨一个基于Apache Lucene和Hadoop分布式文件系统(HDFS)的系统,该系统能够应对大规模数据的挑战。 Apache ...

    HDFS管理工具HDFS Explorer下载地址、使用方法.docx

    - 需要填写Hadoop集群的NameNode地址,通常格式为`http://master:50070`,这里的`master`是你的Hadoop集群的主节点IP或域名,而`50070`是HDFS的默认WebUI端口。 3. **配置WebHDFS** 在Hadoop集群中,为了使HDFS ...

    解码超大bson文件,并上传到hdfs解决方案.doc

    解码超大bson文件,并上传到hdfs解决方案

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part3.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part4.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

Global site tag (gtag.js) - Google Analytics