`

Hadoop HDFS配置——UnknownHostException

 
阅读更多

centos linux 系统:

新增加了一个datanode节点,启动时发现如下错误..........

 

2012-12-31 15:49:11,853 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: locahost: locahost
 at java.net.InetAddress.getLocalHost(InetAddress.java:1374)
 at org.apache.hadoop.security.SecurityUtil.getLocalHostName(SecurityUtil.java:252)
 at org.apache.hadoop.security.SecurityUtil.login(SecurityUtil.java:270)
 at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:291)
 at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1582)
 at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1521)
 at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1539)
 at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1665)
 at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1682)

 

  • UnknownHostException

不可解析的网络名称,只要在出错误salve DataNode的机器 /etc/hosts 下增加一行

127.0.0.1  错误的网络名称

保存退出,主机重启hdfs,OK了。

 

 

但,奇怪的是机器名称locahost 不在 /etc/sysconfig/network中;找了很久,发现在/proc/sys/kernel/hostname文件中。

临时修改下,输入命令:

            hostname 新的网络名称

但这种在机器重启后自动失效

 /etc/sysconfig/network 文件中

HOSTNAME=新的网络名称

 

检查当前机器的网络名称,3种都等效

  1. [root@locahost logs]# cat /proc/sys/kernel/hostname
    host26
  2. [root@locahost logs]# uname -n
    host26
  3. [root@locahost logs]# hostname
    host26

还是很奇怪,[root@locahost logs],这里还是显示locahost,这个名称在哪能能修改?

 

 

 

分享到:
评论
1 楼 最佳蜗牛 2014-01-15  
非常感谢,我也遇到这个问题,用楼主的方法解决问题了。

相关推荐

    《HDFS——Hadoop分布式文件系统深度实践》PDF

    《HDFS——Hadoop分布式文件系统深度实践》这本书是针对Hadoop分布式文件系统(HDFS)的详尽指南,旨在帮助读者深入理解HDFS的工作原理、设计思想以及在实际应用中的最佳实践。HDFS是Apache Hadoop项目的核心组件之...

    java 从hadoop hdfs读取文件 进行groupby并显示为条形图

    在Java编程环境中,结合Hadoop HDFS(Hadoop Distributed File System)进行大数据处理是一种常见的实践。本项目聚焦于从HDFS读取数据,执行GROUP BY操作,并将统计结果以条形图的形式展示出来,提供了直观的数据...

    hadoop hdfs配置文件详解

    hadoop的 hdfs配置文件 对文件的每项property进行中文描述 希望的家支持 过几天还会献上其他

    java整合spring和hadoop HDFS全部jar

    同时,考虑性能优化,比如使用HDFS的批量操作,或者根据业务需求调整Hadoop的配置参数。 5. **异常处理与日志记录**:在处理分布式系统时,异常处理和日志记录至关重要。确保捕获可能的异常并适当地记录,以便于...

    Hadoop HDFS配置

    ### Hadoop HDFS配置详解 #### 一、JDK安装与环境配置 为了确保Hadoop能够正常运行,首先需要在所有服务器上安装JDK。在本案例中,选择了JDK 1.6版本进行安装,并将它解压到了`/usr/local/jdk1.6`目录下。 **具体...

    Hadoop高级编程——构建与实现大数据解决方案.rar

    本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行高效的数据操作,构建实际的大数据解决方案。 一、Hadoop概述 Hadoop是由Apache基金会开发的开源项目,主要由Hadoop ...

    python 操作 Hadoop hdfs

    在大数据处理领域,Hadoop HDFS(Hadoop Distributed File System)是广泛使用的分布式文件系统,它为大规模数据处理提供了高效、可靠的数据存储解决方案。而Python作为一种灵活易用的编程语言,常常被用来与Hadoop ...

    hadoop hdfs配置

    ### Hadoop HDFS配置详解 #### 一、概述 在大数据处理领域,Hadoop作为一款开源软件框架,被广泛应用于分布式存储与计算。Hadoop Distributed File System (HDFS)是Hadoop的核心组件之一,用于存储大规模数据集。...

    Hadoop HDFS和MapReduce架构浅析.pdf

    Hadoop HDFS和MapReduce架构浅析.pdf 更多资源请点击:https://blog.csdn.net/weixin_44155966

    hadoop hdfs 备份快照

    snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据,和数据备份的作用 快照的对象为HDFS目录,前提是该目录是可以允许设置快照的(SnapShotable)

    hadoop hdfs配置设置和优化

    - 磁盘满了导致的问题很难预料,HDFS可能会导致部分数据写入异常,MySQL可能会出现直接宕机等等, 所以最好的办法就是:不要使盘的利用率达到100%。 - 数据存储周期规划好,定期清理数据。或者实现自动化清理。

    基于Hadoop HDFS的分布式文件系统备份与恢复系统.zip

    基于Hadoop HDFS的分布式文件系统备份与恢复系统 内容概要 本项目是一个基于Hadoop HDFS的分布式文件系统备份与恢复系统。它包括备份节点(BackupNode)和数据节点(DataNode)的管理,以及与NameNode的通信。...

    hadoop hdfs-site配置文件详解

    Hadoop HDFS-site 配置文件是 Hadoop 分布式文件系统(HDFS)的核心配置文件,用于存储和管理 HDFS 集群的配置信息。在本文中,我们将详细介绍 HDFS-site 配置文件的各个部分,并对每个配置项进行解释。 HDFS 超级...

    hadoop-hdfs-2.7.3-API文档-中英对照版.zip

    赠送jar包:hadoop-hdfs-2.7.3.jar; 赠送原API文档:hadoop-hdfs-2.7.3-javadoc.jar; 赠送源代码:hadoop-hdfs-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop...

    hadoop配置文件——精简版.zip

    此压缩包主要包含的是是hadoop的7个主要的配置文件,core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、mapred-env.sh、yarn-env.sh精简配置优化性能,具体相关参数根据集群规模适当...

    基于Hadoop HDFS的分布式文件系统操作工具.zip

    基于Hadoop HDFS的分布式文件系统操作工具 项目简介 本项目是一个基于Hadoop HDFS(Hadoop Distributed File System)的分布式文件系统操作工具。它提供了一系列API和工具类,用于简化与HDFS的交互,包括文件的...

    window客户端连接hadoop hdfs,完美解决障碍

    在Windows客户端连接Hadoop HDFS时,可能会遇到各种问题,如网络不通、配置不正确、驱动不兼容等。本文将详细介绍如何在Windows环境下完美解决这些问题,实现顺利连接Hadoop分布式文件系统(HDFS)。 首先,理解...

    hadoop-hdfs-fsimage-exporter:将Hadoop HDFS内容统计信息导出到Prometheus

    Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布(可选) 块数 文件复制(总体/每个用户摘要)...

Global site tag (gtag.js) - Google Analytics