`

hadoop 可能遇到的错误

阅读更多
1.question

  2011-08-15 13:07:42,558 INFO org.apache.hadoop.ipc.Client: Retrying      connect to server: server0/192.168.2.10:9000. Already tried 5 time(s).
  2011-08-15 13:07:42,558 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: server0/192.168.2.10:9000. Already tried 5 time(s).
  2011-08-15 13:07:42,558 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: server0/192.168.2.10:9000. Already tried 5 time(s).
  2011-08-15 13:07:42,558 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: server0/192.168.2.10:9000. Already tried 5 time(s).
  2011-08-15 13:07:42,558 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: server0/192.168.2.10:9000. Already tried 5 time(s).
 
    answer:
 
    namenode 节点没有起来,查看namenode日志 排错 
 
2.question

   ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /server/bin/hadoop/data: namenode namespaceID = 1866210138; datanode namespaceID = 629576566 
  
   answer:
   
   可能是namesplaceId的版本重复了,此时可先format,在删除那么文件,在重新format, 所有slave也format(可选)
  
3.question

 
  2011-08-15 17:26:57,748 ERROR namenode.NameNode - java.lang.NullPointerException
        at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:136)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:176)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:206)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:240)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:434)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1153)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1162)  
  
   answer:
    hdfs://server0:9000/
  
    这个问题是 9000 后边的/   注意配置 hadoop配置文件内  所有的 路径后边不带 "/"
    **切记更改之后同步到所有slave上
   
4.question

 
  Exception in thread "main" java.io.IOException: Call to server0/192.168.2.10:9000 failed on local exception: java.io.EOFException
        at org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
        at org.apache.hadoop.ipc.Client.call(Client.java:743)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
        at $Proxy0.getProtocolVersion(Unknown Source)
        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
        at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170)
        at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:94)
       
       
        2011-08-15 18:24:57,507 WARN  ipc.Server - Incorrect header or version mismatch from 192.168.2.10:42413 got version 3 expected version 4
       
  answer:
    
     当slave调不到master的时候 如果配置文件没问题 报这个错误,则是  hadoop版本的问题,  hadoop和nutch1.2中hadoop版本不一样
    
5.question

     2011-08-16 17:07:00,946 ERROR datanode.DataNode - DatanodeRegistration(192.168.2.12:50010, storageID=DS-1678238992-127.0.0.2-50010-1313485333243, infoPort=50075, ipcPort=50020):DataXceiver
        org.apache.hadoop.hdfs.server.datanode.BlockAlreadyExistsException: Block blk_6201731654815689582_1003 is valid, and cannot be written to.
        at org.apache.hadoop.hdfs.server.datanode.FSDataset.writeToBlock(FSDataset.java:983)
        at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.<init>(BlockReceiver.java:98)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:259)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:103)
        at java.lang.Thread.run(Thread.java:662)
       
   answer:
  
       这个问题则为:
       /etc/hosts  要ip 映射到主机名
      
       例如:
       #hadoop master
192.168.2.10    server0
192.168.2.11    server1
192.168.2.12    server2
192.168.2.13    server3

**当你修改了这个发现还有这个问题时

vi /etc/HOSTNAME  这个文件里 一定要改成相应的 master 或是 slave 所在的 主机名
而不能是localhost
例如:server1 的机器
则 HOSTNAME 内为 server1
0
13
分享到:
评论

相关推荐

    hadoop集群遇到的问题及其解决方法

    启动Hadoop集群时,可能会遇到YARN服务初始化失败的问题,具体表现为`Failed to initialize mapreduce_shuffle`错误。 **原因分析:** 配置文件`yarn-site.xml`中的`yarn.nodemanager.aux-services`属性值不正确。 ...

    CentOS搭建hadoop伪分布式时遇到的错误.doc

    在搭建Hadoop伪分布式环境的过程中,常常会遇到与文件系统权限相关的错误,特别是在CentOS这样的Linux发行版上。本文将详细解析标题和描述中提到的两个常见问题,并提供解决方案。 问题1:启动集群时出错:`mkdir: ...

    hadoop的dll文件 hadoop.zip

    安装或使用Hadoop的dll文件时,可能会遇到一些常见问题,如版本不兼容、路径配置错误或缺失依赖。解决这些问题通常需要检查以下几点: 1. 确保dll文件与Hadoop版本兼容。 2. 检查Java环境是否正确配置,包括JDK版本...

    hadoop2.7.3 Winutils.exe hadoop.dll

    否则,你可能会遇到启动Hadoop服务时的错误,例如“找不到Winutils.exe”或“无法加载hadoop.dll”。 在使用Hadoop进行大数据分析时,理解这些基础组件的工作原理和如何正确配置它们对于成功运行Hadoop任务至关重要...

    hadoop/bin/hadoop.dll

    在Windows环境下配置Hadoop,可能会遇到一些特定于操作系统的挑战,因为Hadoop最初是为Linux设计的。"hadoop.dll"可能是为了使Hadoop在Windows上运行而编译的一个特定版本,用于支持Hadoop命令行工具或其他依赖项。...

    hadoop winutils hadoop.dll

    在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题或版本不兼容等。解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll,以及...

    hadoop.dll 资源包

    如果hadoop.dll缺失,可能会导致Hadoop服务无法启动,或者在尝试运行Hadoop相关应用时遇到错误。因此,确保所有必要的dll文件完整且正确地放置在相应目录下是确保Hadoop正常运行的基础。 压缩包中包含的“使用说明....

    hadoop常见问题及解决方法

    Hadoop是大数据处理的重要工具,但是在安装和使用Hadoop时,可能会出现一些常见的问题,这些问题可能会导致Hadoop无法正常工作,或者无法达到预期的性能。下面是Hadoop常见的问题及解决方法: 1、NameNode启动时...

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    9. **故障排查**:在Windows上运行Hadoop可能会遇到一些特定的问题,比如文件权限问题、路径格式问题等。熟悉日志文件和错误代码对于解决问题至关重要。 总之,`apache-hadoop-3.1.0-winutils-master.zip`提供了一...

    hadoop环境缺少的hadoop.dll ,winutils.exe包

    如果没有这个文件,Hadoop的相关进程可能无法正常启动或运行,导致各种错误。 其次,`winutils.exe`是Hadoop在Windows上的实用工具,它提供了与Hadoop生态系统交互的命令行工具,比如设置HDFS的权限、管理Hadoop...

    hadoop ,hbase,zookeeper错误日志及相关应对措施

    在使用hbase和hadoop进行集成时,可能会遇到版本不匹配、连接超时等错误。解决方法是,检查hbase和hadoop的版本是否匹配,并检查连接参数是否正确。 Zookeeper与Hbase集成错误日志分析 在使用zookeeper和hbase进行...

    Hadoop常见异常

    这个错误可能是由于Hadoop无法连接到NameNode导致的。解决办法是,检查Hadoop的配置文件,确保NameNode的设置正确。 Hadoop常见的异常有多种,解决方法也各不相同。但是,通过检查Hadoop的配置文件,释放更多的磁盘...

    hadoop2.7.5 在windows下需要的hadoop.dll winutils.exe等文件(bin目录)

    本文将详细介绍如何解决在Eclipse中开发Hadoop程序时遇到的`winutils.exe`错误,并提供所需的关键文件,如`hadoop.dll`和`winutils.exe`。 首先,`winutils.exe`是Hadoop在Windows操作系统中执行某些核心功能的必备...

    Hadoop2.7.7安装过程

    如果在更新过程中遇到`Hash Sum Mismatch`错误,可能是因为源服务器的问题。在这种情况下,可以通过备份现有的源列表,然后切换到更快更可靠的源,如阿里云。这样做不仅可以提高下载速度,还可以减少错误发生的可能...

    hadoop的winutils,hadoop.dll

    在Windows环境下进行Hadoop开发时,常常会遇到与“winutils.exe”相关的错误。这个问题主要源于Hadoop在Windows上运行的特殊性,因为Hadoop最初是为Linux设计的,其核心组件之一`winutils.exe`是为了模拟Linux环境而...

    hadoop调试工具hadoop.dll和hadoop.exp和winutils.exe

    当遇到错误或性能问题时,调试这个DLL文件可以帮助找出问题的根源。 接着,hadoop.exp文件是导出表文件,通常与编译过程相关。在C++编程中,当创建一个动态链接库时,需要明确指定哪些函数和变量应该被外部程序访问...

    hadoop3.3.4 winutils

    9. **源码调试和日志分析**:在自编译过程中可能会遇到各种问题,例如依赖库不兼容或配置错误。这时候,阅读编译日志和Hadoop的日志文件至关重要,它们可以帮助定位并解决问题。 10. **安全性与权限**:在Windows...

    hadoop-common.zip

    然而,在这种环境下工作时,可能会遇到一些异常情况,这些异常可能与环境配置、依赖库的兼容性或者系统设置有关。 Hadoop Common是一个核心组件,它提供了HDFS(Hadoop分布式文件系统)和其他Hadoop服务所需的基本...

    hadoop-3.1.1 bin目录文件-含hadoop.dll、winutils

    在Eclipse中配置Hadoop本地运行环境时,如果没有这个文件,可能会遇到Java Native Access (JNA) 报错,导致无法正常运行Hadoop进程。因此,将hadoop.dll放在系统路径或者Java库路径下是解决这个问题的关键步骤。 ...

    hadoop-commond(hadoop.dll)各个版本.rar

    5. **错误排查**:当遇到"版本不一致"的报错时,首先检查`hadoop.dll`的版本是否与Hadoop集群或Spark的版本相匹配。如果不匹配,可以从提供的压缩包中找到相应版本进行替换。 6. **安装与配置**:在Windows上部署...

Global site tag (gtag.js) - Google Analytics