hadoop配置常见错误及解决方法

1配置文件中使用IP地址错误：

（logs目录下的日志文件错误）

10/11/09 17:19:06 INFO mapred.JobClient: Task Id : attempt_201011091659_0001_m_000003_0, Status : FAILED
Error initializing attempt_201011091659_0001_m_000003_0:
java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.75.17:9000/hadoop/hadoop/hadoop/tmp/mapred/system/job_201011091659_0001/job.xml, expected: hdfs://hadoop_namenode:9000
        at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310)
        at org.apache.hadoop.hdfs.DistributedFileSystem.checkPath(DistributedFileSystem.java:99)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:155)
        at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:453)
        at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:745)
        at org.apache.hadoop.mapred.TaskTracker.startNewTask(TaskTracker.java:1664)         at org.apache.hadoop.mapred.TaskTracker.access$1200(TaskTracker.java:97)
        at org.apache.hadoop.mapred.TaskTracker$TaskLauncher.run(TaskTracker.java:1629)

解决方法：

    将IP地址更换为域名，如：master，salver1....

    修改hosts文件。

原来的格式：

<property>
 <name>mapred.job.tracker</name>
 <value>192.168.75.17:9001</value>
</property>

应该改成

<property>
 <name>mapred.job.tracker</name>
 <value>master:9001</value>
</property>

 

2.     运行bin/start-all.sh正常，输入bin/start-fds.sh出错，显示以下提示：Hadoop common not found。

    问题分析：出现该问题的原因是没有定义HADOOP_NAME

    处理方法：Linux中为在.bashrc文件中加入 export HADOOP_HOME=$HOME/hadoop-0.21.0

3.     在操作HDFS的时候发现总是提示以下错误，而无法完成功能的操作：java.io.IOException: File /user/administrator/chen3/NOTICE.txt could only be replicated to 0 nodes, instead of 1

检查datanode日志，发现DateNode与NameNode的命名空间版本不匹配

2011-08-04 11:23:23,065 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-linzm/dfs/data: namenode namespaceID = 775148417; datanode namespaceID = 1771400337

    问题分析：看日志应该是DataNode的命名空间版本与NameNode不一致，重启后也是不能解决。

    处理方法：将/tmp/hadoop-linzm/dfs/data/current/VERSION文件中的namespaceID改为错误日志的提示版本

4.     将jar放到hadoop中，并执行时候，报以下异常

 

[linzm
@vm
-
360
-
149
-
11
 test]$ hadoop jar wordcount/wordcount.jar org.myorg.WordCount wordcount/input wordcount/outpu
Exception in thread "main"
 java.io.IOException: Error opening job jar: wordcount/wordcount.jar
        at org.apache.hadoop.util.RunJar.main(RunJar.java:130
)
Caused by: java.util.zip.ZipException: error in opening zip file
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:114
)
        at java.util.jar.JarFile.<init>(JarFile.java:133
)
        at java.util.jar.JarFile.<init>(JarFile.java:70
)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:128
)

  问题分析：通常出现这种情况有两种原因：jar报格式坏、文件路径不对。

处理方法：检查hadoop中文件的大小与本地是一致的，最后查明原因是jar包路径没有输入正确

完善中