今天在机器上搭建Hadoop测试,第一次运行:
bin/hadoop jar hadoop-examples-1.0.3.jar pi 10 100
的时候,是没有问题的,然后我stop-all.sh,修改了一些配置文件,
运行start-all.sh,然后再次运行上面的命令的时候,就出现了这样的情况,
错误信息如下:
shuumatoMacBook:hadoop-1.0.3 Vito$ bin/hadoop jar hadoop-examples-1.0.3.jar pi 10 100
Number of Maps = 10
Samples per Map = 100
2012-08-30 11:07:54.740 java[4131:1703] Unable to load realm info from SCDynamicStore
java.io.IOException: Tmp directory hdfs://localhost:8020/user/Vito/PiEstimator_TMP_3_141592654 already exists. Please remove it first.
at org.apache.hadoop.examples.PiEstimator.estimate(PiEstimator.java:270)
at org.apache.hadoop.examples.PiEstimator.run(PiEstimator.java:342)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.examples.PiEstimator.main(PiEstimator.java:351)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:64)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
字面意思上就明白了,tmp已经创建,现在你需要删除它,那我们就删除它吧:
bin/hadoop fs -rmr hdfs://localhost:8020/user/Vito/PiEstimator_TMP_3_141592654
再次运行测试,成功了。
分享到:
相关推荐
解决方案:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
报错:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
必须将此jar包放在org.apache.hadoop.io包下,否则无法正常覆盖使用
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决方案:下载本资源解压将hadoop.dll和winutils.exe文件复制到hadoop2.7.3的bin目录下即可解决。
hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava/ lang/String;I)Z 原因:在调用NativeIO中的access0()时调不到 解决方法:①第一步:在项目工程中加入NativelO.java,注意包名必须与源码中...
Exception in thread "main" java.lang.UnsatisfiedLinkError:''boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)' * at org.apache.hadoop.io.nativeio.NativeIO$...
ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-admin \mapred\local\ttprivate to 0700 at org.apache...
3. **配置Hadoop依赖库**:在Windows上运行Hadoop,可能还需要其他依赖库,比如`libwinutils.lib`和`hadoop.lib`。这些库文件通常与`winutils.exe`一起提供,确保将它们放置在正确的位置,并链接到你的项目中,以便...
在这个场景中,`hadoop.dll`是Hadoop在Windows上运行的关键组件,它提供了Hadoop的本地系统接口,使得Java编写的Hadoop代码能够与Windows系统交互。`win32`和`win64`分别对应32位和64位版本的`hadoop.dll`,确保不同...
- **Java MapReduce实现**:具体讲解了如何使用Java语言编写MapReduce程序。 - **横向扩展**:讨论了Hadoop系统如何通过添加更多节点来提高处理能力。 - **数据流**:解释了数据在MapReduce作业中的流动过程。 -...
hadoop安装与配置 hadoop安装与配置 Hadoop的安装与配置可以分成几个主要步骤: 1. 安装Java 2. 下载Hadoop 3. 配置Hadoop ...编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh,设置JAVA_HOME: export JAVA_H
at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org...
报错:java.lang.Exception: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所需文件
在Windows上运行Hadoop需要安装Java开发工具包(JDK),确保系统环境变量`JAVA_HOME`指向正确的JDK安装路径。此外,由于Hadoop原生支持Linux环境,所以在Windows上运行可能需要借助像Cygwin这样的模拟环境,或者使用...
NULL 博文链接:https://ouyida3.iteye.com/blog/1144326
IDEA SpringBoot集成hadoop运行环境,本地启动项目,GET请求接口触发远程提交MapReduce任务至生产集群报错: Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter at java.net....
问题描述:Hadoop抛出java.io.IOException: Could not obtain block错误。 解决办法:该问题是由于结点断开连接所致。解决办法是增加dfs.datanode.max.xcievers的值到4096。 问题6:Problem: "No live nodes ...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...