换了个环境，出现此异常
016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2016-10-18 23:54:01,668 INFO [org.apache.hadoop.conf.Configuration.deprecation] - session.id is deprecated. Instead, use dfs.metrics.session-id
2016-10-18 23:54:01,669 INFO [org.apache.hadoop.metrics.jvm.JvmMetrics] - Initializing JVM Metrics with processName=JobTracker, sessionId=
2016-10-18 23:54:01,738 ERROR [org.apache.hadoop.security.UserGroupInformation] - PriviledgedActionException as:selfimpr (auth:SIMPLE) cause:org.apache.hadoop.util.Shell$ExitCodeException:
Exception in thread "main" org.apache.hadoop.util.Shell$ExitCodeException:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
at org.apache.hadoop.util.Shell.run(Shell.java:379)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:678)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:661)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:435)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:277)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:344)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)
at com.dajiangtai.hadoop.test.WordCount.main(WordCount.java:62)
困扰了许久，发现需要在system32下面把 winutils 和hadoop.dll 加进去才可以
分享到：
相关推荐
Java-org.apache.hadoop是Apache Hadoop项目的核心组件，它在分布式计算领域扮演着至关重要的角色。Hadoop是由Apache软件基金会开发的一个开源框架，主要用于处理和存储大量数据。它设计的初衷是为了支持数据密集型...
包org.apache.hadoop.mapreduce的Hadoop源代码分析
Flink-1.11.2与Hadoop3集成JAR包，放到flink安装包的lib目录下，可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.这个报错，实现...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl...
Maven坐标：org.apache.hadoop:hadoop-mapreduce-client-common:2.6.5； 标签：apache、mapreduce、common、client、hadoop、jar包、java、API文档、中英对照版； 使用方法：解压翻译后的API文档，用浏览器打开...
标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个针对Windows用户的Hadoop工具包，它包含了运行Hadoop所需的特定于Windows的工具和配置。`winutils.exe`是这个工具包的关键组件，它是Hadoop在Windows上的一...
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
org.apache.hadoop.lib.service.security org.apache.hadoop.lib.servlet org.apache.hadoop.lib.util org.apache.hadoop.lib.wsrs org.apache.hadoop.log org.apache.hadoop.log.metrics org.apache.hadoop....
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层...
在Hadoop-2.7.3的版本中，HDFS已经经过了多次优化，增强了数据的可靠性和系统的整体性能。 MapReduce是Hadoop的另一个关键组件，它是一种编程模型，用于处理和生成大规模数据集。Map阶段将数据分解成较小的数据块，...
在这个特定的兼容包中，我们可以看到两个文件：flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar（实际的兼容库）和._flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar（可能是Mac OS的元数据文件，通常...
hadoop-annotations-2.10.0.jar hadoop-auth-2.10.0.jar hadoop-common-2.10.0-tests.jar hadoop-common-2.10.0.jar hadoop-nfs-2.10.0.jar hamcrest-core-1.3.jar htrace-core4-4.1.0-incubating.jar httpclient-...
Maven坐标：org.apache.parquet:parquet-hadoop:1.8.2； 标签：apache、hadoop、parquet、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译...
在这个"apache-hadoop-3.1.3-winutils-master.zip"压缩包中，包含了在Windows环境下配置Hadoop HDFS客户端所需的组件，特别是`hadoop-winutils`和`hadoop.dll`这两个关键文件，它们对于在Windows系统上运行Hadoop...
6. **日志和监控**：Hadoop使用`org.apache.hadoop.log`和`org.apache.hadoop.metrics`包来收集和处理系统的日志和性能指标，帮助管理员监控和诊断系统状态。 **Hadoop 2.5.1源码解析** 从hadoop-2.5.1-src中，...
Maven坐标：org.apache.hadoop:hadoop-mapreduce-client-core:2.5.1； 标签：core、apache、mapreduce、client、hadoop、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html...
标题中的"apache-hadoop-3.1.0-winutils-master.zip"是一个专门为解决Windows 10上Hadoop安装问题的压缩包，它包含了一些修改后的bin目录文件，使得Hadoop可以在Windows环境中正常运行。 在Hadoop的默认下载版本中...