`

eclipse下运行hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/

 
阅读更多

   在eclipse下运行hadoop程序时遇到报错:

   程序是创建了一个文件,

 

  代码如下:

 

   FileSystem fs = new FileSystem.get(conf);

Path path = new Path("hdfs://test.txt");
FSDataOutputStream.create(path);
 

  报错如下:

   java.lang.IllegalArgumentException: Wrong FS: hdfs:/

, expected: file:///

 后来经过调查发下,hadoop需要把集群上的core-site.xml和hdfs-site.xml放到当前工程下。

然后运行即可。

 

0
0
分享到:
评论

相关推荐

    hadoop java.lang.UnsatisfiedLinkError

    解决方案:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo

    flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey

    当flink on yarn模式运行时,发生如下异常信息,需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: ...

    【SpringBoot 远程提交MapReduce】 Error: java.lang.ClassNotFoundException: xxxxx包.xxxxx类

    【SpringBoot】Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter报错明细问题分析后记 报错明细 IDEA SpringBoot集成hadoop运行环境,本地启动项目,GET请求接口触发远程提交...

    hadoop-2.6.0-hadoop.dll-winutils.exe

    windows上eclipse运行hadoop程序报NullPointerException错 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j ...

    hadoop.dll包括winutils.exe

    hadoop2.6版本的dll,网上比较多的是2.2的dll,如果2.6版本用2.2的dll,会报hadoop 2.6 UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArra 错误,因为2.2的dll中...

    hadoop.dll & winutils.exe For hadoop-2.8.0

    这个压缩包文件包含的是"Hadoop.dll"和"winutils.exe"两个关键组件,它们对于在Windows环境下配置和运行Hadoop生态系统至关重要。 首先,我们来详细了解这两个文件: 1. **Hadoop.dll**:这是一个动态链接库(DLL...

    hadoop-2.9.2 win环境运行资源文件:hadoop.dll, winutils.exe

    本篇将深入探讨在Windows 10环境下运行Hadoop-2.9.2所需的两个关键资源文件:`hadoop.dll`和`winutils.exe`。 1. **hadoop.dll**: 这是一个动态链接库文件,是Hadoop在Windows系统中运行的核心组件之一。在...

    hadoop-3.1.3.tar.gz

    <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property> </configuration> ``` HDFS配置hdfs-site.xml则涉及NameNode和DataNode的相关参数,如副本数量和数据存储路径: ```xml <name>dfs....

    window 本地执行 hadoop 缺失的hadoop.dll 和 winutils.exe 文件

    Exception in thread "main" java.lang.UnsatisfiedLinkError:''boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)' * at org.apache.hadoop.io.nativeio.NativeIO$...

    Hadoop2.7.6 在windows下需要的hadoop.dll winutils.exe等文件

    6. **测试运行**:通过运行`hadoop fs -ls /`检查HDFS是否正常工作。 在Windows环境中,Hadoop的运行可能面临一些挑战,如文件路径长度限制、文件权限问题以及Windows服务的管理。因此,确保正确配置`winutils.exe`...

    hadoop-3.0.0.tar.gz

    Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据...

    eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例

    以下是对"eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例"这一主题的详细解释: 首先,让我们了解`hadoop.ddl`。DDL(Data Definition Language)通常指的是数据库中用于定义数据结构的语句,...

    hadoop-2.9.1.tar.gz

    1. 安装Java:Hadoop依赖Java运行环境,至少需要JDK 7或更高版本。 2. 更新系统:使用`sudo apt-get update`或`yum update`命令更新系统软件包。 3. 设置SSH无密码登录:简化集群间通信,避免每次交互输入密码。 三...

    hadoop.dll

    at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) 2:window10操作系统下面。hadoop-2.6.4版本,解决上面这个问题的必须两个文件。详细见博客:http://www.cnblogs.com/biehongli/p/7895857.html 3:...

    外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

    报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉; 查看DataNode是否启动;...

    hadoop-2.7.1.tar.gz

    6. **使用Hadoop进行数据处理**:用户可以通过编写MapReduce程序,或者使用基于Hadoop的库(如Apache Pig和Apache Hive)编写SQL-like查询来处理存储在HDFS上的数据。 7. **优化与调优**:为了提高Hadoop集群的性能...

    hadoop1.0 Failed to set permissions of path 解决方案

    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission...

    hadoop-2.7.0-winutils.zip

    解决运行Spark、Hadoop程序出现:Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;问题

    hadoop.dll 文件,解决报错所需文件

    报错:java.lang.Exception: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所需文件

Global site tag (gtag.js) - Google Analytics