主要是执行 bin/hadoop fs -copyFromLocal /home/hadp/app/hadoop/test-in/*.txt input
刚刚学习hadoop 但不知道问题出在哪愁死
http://localhost:500030/ 和http://localhost:500070 访问没问题
下面是错误的信息
[hadp@localhost hadoop]$ bin/hadoop fs -copyFromLocal /home/hadp/app/hadoop/test-in/*.txt input
14/01/21 07:37:52 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
14/01/21 07:37:52 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
14/01/21 07:37:52 WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)
at org.apache.hadoop.ipc.Client.call(Client.java:905)
at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:198)
at $Proxy0.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy0.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:928)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:811)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:427)
copyFromLocal: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
14/01/21 07:37:52 ERROR hdfs.DFSClient: Exception closing file /user/hadp/input/test.txt : java.io.IOException: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)
java.io.IOException: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)
at org.apache.hadoop.ipc.Client.call(Client.java:905)
at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:198)
at $Proxy0.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy0.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:928)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:811)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:427)
分享到:
相关推荐
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。本文将详细讲解如何配置Hadoop 2.6.0的单机模式,以便于初学者理解和实践。 一、Hadoop简介 Hadoop是由Apache基金会开发的分布式...
单机模式仅在本地启动一个Hadoop进程,而伪分布式模式则模拟多节点集群环境,每个节点在本地运行。 **实验步骤:** 1. **安装Ubuntu 20.04.3**:在虚拟机中安装操作系统,确保系统更新至最新版本。 2. **安装JDK8*...
总结,Hadoop 2.2.0的单机伪分布式配置是一个基础且实用的学习实践,它涵盖了Hadoop的核心概念和操作流程。通过这个配置,你可以在一个可控的环境中体验Hadoop的工作原理,为进一步深入理解和掌握分布式大数据处理...
本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结: 1. 安装前的准备工作:创建 hadoop 用户,设置密码,增加...
为了测试你的配置是否成功,可以尝试创建一个HDFS目录,上传一个文件,然后使用WordCount示例程序进行简单的计算。这将帮助你验证Hadoop的伪分布式环境是否已经正常工作。 总的来说,理解并正确配置这些核心配置...
伪分布模式是介于单机模式和完全分布式模式之间的一种模式,它在一个单一节点上模拟整个Hadoop集群。每个Hadoop守护进程(如NameNode、DataNode等)都在独立的进程中运行,但仍然在本地机器上。 1. **配置Hadoop...
- 打开终端,使用`sudo useradd -m hadoop -s /bin/bash`命令创建一个名为hadoop的新用户。 - 使用`sudo passwd hadoop`命令设置该用户的密码。 - 登录到新创建的hadoop用户,使用命令`su - hadoop`。 2. **复制...
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
伪分布模式是在单台机器上模拟一个完整的Hadoop集群。它允许每个Hadoop服务(如NameNode、DataNode、ResourceManager等)在单独的进程中运行,这为测试提供了真实的集群环境。配置伪分布模式需要修改`core-site.xml`...
在深入探讨Hadoop单机模式的配置与安装之前,首先要明白Hadoop是一个开源的分布式计算框架,由Java编写,因此在安装Hadoop之前,必须确保系统中已安装Java Development Kit (JDK)。Hadoop 0.20.2版本的单机模式安装...
可以理解为该hadoop用户是属于一个名为hadoop的用户组。这是Linux操作系统的知识,如果不清楚可以查看Linux相关的书籍。 三、在Ubuntu下安装JDK 安装JDK是hadoop单机配置的第三步。在这里,我们安装了JDK环境,...
在大数据处理领域,Apache Hadoop是一个开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在单机环境下配置Hadoop,使其能够运行基本的大数据处理任务。 #### 一、配置Java环境 Hadoop的运行依赖...
- **定义**:Hadoop可以在单个节点上以伪分布式模式运行,这意味着虽然只有一个物理节点,但是不同的Hadoop组件(如NameNode和DataNode)会分别运行在不同的Java进程中。 - **特点**: - 模拟了分布式环境。 - 有...
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;
下载Hadoop的源代码或二进制发行版,解压到你电脑上的一个目录,然后更新Hadoop配置文件(如`conf/hadoop-env.sh`),设置HADOOP_HOME指向你的Hadoop安装路径,并根据Cygwin的路径调整JAVA_HOME。 在Eclipse中创建...
通过上述步骤,您已经成功搭建了一个Hadoop单机集群环境。从设置网络参数到安装必要的软件包,再到配置Hadoop的核心组件,每一步都至关重要。希望本文能够帮助您更好地理解和掌握Hadoop的部署流程。未来,您可以基于...
【标题】"Hadoop.zip Windows 单机"指的是在Windows操作系统上安装和运行Hadoop单机模式的教程及相关文件集合。Hadoop是一个开源框架,主要用于处理和存储大规模数据集,通常应用于大数据处理领域。 【描述】提到的...
3. **单机模式测试**: - 在Hadoop单机模式下进行测试时,Hadoop使用的是本地文件系统。 - 使用`hadoop-0.20.1-examples.jar`中的WordCount程序作为测试案例。 - 创建测试输入文件夹`test-in`,并在该文件夹中...