`
huaywang11
  • 浏览: 1015 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

hadoop搭一个单机模式测试复制文件出错,

阅读更多
主要是执行 bin/hadoop fs -copyFromLocal /home/hadp/app/hadoop/test-in/*.txt input
   刚刚学习hadoop 但不知道问题出在哪愁死
    http://localhost:500030/ 和http://localhost:500070 访问没问题
下面是错误的信息
  [hadp@localhost hadoop]$ bin/hadoop fs -copyFromLocal /home/hadp/app/hadoop/test-in/*.txt input
14/01/21 07:37:52 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
14/01/21 07:37:52 WARN conf.Configuration: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
14/01/21 07:37:52 WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)

        at org.apache.hadoop.ipc.Client.call(Client.java:905)
        at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:198)
        at $Proxy0.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
        at $Proxy0.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:928)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:811)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:427)

copyFromLocal: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
14/01/21 07:37:52 ERROR hdfs.DFSClient: Exception closing file /user/hadp/input/test.txt : java.io.IOException: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)

java.io.IOException: File /user/hadp/input/test.txt could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)

        at org.apache.hadoop.ipc.Client.call(Client.java:905)
        at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:198)
        at $Proxy0.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
        at $Proxy0.addBlock(Unknown Source)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:928)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:811)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:427)
分享到:
评论

相关推荐

    hadoop-2.6.0单机模式配置文件

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。本文将详细讲解如何配置Hadoop 2.6.0的单机模式,以便于初学者理解和实践。 一、Hadoop简介 Hadoop是由Apache基金会开发的分布式...

    云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式

    单机模式仅在本地启动一个Hadoop进程,而伪分布式模式则模拟多节点集群环境,每个节点在本地运行。 **实验步骤:** 1. **安装Ubuntu 20.04.3**:在虚拟机中安装操作系统,确保系统更新至最新版本。 2. **安装JDK8*...

    单机版hadoop配置文件

    总结,Hadoop 2.2.0的单机伪分布式配置是一个基础且实用的学习实践,它涵盖了Hadoop的核心概念和操作流程。通过这个配置,你可以在一个可控的环境中体验Hadoop的工作原理,为进一步深入理解和掌握分布式大数据处理...

    Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04

    本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结: 1. 安装前的准备工作:创建 hadoop 用户,设置密码,增加...

    hadoop-2.7.4 单机伪分布配置文件

    为了测试你的配置是否成功,可以尝试创建一个HDFS目录,上传一个文件,然后使用WordCount示例程序进行简单的计算。这将帮助你验证Hadoop的伪分布式环境是否已经正常工作。 总的来说,理解并正确配置这些核心配置...

    Hadoop单机模式和伪分布模式.ppt

    伪分布模式是介于单机模式和完全分布式模式之间的一种模式,它在一个单一节点上模拟整个Hadoop集群。每个Hadoop守护进程(如NameNode、DataNode等)都在独立的进程中运行,但仍然在本地机器上。 1. **配置Hadoop...

    Hadoop安装教程_单机_伪分布式配置

    - 打开终端,使用`sudo useradd -m hadoop -s /bin/bash`命令创建一个名为hadoop的新用户。 - 使用`sudo passwd hadoop`命令设置该用户的密码。 - 登录到新创建的hadoop用户,使用命令`su - hadoop`。 2. **复制...

    Ubuntu下搭建Hadoop单机模式环境

    本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。

    hadoop的独立模式、伪分布模式、完全分布式、HA配置文件

    伪分布模式是在单台机器上模拟一个完整的Hadoop集群。它允许每个Hadoop服务(如NameNode、DataNode、ResourceManager等)在单独的进程中运行,这为测试提供了真实的集群环境。配置伪分布模式需要修改`core-site.xml`...

    Hadoop单机模式的配置与安装

    在深入探讨Hadoop单机模式的配置与安装之前,首先要明白Hadoop是一个开源的分布式计算框架,由Java编写,因此在安装Hadoop之前,必须确保系统中已安装Java Development Kit (JDK)。Hadoop 0.20.2版本的单机模式安装...

    hadoop单机配置

    可以理解为该hadoop用户是属于一个名为hadoop的用户组。这是Linux操作系统的知识,如果不清楚可以查看Linux相关的书籍。 三、在Ubuntu下安装JDK 安装JDK是hadoop单机配置的第三步。在这里,我们安装了JDK环境,...

    hadoop单机配置方法

    在大数据处理领域,Apache Hadoop是一个开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在单机环境下配置Hadoop,使其能够运行基本的大数据处理任务。 #### 一、配置Java环境 Hadoop的运行依赖...

    Hadoop3.1.3安装和单机/伪分布式配置

    - **定义**:Hadoop可以在单个节点上以伪分布式模式运行,这意味着虽然只有一个物理节点,但是不同的Hadoop组件(如NameNode和DataNode)会分别运行在不同的Java进程中。 - **特点**: - 模拟了分布式环境。 - 有...

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程)

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...

    hadoop单机版配置文件

    我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;

    Cygwin+Eclipse搭建Hadoop单机开发环境-1

    下载Hadoop的源代码或二进制发行版,解压到你电脑上的一个目录,然后更新Hadoop配置文件(如`conf/hadoop-env.sh`),设置HADOOP_HOME指向你的Hadoop安装路径,并根据Cygwin的路径调整JAVA_HOME。 在Eclipse中创建...

    hadoop环境配置(单机集群)

    通过上述步骤,您已经成功搭建了一个Hadoop单机集群环境。从设置网络参数到安装必要的软件包,再到配置Hadoop的核心组件,每一步都至关重要。希望本文能够帮助您更好地理解和掌握Hadoop的部署流程。未来,您可以基于...

    hadoop.zip windos 单机

    【标题】"Hadoop.zip Windows 单机"指的是在Windows操作系统上安装和运行Hadoop单机模式的教程及相关文件集合。Hadoop是一个开源框架,主要用于处理和存储大规模数据集,通常应用于大数据处理领域。 【描述】提到的...

    Linux下Hadoop单机配置文档

    3. **单机模式测试**: - 在Hadoop单机模式下进行测试时,Hadoop使用的是本地文件系统。 - 使用`hadoop-0.20.1-examples.jar`中的WordCount程序作为测试案例。 - 创建测试输入文件夹`test-in`,并在该文件夹中...

Global site tag (gtag.js) - Google Analytics