`

hadoop 2.2.0 cluster errors messages

阅读更多

1. when put local file to HDFS using #hadoop fs -put in.txt  /test,  there is a error message:

   hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoReouteToHostException

solution: shutdown firewall in all nodes(non-secure mode, if run in secure mode, you should maual configure the firewall rules).

   centos :# service iptables save

               #service iptables stop

               #chkconfig iptables off

   ubuntu 12.04 :  #sudo ufw disable


   fedora20:

#sudo systemctl status firewalld.service

#sudo systemctl stop firewalld.service

#sudo systemctl disable firewalld.service


2. Could Only Be Replicated To .

    see:http://wiki.apache.org/hadoop/CouldOnlyBeReplicatedTo

                  

3.when using sqoop to import data from mysql to hdfs,

sqoop>start job -j 3

there result is faild. Due to the following errors:

2014-03-20 02:31:14,695 INFO [RMCommunicator Allocator]
org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator:
Cannot assign container Container: [ContainerId:
container_1395399417464_0002_01_000012, NodeId: f2.zhj:40543,
NodeHttpAddress: f2.zhj:8042, Resource: ,
Priority: 20, Token: Token { kind: ContainerToken,
service: 192.168.122.3:40543 }, ] for a map as either  container memory
less than required 1024 or no pending map tasks - maps.isEmpty=true



2014-03-20 02:33:49,930 WARN [CommitterEvent Processor #2]
org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter:
Could not delete hdfs://192.168.122.1:2014/test/actor/_temporary/1
/_temporary/attempt_1395399417464_0002_m_000002


the above errors are all removed by changing all /etc/hosts in all nodes. You should comment all lines start with 127.0.0.1 and 127.0.1.1
分享到:
评论

相关推荐

    Hadoop 2.2.0 配置文件

    Hadoop 2.2.0 是 Apache Hadoop 的一个关键版本,它包含了众多改进和优化,使得这个分布式计算框架在处理大数据集时更加高效和稳定。在这个配置文件中,我们将会探讨Hadoop 2.2.0 在4台CentOS 6.4系统上运行所需的...

    hadoop2.2.0-linux-64bit安装包和源码包

    根据提供的文件标题、描述、标签以及部分内容,我们可以推断出这份文档主要涉及Hadoop 2.2.0版本在Linux 64位系统上的安装包和源码包的相关信息。以下将详细介绍与这些关键词相关的重要知识点。 ### Hadoop 2.2.0 ...

    hadoop2.2.0

    【Hadoop 2.2.0 知识点详解】 Hadoop是Apache软件基金会开发的一个开源框架,专门设计用于处理和存储大规模数据。Hadoop 2.2.0是其一个重要版本,它在Hadoop 1.x的基础上进行了大量的优化和改进,增强了系统的稳定...

    hadoop2.2.0的64位安装包

    Hadoop 2.2.0是Hadoop发展中的一个重要版本,它引入了许多改进和新特性,旨在提高性能、可扩展性和稳定性。然而,针对不同的操作系统,Hadoop需要适配相应的位数。在本案例中,我们关注的是在64位Linux系统上安装和...

    Hadoop2.2.0安装配置手册

    Hadoop2.2.0安装配置手册,新手安装和配置

    Hadoop 2.2.0 64位native文件(重编译)

    Hadoop 2.2.0 是一个重要的分布式计算框架,主要设计用于处理和存储大量数据。这个64位的native文件是Hadoop针对64位Linux操作系统编译的一组库文件,它们对于Hadoop在Linux环境下高效运行至关重要。在Hadoop的源...

    hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包

    hadoop2.2.0/2.6.0/2.7.0/2.7.1 64位安装包。

    CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南

    资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...

    Hadoop2.2.0集群安装

    ### Hadoop2.2.0集群安装:QJM实现HA及Hdfs-site配置详解 #### 一、Hadoop2.2.0完全分布式集群平台安装设置概述 在深入探讨Hadoop2.2.0的安装过程之前,我们需要了解Hadoop的基本架构以及其核心组件——HDFS...

    Hadoop2.2.0环境测试详细傻瓜说明

    标题中的“Hadoop2.2.0环境测试详细傻瓜说明”表明了本文将要讨论的是关于Hadoop 2.2.0版本的环境配置和简单的应用测试,特别是针对新手的指南。描述中的“配置以后的一些测试,wordcount啥的,有信心的就不用下了”...

    hadoop2.2.0 eclipse-kepler 编译插件

    hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler

    hadoop2.2.0 64位 native库centos64

    在CentSO_64bit集群搭建,hadoop2.2(64位)编译 新版亮点: 基于yarn计算框架和高可用性DFS的第一个稳定版本。 注1:官网只提供32位release版本, 若机器为64位,需要手动编译。 环境配置是个挺烦人的活,麻烦不说还...

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程

    Hadoop2.2.0安装配置及实例教程入门宝典

    《Hadoop2.2.0安装配置及实例教程入门宝典》 在大数据处理领域,Hadoop是一个不可或缺的工具,其分布式存储和计算能力为企业级数据处理提供了强大的支持。本教程将带你逐步走进Hadoop的世界,从零开始,教你如何在...

    hadoop2.2.0安装指南.docx

    《Hadoop 2.2.0 安装指南》 Hadoop是一款开源的分布式计算框架,主要用于处理和存储海量数据。本文将详细讲解如何在Linux环境下安装Hadoop 2.2.0版本。 首先,从Apache官方网站下载Hadoop 2.2.0的最新版本。请注意...

    hadoop2.2.0部署

    ### Hadoop 2.2.0 部署详尽指南 #### 一、安装Linux **1. 安装wmware11** - **待补充:** 这部分需要更详细的说明来指导用户如何顺利安装wmware11,包括系统的最低配置要求、安装过程中需要注意的关键步骤等。 **...

    Hadoop2.2.0 分布式安装指导

    Hadoop 2.2.0 分布式安装指导

    hadoop-2.2.0依赖的jar包

    Hadoop 2.2.0版本是Hadoop发展过程中的一个重要里程碑,引入了许多改进和新特性,增强了系统的稳定性和性能。本篇文章将深入探讨Hadoop 2.2.0开发过程中依赖的jar包及其重要性。 首先,我们要理解的是,Java ...

Global site tag (gtag.js) - Google Analytics