`

【hadoop 1.0】分布式安装总结

 
阅读更多

hadoop版本:0.20.2-cdh3u6

 

OS系统:linux CentOS 64-bit

 

安装教程:http://mrlee23.iteye.com/blog/2009776

参考教程:http://ljh0721.iteye.com/blog/2007862

 

问题:java.io.IOException: NameNode is not formatted.

问题现象:namenode、datanode启动失败,SecondaryNameNode启动成功。

问题解决方法:http://mrlee23.iteye.com/blog/2009777
注:不需要手动创建name、data、tmp的目录,直接运行命令:hadoop namenode -format,会自动创建name目录,其他目录hadoop会在用到的时候自己创建。

 

 

总结:

1、其实设置不设置host都一样,用ip也是可以的。

2、需要设置ssh免密码登录 ,否则密码登录启动hadoop不成功(我搞了N久是没搞明白如何用密码登录,然后启动hadoop,毕竟感觉有密码还是安全的,如果有人试过成功的话,请指教在下一二,谢谢了)

3、所有的设置一定要用su(root)来搞。(总忘记切换权限,走了好多弯路)。

 

2
1
分享到:
评论

相关推荐

    Hadoop1.0伪分布式安装步骤

    开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。 开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。

    Nutch-1.0分布式安装手册.rar

    Nutch-1.0分布式安装手册是一份详细指导如何在多台计算机上部署和配置Apache Nutch的文档。Apache Nutch是一款开源的网络爬虫软件,用于抓取互联网上的网页并进行索引,是大数据领域中搜索引擎构建的重要工具。这份...

    Hadoop1.0&2.0快速入门

    Hadoop 1.0是该框架的最初版本,它主要由两个核心组件构成:HDFS(Hadoop Distributed File System,分布式文件系统)和MapReduce。HDFS负责可靠地存储大数据,而MapReduce则用于处理这些数据。在这个版本中,...

    hadoop1.0\2.0学习笔记及

    总之,Hadoop 1.0和2.0的学习涵盖了分布式计算的基本原理、系统架构、资源管理以及实际应用等多个层面。深入学习并实践这些知识点,不仅可以提升你的大数据处理能力,也为未来从事相关工作奠定了坚实的基础。通过...

    云计算 hadoop1.0 源代码

    Hadoop是前雅虎开发者Doug Cutting开发的分布式计算平台,名字源于玩具象,至今已被数千家公司用于分析大容量数据。Hadoop 1.0.0主要是修正了bug,改进了性能和兼容性。它的上一个版本是0.20.205.0,新版的版本号原...

    Hadoop完全分布式集群安装及配置.docx

    "Hadoop完全分布式集群安装及配置" 本文档提供了Hadoop完全分布式集群的安装和配置步骤,包括三台虚拟机的配置、主机名的设置、hosts文件的配置、防火墙的关闭、NTP服务的安装和配置、免密码登录的配置、JDK的安装...

    hadoop-1.0源代码(全)

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的出现为大数据处理提供了高效、可靠的解决方案。这个名为“hadoop-1.0源代码(全)”的压缩包包含的是一整套Hadoop 1.0版本的源代码,这对于开发者来说是...

    Hadoop2.0分布式HA环境部署

    Hadoop2.0相比Hadoop1.0,在集群稳定性与可用性方面进行了显著增强,特别是引入了High Availability (HA)机制。Hadoop1.0中仅存在单一的NameNode作为元数据管理器,这构成了单点故障的风险。一旦该节点宕机,整个...

    Hadoop分布式集群配置指南

    Hadoop分布式集群配置指南 Hadoop分布式集群配置是大数据处理的关键步骤之一,本指南将指导读者成功配置一个由5台计算机构成的Hadoop集群,并成功运行wordcount处理大型数据(大于50G)。 一、Hadoop集群架构简介 ...

    第6章-Hadoop—分布式大数据系统78.pptx

    第一代Hadoop主要包括0.20.x、0.21.x和0.22.x版本,最终演变为1.0.x系列。第二代Hadoop则包含了0.23.x和2.x版本,其中2.x版本引入了NameNode HA(High Availability)以提高主节点的可用性和Wire-compatibility,...

    Hadoop源码分析(完整版)

    Hadoop源码分析是深入理解Hadoop分布式计算平台原理的起点,通过源码分析,可以更好地掌握Hadoop的工作机制、关键组件的实现方式和内部通信流程。Hadoop项目包括了多个子项目,其中最核心的是HDFS和MapReduce,这两...

    Hadoop 1.2.1 伪分布式安装 Mac版

    【Hadoop 1.2.1 伪分布式安装在Mac上的详细步骤】 Hadoop是一个开源的分布式计算框架,常用于大数据处理。在这个教程中,我们将详细介绍如何在Mac系统上安装Hadoop 1.2.1的伪分布式模式,这是一种单机模拟多节点...

    第6章Hadoop—分布式大数据系统78.pptx

    随着技术的发展,Hadoop经历了多个版本迭代,从最初的0.20.x到1.0.x,再到2.x版本,引入了NameNode HA(High Availability)以提高NameNode的可靠性,以及Wire-compatibility特性以保持兼容性。Hadoop的这些改进使得...

    1.Hadoop入门进阶课程_第1周_Hadoop1.X伪分布式安装.pdf

    ### Hadoop 1.X 伪分布式安装知识点概览 #### 1. Hadoop 简介 - **定义**: Apache Hadoop 是一个开源框架,它允许开发者通过简单的编程模型来处理大量的数据集,并且能够在集群服务器上进行分布式处理。 - **特点**...

    hadoop详解

    为了克服Hadoop1.0的局限性,Hadoop2.0引入了YARN(Yet Another Resource Negotiator)框架,使得Hadoop能够支持更多的计算框架。 **1. Hadoop2.0架构** Hadoop2.0的核心组件仍然是HDFS和MapReduce,但在架构上...

    hadoop2.4.1伪分布式搭建

    ### Hadoop 2.4.1 伪分布式环境搭建详细步骤 #### 一、环境准备:Linux系统配置 在开始之前,确保您的开发环境中已经安装并配置好了虚拟机(如VMware),并且能够正常运行Linux操作系统。以下是具体的配置步骤: ...

    hadoop口述知识点,新手必备

    *****1.如何实现wordcount ***2.hadoop1.0和hadoop2.0的区别 ***3.搭建hadoop伪分布式/完全分布式集群的步骤

Global site tag (gtag.js) - Google Analytics