hadoop 主要是分name节点 辅助name节点 数据节点1 数据节点2 数据节点n。
name节点就是用记录文件放在哪个数据节点上,数据节点就是用来存储实际数据的。就是指针和内存的关系。
下载好hadoop后编辑xx/hadoop-2.7.3/etc/hadoop文件夹的配置文件。
core-site.xml配置name节点的地址。
hdfs-site.xml配置的数据的备份情况,也就是说一个数据的存储会在几个节点上体现。
mapred-site.xml配置mapreduce依赖的资源框架。
yarn-site.xml配置的数据yarn所在地址
slaves配置的是数据节点的地址
配置好以后,把这些配置文件scp到其他节点配置中。
以上是配置,接下来是启动
hadoop namenode -format 先格式化hadoop的空间
然后用jps查询是否有启动java进程,接下来可以启动
start-dfs.sh start-yarn.sh 或者是start-all.sh
然后再用jps查询,得到的结果如下:
4099 SecondaryNameNode
4359 Jps
4283 ResourceManager
3918 NameNode
远程到数据节点上 jps命令如下:
3657 Jps
3513 NodeManager
3386 DataNode
hadoop fs -mkdir -p /usr/test 这个是在hadoop文件体系中创建文件夹。-p是指test的父级目录也一起创建。
hadoop fs -ls / 查询 ,可得到下面内容
drwxr-xr-x - ubuntu supergroup 0 2017-03-25 19:17 /usr
hadoop fs -ls -R / 查询 ,可得到下面内容 -R是递归的意思
drwxr-xr-x - ubuntu supergroup 0 2017-03-25 19:17 /usr
drwxr-xr-x - ubuntu supergroup 0 2017-03-25 19:17 /usr/test
相关推荐
《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...
Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...
本教程涵盖了Hadoop的安装部署及教学,旨在帮助初学者和进阶者全面理解并掌握这一分布式计算框架。以下将详细阐述Hadoop的相关知识点,包括其概念、架构、安装步骤、配置优化以及实际应用。 一、Hadoop概述 Hadoop...
《Hadoop安装部署详解》 Hadoop是一款开源的分布式计算框架,由Apache基金会开发,用于处理和存储海量数据。本文将详细介绍如何在Linux集群和Windows环境下进行Hadoop的安装与配置,以及对Hadoop核心配置文件的属性...
【Hadoop 安装部署完全分布式】 在搭建Hadoop完全分布式集群时,我们需要遵循一系列步骤,确保所有组件正确配置并协同工作。以下是基于三台机器的集群安装部署过程的详细说明: 1. **所需软件及版本** - Hadoop: ...
《Hadoop安装部署手册》是指导用户在Linux环境中配置和管理Hadoop分布式文件系统的详尽指南。Hadoop作为开源的大数据处理框架,以其高容错性、可扩展性和高效的并行处理能力,广泛应用于大数据处理领域。本手册将...
### Hadoop安装部署知识点 #### 一、Hadoop概述与核心组件 - **Hadoop**:它是Apache软件基金会旗下的一款开源分布式计算平台,主要用于处理大数据集。Hadoop的设计旨在简化大规模数据集的处理,使开发者无需关注...
【Hadoop安装部署】是大数据应用基础的重要环节。Hadoop是一个基于Java的开源框架,用于在大规模计算机集群中处理海量数据的分布式计算。它能够支持上千个节点和PB级别的数据存储与处理,使得处理大数据变得更加高效...
【Hadoop 安装部署详解】 Hadoop 是一个开源的分布式计算框架,广泛应用于大数据处理。本实验将指导你如何在Linux环境下安装部署Hadoop,包括单机模式、伪分布式模式和分布式模式的概述,以及如何使用Vim编辑器、...
在Hadoop安装部署的过程中,涉及到很多关键的步骤和技术点。Hadoop是一种开源的框架,它允许使用简单的编程模型在集群上分布式存储和处理大量数据。Hadoop安装和部署是大数据处理的第一步,下面将详细解释标题和描述...
建议仔细阅读这份文档,结合Ambari的使用,能够更好地理解和应对Hadoop部署过程中的挑战。 总的来说,Hadoop的安装部署虽然复杂,但借助Ambari这样的管理工具,可以显著降低难度。在实践中不断学习和积累经验,是...
参考文献中提到了其他与Hadoop相关的研究,如基于Hadoop架构的分布式计算和存储技术及其应用,基于HDFS的云数据备份系统,Hadoop框架的扩展和性能调优,以及数据中心Hadoop部署与追踪系统的研究。这些研究都为Hadoop...
Hadoop 安装部署实验 Hadoop 是一个大数据处理的开源框架,它是基于 Java 语言开发的,因此需要安装 Java 环境。在这个实验中,我们将安装和配置 Hadoop 环境,并学习基本的 Hadoop 操作。 一、实验准备 在开始...
Hadoop安装部署手册范本.doc
Hadoop安装部署简明步骤详解,详细说明如何安装、编译Hadoop,实现云计算环境
支持自动化Hadoop安装部署的研究.rar
在本文中,我们将深入探讨如何安装和部署Hadoop的最新版本,主要依据"自己操作实践,归纳总结出来的hadoop按照部署文档"。Hadoop是一种分布式计算框架,广泛应用于大数据处理和存储,尤其在处理海量非结构化数据时...
### Hadoop在Windows上的伪分布式安装过程 #### 第一部分:Hadoop在Windows上伪分布式的安装过程 **一、安装JDK** 1. **下载JDK** - 访问Oracle官网下载页面:...