关于hadoop的发展和历史以及简介,这样的废话就不说,简而言之就一句话,开源的分布式云计算。
目前鄙人使用的是hadoop-1.0.4,下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.0.4/ 下载
hadoop-1.0.4.tar.gz 即可。
解压即可。
先对伪分布式的概念进行说明一下,整个环境的配置是基于linux的,目前鄙人使用的是redhat6企业版。
可以把伪分布式的Hadoop看做只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave;既是NameNode,也是DataNode;既是JobTracker,也是TaskTracker。
安装和配置Hadoop伪分布式有两个必要的条件,一个是JDK的环境,一个是linux SSH环境。其中SSH环境,最好配置为免密码登陆。(笑话:此处的SSH不是java里面的SSH框架,如果你是这么认为,我只能跟你说一句话:你很farmer。)关于这两个环境的配置,这边就不一一讲解了,可以参照其他博文。
下面开始来配置Hadoop:
1、进入conf文件夹,修改Hadoop-evn.sh,指定JDK
export JAVA_HOME=/opt/jdk1.6.0_43
2、配置HDFS的(Hadoop分布式文件系统)的地址和端口号
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3、HDFS的默认备份方式是3,单机修改为1
conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、配置JobTracker的地址及端口,MapReduce的配置
conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下来就是启动Hadoop,先格式化HDFS。进入Hadoop文件夹,输入命令:bin/Hadoop namenode -format
启动Hadoop的命令:bin/start-all.sh
如果此处你没有配置SSH免密码登陆,需要你输入多次的用户密码。
如果启动成功,你可以在浏览器下分别输入:
http://localhost:50030 为MapReduce的web页面
http://localhost:50070 为HDFS的web页面
如果都能查看,说明配置成功。
分享到:
相关推荐
在深入探讨伪分布式Hadoop配置之前,我们先来了解下何为伪分布式模式。伪分布式模式是指Hadoop集群的所有守护进程运行在同一台机器上,但它们仍然通过网络(通常是在不同的端口上)进行通信。这种模式非常适合测试和...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
### CentOS 下安装伪分布式 Hadoop-1.2.1 的详细步骤 ...至此,已经完成了在 CentOS 下伪分布式模式的 Hadoop-1.2.1 的安装与基本配置。这为后续进行 Hadoop 相关的大数据处理任务提供了坚实的基础。
"Hadoop 伪分布式环境配置" Hadoop 伪分布式环境配置是指在单机上模拟 Hadoop 分布式环境的配置过程。这种配置方式可以模拟分布式环境,方便开发者测试和调试 Hadoop 程序。下面是 Hadoop 伪分布式环境配置的详细...
下面我们将详细探讨如何配置单机伪分布式Hadoop。 1. **环境准备**:首先确保你的系统安装了Java Development Kit (JDK),因为Hadoop是用Java编写的,运行时需要JRE。你可以通过`java -version`命令检查是否已安装...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
在本教程中,我们将深入探讨如何在VMware虚拟机中安装CentOS7.0操作系统,并配置Hadoop3.1的伪分布式环境。这个过程对于学习Hadoop基础、大数据处理和分布式计算至关重要。以下是对整个搭建过程的详细步骤和知识点的...
在开始配置Hadoop伪分布式之前,需要确保已经完成了基本的环境搭建工作。主要包括: 1. **系统环境准备**:一般情况下,推荐使用Linux操作系统,因为它提供了良好的稳定性和性能。 2. **JDK安装**:Hadoop基于Java...
这个压缩包文件“hadoop 2.X 伪分布式配置文件”是为在单个机器上模拟Hadoop集群的伪分布式环境而设计的。这种环境对于学习、测试和调试Hadoop组件非常有用,因为它避免了实际分布式环境中的复杂性,同时保留了主要...
#### 七、Hadoop配置文件调整 在完成了基本的环境搭建之后,下一步就是针对Hadoop进行详细的配置。具体而言,我们需要调整以下几个关键的配置文件: 1. **core-site.xml**: - 设置HDFS的默认FS路径 - 配置临时...
在Linux环境下配置Hadoop的伪分布式模式是学习和测试Hadoop功能的重要步骤。这个模式允许你在单个节点上运行Hadoop,模拟多节点集群的行为,无需物理扩展硬件资源。以下是对配置过程的详细解释: 首先,你需要确保...
【Hadoop 伪分布式配置教程】 本教程详细指导如何在Ubuntu 14.04 64位系统上配置Hadoop的伪分布式环境。虽然教程是基于Ubuntu 14.04,但同样适用于Ubuntu 12.04、16.04以及32位系统,同时也适用于CentOS/RedHat系统...
Linux 下 Hadoop 伪分布式配置 Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的,两种配置也很相似,...
### Hadoop3.1.3安装与单机/伪分布式配置知识点详解 #### 一、实验目的和要求 - **掌握Hadoop3.1.3的安装与配置**:包括单机模式和伪分布式模式。 - **理解Hadoop的工作原理**:特别是其在不同模式下的运行机制。 ...
本文将详细介绍如何在 CentOS 6.5 环境中部署 Hadoop 2.6 伪分布式环境,包括环境准备、Hadoop 安装、配置和测试等步骤。 环境准备 在开始部署 Hadoop 之前,需要准备好 Linux 环境。这里选择 CentOS 6.5 作为操作...