Hadoop目录下
单机版本:
1.conf/hadoop-env.sh中添加环境变量
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45
2.conf/core-site.xml中定义如下内容
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
3.conf/hdfs-site.xml文件中
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.name.dir</name> <value>/home/xx/hadoop-1.0.4/datalog1,/home/xx/hadoop-1.0.4/datalog2</value> </property> <property> <name>dfs.data.dir</name> <value>/home/xx/hadoop-1.0.4/data1,/home/xx/hadoop-1.0.4/data2</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
4.mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>5.格式化分布式文件系统
./bin/hadoop namenode -format
6.启动hadoop
./bin/start-all.sh
7.查看进程 jps
3541 SecondaryNameNode 3639 JobTracker 3846 TaskTracker 3105 NameNode 3333 DataNode
8.关闭
bin/stop-all.sh
伪分布式版本
上面的配置从网上找到的,但是感觉像伪分布式。待确认。伪分布式中仅需要将hdfs-site.xml中配置dfs.replication结点的值为1,其它属性不需要,即可。core-site.xml与mapred-site.xml同上.
http://localhost:50030/ MapReduce 的WEB页面
http://localhost:50070/ HDFS的WEB页面
HDFS bin/start-dfs.sh
MapReduce bin/mapred.sh
相关推荐
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
### Hadoop3.1.3安装与单机/伪分布式配置知识点详解 #### 一、实验目的和要求 - **掌握Hadoop3.1.3的安装与配置**:包括单机模式和伪分布式模式。 - **理解Hadoop的工作原理**:特别是其在不同模式下的运行机制。 ...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
实验主题:武汉理工大学云计算应用 - Hadoop单机模式与伪分布式 **实验目的与意义:** 本次实验旨在让学生理解并掌握Hadoop的两种基础运行模式:单机模式和伪分布式模式。Hadoop是云计算领域的重要组件,主要用于大...
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。
5. 配置Hadoop单机模式:修改Hadoop配置文件,让Hadoop运行在单机模式。 6. 测试Wordcount示例:运行Hadoop自带的Wordcount示例,验证环境搭建是否成功。 搭建伪分布式开发环境的步骤大致与单机模式相似,但是需要...
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
在单机伪分布式环境中,所有这些组件(NameNode、DataNode、JobTracker、TaskTracker)都在同一台机器上运行,每个组件通常由不同的Java进程模拟。这种模式主要用于测试和开发目的,因为在这种环境下,可以更容易地...
### 伪分布式配置 在单机环境中模拟分布式环境,可以进一步配置伪分布式模式: 1. 在`conf/mapred-site.xml`中设置MapReduce的运行模式: ```xml <name>mapreduce.framework.name</name> <value>yarn</value>...
【Hadoop安装教程:单机与伪分布式配置详解】 在大数据处理领域,Hadoop是一个广泛使用的开源框架,它允许在廉价硬件集群上处理大规模数据。本文将指导您如何在Ubuntu 14.04 64位系统上安装Hadoop 2.6.0,无论是...
在Hadoop生态系统中,了解和配置不同的运行模式是至关重要的,这些模式包括独立模式、伪分布模式、完全分布式模式以及高可用性(HA)配置。接下来,我们将详细探讨这些模式及其相关的配置文件。 1. **独立模式**: ...
根据给定文件的信息,本文将详细介绍如何在 CentOS 6.4 系统中安装 Hadoop 2.6.0,并实现单机模式与伪分布式模式的配置。 ### 环境准备 #### 操作系统环境 - **操作系统**: CentOS 6.4 32位 - **虚拟化平台**: ...
在Ubuntu环境下搭建Hadoop伪分布式模式,主要是为了模拟多节点Hadoop集群的环境,以便于学习和测试Hadoop的功能。这个过程涉及到多个步骤,包括必要的资源下载、软件安装、环境配置以及Hadoop服务的启动与验证。以下...
构建Hadoop单机版本和伪分布式开发环境是云计算大数据处理的重要基础,而了解这一过程中的每个步骤对于初学者来说至关重要。Hadoop作为大数据技术生态中的核心,它包括了HDFS(Hadoop Distributed File System,...
### Ubuntu11.10下安装Hadoop0.20.2(单机伪分布式) #### 一、安装虚拟机VMware Workstation v7.1.4 在开始Hadoop的安装之前,首先需要在宿主机上安装虚拟机软件VMware Workstation v7.1.4。这一步主要是为了搭建...
Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是...
Linux 下 Hadoop 伪分布式配置 Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的,两种配置也很相似,...