准备相关资源环境
运行环境 |
工具 |
Linux Centos 6.3
JDK 1.7.0_51
|
SSH Secure Shell |
1. 下载Hadoop1.2
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
这里下载的是hadoop-1.2.1.tar.gz,解压缩:
tar -zxvf hadoop-1.2.1.tar.gz
2. 配置系统环境变量
vi /hadoop/hadoop1.2.1/conf/hadoop-env.sh
3. 测试安装
source hadoop-env.sh
hadoop version
4. 运行前配置,由于Hadoop是分布式系统,要在单机上运行就要采用伪分布式方式
1) 在运行目录中,创建tmp hdfs/name hdfs/data目录
cd /hadoop/hadoop-1.2.1
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
2) mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3) hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hadoop-1.2.1/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hadoop-1.2.1/hdfs/data</value>
</property>
</configuration>
4) core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-1.2.1/tmp</value>
</property>
</configuration>
5. 格式化namenode,不然的话在jps里找不到namenode
hadoop namenode -format
6. 执行启动
start-all.sh
7. 检查启动是否正常,应出现DataNode/NameNode/TaskTracker/SecondaryNameNode/JobTracker进程
8. 一切OK,恭喜Hadoop部署运行成功!
最后可自己去运行Hadoop-examples相关例子来试试效果,如:WordCount。
- 大小: 41.6 KB
- 大小: 85.1 KB
- 大小: 44.9 KB
- 大小: 232 KB
- 大小: 90.8 KB
- 大小: 13 KB
分享到:
相关推荐
### Hadoop单机与集群部署知识点 #### 一、Hadoop单机系统版本安装配置 **1.1 配置前的准备工作** - **添加hadoop用户并设置密码:** - 在Linux环境下,首先需要创建一个专用的`hadoop`用户,并为其设置一个安全...
### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...
通过以上步骤,你将在单机环境中成功部署了Hadoop 2.0.2。这只是一个起点,实际生产环境中通常会涉及多节点集群的配置和管理,包括Hadoop的高可用性、性能优化等复杂话题。在深入学习和实践的过程中,你将逐步掌握...
但在Hadoop 2.x中,这种集中式的依赖管理方式被分成了多个单独的JAR文件,这样的变化提高了系统的灵活性,但也增加了开发人员在构建和部署MapReduce应用程序时的复杂度。 在Hadoop 2.6.0中,运行一个简单的...
本文档旨在为初学者提供一个清晰、详尽的Hadoop部署流程,包括单机伪分布模式和多节点集群的安装与配置,帮助读者快速理解Hadoop的核心概念和实际操作。 1.2 背景 在Linux环境下部署Hadoop,需要对操作系统有基本的...
本章节将详细介绍如何安装和配置Hadoop环境,包括单机模式和集群模式下的设置方法。此外,还将演示如何启动和停止Hadoop服务。 ##### 1.3 Hadoop组件详解 - **HDFS**:Hadoop的分布式文件系统,用于存储数据。 - **...
单机部署主要是为了学习和测试Hadoop环境,了解其基本工作原理。 3.2 先决条件 包括操作系统要求、Java环境安装、网络环境等。 3.2.1 支持平台 Hadoop支持多种操作系统,如Linux、Windows、Mac OS等。 3.2.2 所需...
2. **软件准备**:准备好Nutch(例如版本为1.2)和Hadoop等必要的软件包。 3. **网络准备**:确认所有节点之间的网络连接畅通无阻。 #### 三、具体步骤 ##### 1. 安装与部署Tomcat - **安装Tomcat**:确保目标...
##### 1.2 硬件配置 - **服务器配置**:采用30台双路四核商用服务器,每台配备Intel Xeon E5450 CPU,运行频率为3.00GHz,拥有16GB内存以及8个500GB SAS硬盘。 - **网络配置**:采用20Gb/s IB网+千兆以太网混合组网...
3. **Hadoop的单机部署** 在学习Hadoop的过程中,通常会先进行单机部署以熟悉基本操作和流程。 3.1. **目的** 主要是为开发者提供一个本地环境,便于测试代码和理解Hadoop的工作原理。 3.2. **先决条件** ...
#### 三、Hadoop单机部署 **3.1 目的** 本节旨在介绍如何在单台计算机上部署Hadoop,这通常用于开发和测试环境。 **3.2 先决条件** - **3.2.1 支持平台**:Hadoop可以在多种操作系统上运行,如Linux、Mac OS X和...
#### 三、Hadoop的单机部署 **3.1 目的**:在单机环境中安装和配置Hadoop,以便进行学习和测试。 **3.2 先决条件** - **支持平台**:通常支持Linux操作系统,如Ubuntu、CentOS等。 - **所需软件**:包括JDK、...
3. 章节未给出,但通常会涵盖伪分布模式安装,这是单机环境下测试Hadoop的常见方式,涉及配置hadoop-env.sh、core-site.xml、hdfs-site.xml等文件,以及格式化NameNode和启动Hadoop服务等步骤。 这个手册的后续章节...
#### 1.2 Hadoop的核心组件 - **HDFS**:用于存储海量数据的分布式文件系统。 - **MapReduce**:用于处理大量数据的编程模型和框架。 - **YARN**:资源管理和任务调度系统。 - **Hive**:提供SQL-like查询语言的数据...