准备相关资源环境
运行环境 |
工具 |
Linux Centos 6.3
JDK 1.7.0_51
|
SSH Secure Shell |
1. 下载Hadoop1.2
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
这里下载的是hadoop-1.2.1.tar.gz,解压缩:
tar -zxvf hadoop-1.2.1.tar.gz

2. 配置系统环境变量
vi /hadoop/hadoop1.2.1/conf/hadoop-env.sh
3. 测试安装
source hadoop-env.sh
hadoop version
4. 运行前配置,由于Hadoop是分布式系统,要在单机上运行就要采用伪分布式方式
1) 在运行目录中,创建tmp hdfs/name hdfs/data目录
cd /hadoop/hadoop-1.2.1
mkdir tmp
mkdir hdfs
mkdir hdfs/name
mkdir hdfs/data
2) mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3) hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/hadoop-1.2.1/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hadoop-1.2.1/hdfs/data</value>
</property>
</configuration>
4) core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/hadoop-1.2.1/tmp</value>
</property>
</configuration>
5. 格式化namenode,不然的话在jps里找不到namenode
hadoop namenode -format
6. 执行启动
start-all.sh
7. 检查启动是否正常,应出现DataNode/NameNode/TaskTracker/SecondaryNameNode/JobTracker进程
8. 一切OK,恭喜Hadoop部署运行成功!
最后可自己去运行Hadoop-examples相关例子来试试效果,如:WordCount。

- 大小: 41.6 KB

- 大小: 85.1 KB

- 大小: 44.9 KB

- 大小: 232 KB

- 大小: 90.8 KB

- 大小: 13 KB
分享到:
相关推荐
### Hadoop单机与集群部署知识点 #### 一、Hadoop单机系统版本安装配置 **1.1 配置前的准备工作** - **添加hadoop用户并设置密码:** - 在Linux环境下,首先需要创建一个专用的`hadoop`用户,并为其设置一个安全...
通过以上步骤,可以在单机上成功搭建起一个Hadoop2.7.5与HBase1.2.6的伪分布式环境。这为后续学习和开发提供了良好的基础平台。需要注意的是,尽管伪分布式模式方便快捷,但在实际生产环境中,建议采用完全分布式的...
### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...
通过以上步骤,你将在单机环境中成功部署了Hadoop 2.0.2。这只是一个起点,实际生产环境中通常会涉及多节点集群的配置和管理,包括Hadoop的高可用性、性能优化等复杂话题。在深入学习和实践的过程中,你将逐步掌握...
Hadoop伪分布式模式是一种在单机上模拟Hadoop分布式环境的方式。虽然这种方式并非真正的分布式部署,但它通过使用线程来模拟多节点间的通信和数据处理流程。对于初学者而言,这种模式提供了低成本的学习平台,使得...
但在Hadoop 2.x中,这种集中式的依赖管理方式被分成了多个单独的JAR文件,这样的变化提高了系统的灵活性,但也增加了开发人员在构建和部署MapReduce应用程序时的复杂度。 在Hadoop 2.6.0中,运行一个简单的...
本文档旨在为初学者提供一个清晰、详尽的Hadoop部署流程,包括单机伪分布模式和多节点集群的安装与配置,帮助读者快速理解Hadoop的核心概念和实际操作。 1.2 背景 在Linux环境下部署Hadoop,需要对操作系统有基本的...
单机部署主要是为了学习和测试Hadoop环境,了解其基本工作原理。 3.2 先决条件 包括操作系统要求、Java环境安装、网络环境等。 3.2.1 支持平台 Hadoop支持多种操作系统,如Linux、Windows、Mac OS等。 3.2.2 所需...
2. **软件准备**:准备好Nutch(例如版本为1.2)和Hadoop等必要的软件包。 3. **网络准备**:确认所有节点之间的网络连接畅通无阻。 #### 三、具体步骤 ##### 1. 安装与部署Tomcat - **安装Tomcat**:确保目标...
##### 1.2 硬件配置 - **服务器配置**:采用30台双路四核商用服务器,每台配备Intel Xeon E5450 CPU,运行频率为3.00GHz,拥有16GB内存以及8个500GB SAS硬盘。 - **网络配置**:采用20Gb/s IB网+千兆以太网混合组网...
3. **Hadoop的单机部署** 在学习Hadoop的过程中,通常会先进行单机部署以熟悉基本操作和流程。 3.1. **目的** 主要是为开发者提供一个本地环境,便于测试代码和理解Hadoop的工作原理。 3.2. **先决条件** ...
#### 三、Hadoop单机部署 **3.1 目的** 本节旨在介绍如何在单台计算机上部署Hadoop,这通常用于开发和测试环境。 **3.2 先决条件** - **3.2.1 支持平台**:Hadoop可以在多种操作系统上运行,如Linux、Mac OS X和...
#### 三、Hadoop的单机部署 **3.1 目的**:在单机环境中安装和配置Hadoop,以便进行学习和测试。 **3.2 先决条件** - **支持平台**:通常支持Linux操作系统,如Ubuntu、CentOS等。 - **所需软件**:包括JDK、...
3. 章节未给出,但通常会涵盖伪分布模式安装,这是单机环境下测试Hadoop的常见方式,涉及配置hadoop-env.sh、core-site.xml、hdfs-site.xml等文件,以及格式化NameNode和启动Hadoop服务等步骤。 这个手册的后续章节...
**1.2 ES中文检索问题** 对于中文检索,如果没有特别配置中文分词器,ES默认使用`StandardAnalyzer`进行分词,这可能导致中文文本被错误地分割为单个汉字。例如,“张家口”将被拆分为“张”、“家”、“口”。为了...
安装部署ZooKeeper需要理解它的三种安装模式:单机模式、伪集群模式和集群模式。单机模式适用于开发环境,而集群模式适用于生产环境。在配置文件中,需要指定服务器列表、客户端端口以及ZooKeeper的数据存储路径。...