4.1 系统要求
Linux, 线上环境多为CentOS, 这里使用Fedora作为测试系统
4.2 安装准备
4.2.1 创建hadoop用户
使用专有用户进行相关操作
# 创建hadoop用户组
groupadd hadoop
# 创建hadoop用户
useradd hadoop
# 设置密码
passwd hadoop
# 添加用户到用户组
usermod -G hadoop hadoop
4.2.2 基本服务
- ssh&rsync
# 安装ssh服务
yum install ssh
# 安装数据同步工具
yum install rsync
# 设置ssh服务开机启动
systemctl enable sshd.service
# 启动ssh服务
systemctl start sshd.service
# 或者
service sshd start
4.2.3 JDK
- 安装
选用Sun官方1.6版
http://www.oracle.com/technetwork/java/javase/downloads/index.html
# 使用二进制版本安装
./jdk-6u39-linux-i586.bin
# 移动到专门的目录下
mkdir /usr/java
mv jdk1.6.0_39 /usr/java/
# 建立最新版本的软链接
cd /usr/java/
ln -s -f /usr/java/jdk1.6.0_39 latest
# 建立默认版本的软链接
ln -s -f /usr/java/latest default
# 重新设置Java的软链接
cd /usr/bin
ln -s -f /usr/java/default/bin/java
ln -s -f /usr/java/default/bin/javac
- 查看是否正确安装
# java -version
java version "1.6.0_39"
Java(TM) SE Runtime Environment (build 1.6.0_39-b04)
Java HotSpot(TM) Server VM (build 20.14-b01, mixed mode)
- 设置系统变量
编辑/etc/profile
export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
echo $JAVA_HOME
4.2.4 修改主机名
# /etc/hostname
hadooptest
# /etc/hosts
127.0.0.1 hadooptest localhost
4.2.5 防火墙设置
/etc/init.d/iptables stop
4.2.6 无密码登录
- 生成RSA格式的密钥对
# 切换到hadoop账户
cd
ssh-keygen -t rsa -P ""
将会在~/.ssh/目录下生成密钥文件id_rsa与公钥文件id_rsa.pub
- 设置自动登录
# 单机模式下
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
# 集群模式下
scp ~/.ssh/id_rsa.pub hadoop@slver:/home/hadoop/.ssh/authorized_keys
4.3 安装配置
4.3.1 目录规范
为便于管理, 最好将程序目录和数据目录分离。
- 程序目录
mkdir /usr/local/cloud
tar -zxvf hadoop-1.0.4.tar.gz -C /usr/local/cloud/src/
cd /usr/local/cloud/
ln -s -f /usr/local/cloud/src/hadoop-1.0.4 hadoop
- 数据目录
# 设置目录所有者为hadoop
mkdir /data
chown hadoop:hadoop /data
# 切换到hadoop账户创建相关目录
su hadoop
mkdir hadoop
mkdir -p logs/hadoop
mkdir -p pids/hadoop
4.3.2 修改配置
- 系统变量设置
# vim /etc/profile
export HADOOP_HOME=/usr/local/cloud/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile
- $HADOOP_HOME/conf/hadoop-env.sh
export JAVA_HOME=/usr/java/default
export HADOOP_LOG_DIR=/data/logs/hadoop
export HADOOP_PID_DIR=/data/pids/hadoop
- $HADOOP_HOME/conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://hadooptest:9000</value>
</property>
<property>
<name>hadoop.tmp.dir></name>
<value>/data/hadoop</value>
</property>
- $HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>hadooptest:9001</value>
</property>
- $HADOOP_HOME/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>${hadoop.tmp.dir}/dfs/data</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/dfs/name</value>
</property>
- $HADOOP_HOME/conf/masters
hadooptest
- $HADOOP_HOME/conf/slaves
hadooptest
4.3.3 启动服务
- 格式化文件系统
$HADOOP_HOME/bin/hadoop namenode -format
- 启动HDFS服务
$HADOOP_HOME/bin/start-dfs.sh
- 启动MR服务
$HADOOP_HOME/bin/start-mapred.sh
- WEB方式查看
- 相关进程
[hadoop@hadooptest ~]$ cd /usr/local/cloud/hadoop/bin/
[hadoop@hadooptest bin]$ ./start-all.sh
starting namenode, logging to /data/logs/hadoop/hadoop-hadoop-namenode-hadooptest.out
hadooptest: starting datanode, logging to /data/logs/hadoop/hadoop-hadoop-datanode-hadooptest.out
hadooptest: starting secondarynamenode, logging to /data/logs/hadoop/hadoop-hadoop-secondarynamenode-hadooptest.out
starting jobtracker, logging to /data/logs/hadoop/hadoop-hadoop-jobtracker-hadooptest.out
hadooptest: starting tasktracker, logging to /data/logs/hadoop/hadoop-hadoop-tasktracker-hadooptest.out
[hadoop@hadooptest bin]$ jps
2542 SecondaryNameNode
2282 NameNode
2764 TaskTracker
2819 Jps
2634 JobTracker
2409 DataNode
[hadoop@hadooptest bin]$
相关推荐
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...
《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...
### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...
### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...
### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在CentOS 5.5环境下搭建一个包含1个NameNode节点和2个DataNode节点的Hadoop集群,并通过一...
Hadoop安装-保你一次成功
【Hadoop安装教程_伪分布式配置_CentOS6.4】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置,这种...
三、Hadoop安装与部署 1. 环境准备:确保具备多台Linux服务器,安装Java环境,配置SSH无密码登录。 2. 下载Hadoop:从Apache官方网站获取最新稳定版本的Hadoop,解压到服务器。 3. 配置环境变量:在`~/.bashrc`或`~/...
Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...
Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...
hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
二、Hadoop安装 1. 环境准备:确保系统为Linux环境,因为Hadoop通常在Linux服务器上运行。同时,需要安装Java环境,因为Hadoop依赖Java运行。 2. 下载Hadoop:访问Apache官方网站下载最新稳定版的Hadoop二进制包。 3...