环境:
Hadoop-1
:
10.10.30.1
(
namehost
:
ip
)
Hadoop-2:
10.10.30.2
(
namehost
:
ip
)
部署步骤(
JDK
安装不在描述)
1,
在每一台服务器上添加
hosts
记录
a)
Vi /etc/resole.conf
i.
Hadoop-1 10.10.30.1
ii.
Hadoop-2 10.10.30.2
2,
在
hadoop-1
上
ping hadoop-2
,
ping
通正常
3,
在
hadoop-2
上
ping
hadoop-1
,
ping
通正常
4,
在每一台机器上分别创建
hadoop
用户(次用户名可自定义)
a)
Useradd hadoop
5,
设置
ssh
免密码登陆
Set 1 Hadoop-1
a)
[hadoop-1@root~]mkdir .ssh
b)
[hadoop-1@root~]ssh-keygen –t
rsa
c)
[hadoop-1@root~]cd .ssh
d)
[hadoop-1@root~]cp id_rsa.pub
authrized_keys
e)
Authrized_keys scp
到其他所有的
hadoop
机器上
f)
Scp authrized_keys
hadoop-2:/home/
需要输入
hadoop
用户名和密码
Set2 hadoop-2
a)[hadoop-2@hadoop~]mkdir
.ssh
b)[hadoop-2@hadoop~]cp authrized_keys
.ssh
c)[hadoop-2@hadoop~]chmod
755 .ssh
d)[hadoop-2@hadoop~]chmod
644 .ssh/ authrized_keys
这一步非常关键,必须保证
authorized_keys
只对其所有者有读写权限,其他人不允许有写的权限,否则
SSH
是不会工作的。
g)
测试是否可无密码登陆
6,
Hadoop
安装
a)
mkdir /home/hadoop/hadoop/tmp
b)
mkdir /home/hadoop/hadoop/data
c)
mkdir /home/hadoop/hadoop/name
d)
将
hadoop
包解压的对应的目录
i.
Conf
为
hadoop
所有配置文件的存放位置
ii.
vi hadoop/conf/core-site.xml
1.
<name>hadoop.tmp.dir</name>
2.
<value>/home/hadoop/hadoop/tmp</value> #hadoop
临时目录存放位置
3.
<name>fs.default.name
</name>
4.
<value>hdfs://192.168.0.56:7771
</value> hadoop
对外访问的
ip
:
port
iii.
vi hadoop/conf/hadoop-env.sh
1.
9
行
export JAVA_HOME=/tools/java
修改对应的
java
目录
iv.
vi
hadoop/conf/hdfs-site.xml
1.
<configuration>
2.
<!--property>
3.
<name>dfs.name.dir</name>
4.
<value>/home/hadoop/hadoop/name</value>
5.
</property-->
6.
<property>
7.
<name>dfs.data.dir</name>
8.
<value>/home/hadoop/hadoop/data</value>
9.
</property>
10.
<property>
11.
<name>dfs.replication</name>
12.
<value>3</value>
13.
</property>
14.
</configuration>
a)
修改想对应
name
和
data
的存放位置,其他不需要修改
v.
Vi hadoop/conf/master
直接添加
hadoop master
的主机名
vi.
Vi hadoop/conf/slave
直接添加
hadoop slave
的所有主机名(每个主机一行)
vii.
Vi hadoop/conf/mapred-site.xml
1.
<configuration>
2.
<property>
3.
<name>mapred.job.tracker</name>
4.
<value>192.168.0.56:8888
</value>
5.
</property>
6.
</configuration>
a)
修改
mapred
的工作
ip
:
port
7,
进入
hadoop
的
bin
目录
,
sbin/start-dfs.sh
启动
8,
使用
jps
命令查看正常与否
i.
[root@map1 conf]# jps master
的
jps
输出
5365 NameNode
5557 SecondaryNameNode
5649 JobTracker
分享到:
相关推荐
【Hadoop配置手册Ubuntu8.10】是一个详细的指南,主要涵盖了在Ubuntu 8.10操作系统上安装和配置Hadoop 0.20.1的步骤。以下是配置过程的关键知识点: 1. **系统环境准备**: - 配置环境涉及到三台机器,分别作为...
Hadoop 配置完全手册 Hadoop 是一个开源的大数据处理框架,由 Apache 软件基金会开发和维护。它提供了一个分布式文件系统和一个分布式计算框架,用于处理大规模数据集。 Hadoop 配置 Hadoop 的配置文件是对 ...
资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...
Hadoop2.2.0安装配置手册,新手安装和配置
2. **Hadoop配置文件详解**:如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。这些配置文件用于设定Hadoop的各种参数,如数据块大小、副本数量、网络拓扑、资源调度策略等。 3. **HDFS...
### Hadoop完全分布式安装手册 #### 一、环境规划与准备 在进行Hadoop的完全分布式安装之前,首先需要对整个环境进行规划和必要的准备工作。根据文档提供的信息,本手册将涉及以下三个主要方面: 1. **JDK安装**...
6. **Hadoop安装与配置**:详述在不同操作系统上安装Hadoop的步骤,包括单机模式、伪分布式模式和完全分布式模式的配置,以及环境变量设置和集群优化技巧。 7. **数据输入与输出**:理解Hadoop如何处理不同类型的...
hadoop2.0版本安装手册,包含hadoop、hive、hbase、mahout、sqoop、spark、storm、整个体系的安装配置
Hadoop部署手册涵盖了从基础环境准备到集群配置的多个关键步骤。下面,我们将详细解析这些步骤,并解释每个环节的重要性。 首先,创建一个专门的用户和组是安全实践的基础。在Linux系统中,通过`useradd`命令创建名...
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
### Hadoop命令手册知识点 #### 概述 Hadoop是一个开源软件框架,主要用于分布式存储与处理大规模数据集。为了方便用户操作与管理Hadoop集群,Hadoop提供了丰富的命令行工具。本文将详细介绍Hadoop命令手册中提及...
4. **Hadoop配置** - **配置hadoop-env.sh**:在此文件中设置Java的路径,以及Hadoop的一些环境变量,如`JAVA_HOME`和`HADOOP_OPTS`(用于设置JVM参数)。 - **配置core-site.xml**:核心配置文件,主要设定Hadoop...
Hadoop配置文件包括Hadoop-env.sh、Core-site.xml、Hdfs-site.xml、Mapred-site.xml、Yarn-env.sh和Yarn-site.xml等。这些文件的配置内容包括JAVA_HOME的安装位置、HDFS的命名、HDFS的tmp目录的根位置、MapReduce...
Hadoop 命令手册 Hadoop 命令是 Hadoop 分布式计算系统的核心组件之一,负责执行各种作业和管理任务。Hadoop 命令手册提供了一个详细的命令参考指南,帮助用户熟悉 Hadoop 命令,让云计算更上一步。 Hadoop 命令的...
### Hadoop命令使用手册中文版知识点详解 #### 一、Hadoop概述 Hadoop是一款开源软件框架,主要用于处理大规模数据集(通常在集群环境中)。它能够高效地存储和处理非常大的数据集,使得用户能够在相对较低成本的...