`
talktoto
  • 浏览: 2728 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

hadoop配置手册

阅读更多

环境:

Hadoop-1 10.10.30.1  namehost ip

Hadoop-2:  10.10.30.2   namehost ip

 

部署步骤( JDK 安装不在描述)

1,  在每一台服务器上添加 hosts 记录

a)         Vi /etc/resole.conf

                         i.              Hadoop-1          10.10.30.1

                       ii.              Hadoop-2          10.10.30.2

2,  hadoop-1 ping hadoop-2 ping 通正常

3,  hadoop-2 ping hadoop-1 ping 通正常

4,  在每一台机器上分别创建 hadoop 用户(次用户名可自定义)

a)         Useradd hadoop

5,  设置 ssh 免密码登陆

Set 1 Hadoop-1

a)         [hadoop-1@root~]mkdir .ssh

b)         [hadoop-1@root~]ssh-keygen –t rsa

c)         [hadoop-1@root~]cd .ssh

d)         [hadoop-1@root~]cp id_rsa.pub authrized_keys

e)         Authrized_keys   scp 到其他所有的 hadoop 机器上

f)          Scp authrized_keys hadoop-2:/home/  需要输入 hadoop 用户名和密码

Set2 hadoop-2

         a)[hadoop-2@hadoop~]mkdir .ssh

        b)[hadoop-2@hadoop~]cp authrized_keys .ssh

         c)[hadoop-2@hadoop~]chmod 755 .ssh

         d)[hadoop-2@hadoop~]chmod 644 .ssh/ authrized_keys

这一步非常关键,必须保证 authorized_keys 只对其所有者有读写权限,其他人不允许有写的权限,否则 SSH 是不会工作的。

g)         测试是否可无密码登陆

6,   Hadoop 安装

a)         mkdir /home/hadoop/hadoop/tmp

b)         mkdir /home/hadoop/hadoop/data

c)         mkdir /home/hadoop/hadoop/name

d)         hadoop 包解压的对应的目录

                         i.              Conf hadoop 所有配置文件的存放位置

                       ii.              vi hadoop/conf/core-site.xml

1.         <name>hadoop.tmp.dir</name>

2.         <value>/home/hadoop/hadoop/tmp</value>   #hadoop 临时目录存放位置

3.           <name>fs.default.name </name>

4.            <value>hdfs://192.168.0.56:7771 </value>  hadoop 对外访问的 ip port

                      iii.              vi hadoop/conf/hadoop-env.sh

1.         9 export JAVA_HOME=/tools/java 修改对应的 java 目录

                      iv.              vi hadoop/conf/hdfs-site.xml 

1.         <configuration>

2.                 <!--property>

3.                         <name>dfs.name.dir</name>

4.                         <value>/home/hadoop/hadoop/name</value>

5.                 </property-->

6.                 <property>

7.                         <name>dfs.data.dir</name>

8.                         <value>/home/hadoop/hadoop/data</value>

9.                 </property>

10.             <property>

11.                     <name>dfs.replication</name>

12.                     <value>3</value>

13.             </property>

14.      </configuration>

a)         修改想对应 name data 的存放位置,其他不需要修改

                       v.              Vi  hadoop/conf/master   直接添加 hadoop   master 的主机名

                      vi.              Vi  hadoop/conf/slave   直接添加 hadoop    slave 的所有主机名(每个主机一行)

                    vii.              Vi hadoop/conf/mapred-site.xml

1.         <configuration>

2.                 <property>

3.                         <name>mapred.job.tracker</name>

4.                         <value>192.168.0.56:8888 </value>

5.                 </property>

6.         </configuration>

a)         修改 mapred 的工作 ip port       

7,  进入 hadoop bin 目录 , sbin/start-dfs.sh 启动

8,  使用 jps 命令查看正常与否

                                                     i.              [root@map1 conf]# jps      master jps 输出

5365 NameNode

5557 SecondaryNameNode

5649 JobTracker

0
0
分享到:
评论

相关推荐

    Hadoop配置手册Ubuntu8.10

    【Hadoop配置手册Ubuntu8.10】是一个详细的指南,主要涵盖了在Ubuntu 8.10操作系统上安装和配置Hadoop 0.20.1的步骤。以下是配置过程的关键知识点: 1. **系统环境准备**: - 配置环境涉及到三台机器,分别作为...

    史上最全的Hadoop配置完全手册

    Hadoop 配置完全手册 Hadoop 是一个开源的大数据处理框架,由 Apache 软件基金会开发和维护。它提供了一个分布式文件系统和一个分布式计算框架,用于处理大规模数据集。 Hadoop 配置 Hadoop 的配置文件是对 ...

    linuxhadoop搭建手册以及三种集群模式配置

    资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...

    Hadoop2.2.0安装配置手册

    Hadoop2.2.0安装配置手册,新手安装和配置

    Hadoop 0.20.1 配置手册-高清pdf文字版

    2. **Hadoop配置文件详解**:如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。这些配置文件用于设定Hadoop的各种参数,如数据块大小、副本数量、网络拓扑、资源调度策略等。 3. **HDFS...

    hadoop完全安装手册

    ### Hadoop完全分布式安装手册 #### 一、环境规划与准备 在进行Hadoop的完全分布式安装之前,首先需要对整个环境进行规划和必要的准备工作。根据文档提供的信息,本手册将涉及以下三个主要方面: 1. **JDK安装**...

    Hadoop入门手册

    6. **Hadoop安装与配置**:详述在不同操作系统上安装Hadoop的步骤,包括单机模式、伪分布式模式和完全分布式模式的配置,以及环境变量设置和集群优化技巧。 7. **数据输入与输出**:理解Hadoop如何处理不同类型的...

    Hadoop安装手册_Hadoop2.0.pdf

    hadoop2.0版本安装手册,包含hadoop、hive、hbase、mahout、sqoop、spark、storm、整个体系的安装配置

    hadoop部署手册.

    Hadoop部署手册涵盖了从基础环境准备到集群配置的多个关键步骤。下面,我们将详细解析这些步骤,并解释每个环节的重要性。 首先,创建一个专门的用户和组是安全实践的基础。在Linux系统中,通过`useradd`命令创建名...

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程

    Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程

    Hadoop命令手册

    ### Hadoop命令手册知识点 #### 概述 Hadoop是一个开源软件框架,主要用于分布式存储与处理大规模数据集。为了方便用户操作与管理Hadoop集群,Hadoop提供了丰富的命令行工具。本文将详细介绍Hadoop命令手册中提及...

    hadoop 安装部署手册

    4. **Hadoop配置** - **配置hadoop-env.sh**:在此文件中设置Java的路径,以及Hadoop的一些环境变量,如`JAVA_HOME`和`HADOOP_OPTS`(用于设置JVM参数)。 - **配置core-site.xml**:核心配置文件,主要设定Hadoop...

    hadoop学习手册

    Hadoop配置文件包括Hadoop-env.sh、Core-site.xml、Hdfs-site.xml、Mapred-site.xml、Yarn-env.sh和Yarn-site.xml等。这些文件的配置内容包括JAVA_HOME的安装位置、HDFS的命名、HDFS的tmp目录的根位置、MapReduce...

    hadoop命令手册

    Hadoop 命令手册 Hadoop 命令是 Hadoop 分布式计算系统的核心组件之一,负责执行各种作业和管理任务。Hadoop 命令手册提供了一个详细的命令参考指南,帮助用户熟悉 Hadoop 命令,让云计算更上一步。 Hadoop 命令的...

    Hadoop命令使用手册中文版

    ### Hadoop命令使用手册中文版知识点详解 #### 一、Hadoop概述 Hadoop是一款开源软件框架,主要用于处理大规模数据集(通常在集群环境中)。它能够高效地存储和处理非常大的数据集,使得用户能够在相对较低成本的...

Global site tag (gtag.js) - Google Analytics