`
yehao0716
  • 浏览: 22754 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

hadoop2.5.1集群搭建:(一)搭建手工切换ha的hdfs集群

阅读更多
-----------------------------
1.搭建手工切换HA(high availibility)的HDFS集群
-----------------------------
namenode:hadoop1和hadoop2
datanode:hadoop3、hadoop4、hadoop5、hadoop6
journalnode:hadoop1、hadoop2、hadoop3
 
1.0 配置linux环境
1.0.1 确保虚拟机直接可以ping成功
1.0.2 设置hostname
       vi /etc/sysconfig/network
1.0.3 配置/etc/hosts
       vi /etc/hosts
1.0.4 关闭防火墙
       service iptables stop
        chkconfig iptables off
1.0.5 实现ssh免密码登录
         ssh-keygen -t rsa
         ssh-copy-id -i hadoop2(被登录登录的机器)
1.0.6 jdk安装
          (1)下载,并解压
          (2)修改环境变量  vi /etc/profile 增加内容如下:
                                        export JAVA_HOME=/usr/local/jdk
                                        export PATH=.:$JAVA_HOME/bin:$PATH
          (3)source /etc/profile
        验证:     java -version
 
1.1 配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、slaves)
1.1.1 hadoop-env.sh
  export JAVA_HOME=/usr/local/jdk1.7.0-45
 
1.1.2 core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
 
1.1.3 hdfs-site.xml
 
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>

<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop1,hadoop2</value>
</property>

<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
<value>hadoop1:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.cluster1.hadoop1</name>
<value>hadoop1:50070</value>
</property>

<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop2</name>
<value>hadoop2:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.cluster1.hadoop2</name>
<value>hadoop2:50070</value>
</property>

<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>false</value>
</property>

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/cluster1</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/tmp/journal</value>
</property>

<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
 
1.1.4 slaves
hadoop3
hadoop4
hadoop5
hadoop6
 
1.1.5 把hadoop1上的hadoop文件夹复制到hadoop2、hadoop3、hadoop4、hadoop5、hadoop6节点
         scp -r hadoop2.5 hadoop2:/home/hadoop/opt
 
1.2 启动journalnode集群
  在hadoop1、hadoop2、hadoop3上分别执行hadoop/sbin/hadoop-daemon.sh start journalnode
1.3 格式化namenode、启动namenode
  在hadoop1上执行hadoop/bin/hdfs namenode -format
  在hadoop1上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
  在hadoop2上执行hadoop/bin/hdfs namenode -bootstrapStandby
  在hadoop2上分别执行hadoop/sbin/hadoop-daemon.sh start namenode
  在hadoop1上执行hadoop/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1
 
1.4 启动datanode
  在hadoop1上分别执行hadoop/sbin/hadoop-daemons.sh start datanode
0
0
分享到:
评论

相关推荐

    hadoop-hdfs-2.5.1-API文档-中文版.zip

    赠送jar包:hadoop-hdfs-2.5.1.jar; 赠送原API文档:hadoop-hdfs-2.5.1-javadoc.jar; 赠送源代码:hadoop-hdfs-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.5.1.pom; 包含翻译后的API文档:hadoop...

    hadoop-hdfs-2.5.1-API文档-中英对照版.zip

    赠送jar包:hadoop-hdfs-2.5.1.jar; 赠送原API文档:hadoop-hdfs-2.5.1-javadoc.jar; 赠送源代码:hadoop-hdfs-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.5.1.pom; 包含翻译后的API文档:hadoop...

    hadoop2.5.1汇总:最新编译_32位、64位安装包、源码包、API下载及新特性 中文

    2. **HA(High Availability)**:Hadoop 2.5.1支持NameNode和ResourceManager的高可用性,这意味着即使主节点故障,系统也能自动切换到备份节点,保证服务不间断。 3. **性能优化**:包括更快的文件读写速度,更...

    hadoop伪集群搭建及eclipse插件配置

    搭建伪集群模式的Hadoop可以用于开发与测试,在这个模式下,所有节点实际上都运行在同一个物理机上,模拟集群的运行环境。同时,通过在开发IDE如Eclipse中配置Hadoop插件,可以更便捷地进行开发和调试Hadoop程序。...

    搭建手工切换HA的HDFS集群

    搭建手工切换HA的HDFS集群,学习大数据hadoop搭建环境的可以看下,通俗易懂

    hadoop集群搭建文档资料

    6. **格式化NameNode**:首次搭建集群,需要对NameNode进行格式化,初始化HDFS的文件系统元数据。 7. **启动Hadoop服务**:在每个节点上启动Hadoop的守护进程,包括DataNode、NameNode、ResourceManager、...

    Hadoop分布式集群搭建所需安装包资源

    在Hadoop 2.7.5版本中,HDFS提供高可用性(HA)功能,通过设置多个NameNode实现热备,增强了系统的稳定性。此外,YARN作为资源管理系统,负责调度计算任务和管理节点资源,使得Hadoop能够处理更多类型的计算任务,而...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

    Hadoop集群搭建(全)

    Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...

    hadoop2.7.0集群搭建

    本文根据实际的操作,详细的讲解了hadoop2.7.0集群的搭建过程

    Hadoop和Spark多节点集群搭建:从入门到进阶0基础!!易懂!!

    Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和...

    hadoop集群搭建(超级详细)

    本文将详细讲解如何搭建一个Hadoop集群,包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明: 一、虚拟机安装与配置 在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以...

    linux下Hadoop集群环境搭建

    在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务,它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点,并构建Hadoop集群环境。 首先,我们需要准备一个基础...

    hadoop 分布式集群搭建

    Hadoop分布式集群搭建的...总结来说,Hadoop分布式集群的搭建是一个涉及到硬件环境、软件安装、网络配置、系统参数调优等多方面知识的综合过程。搭建完成后,应该进行充分的测试以确保集群的稳定性和性能表现符合预期。

    HadoopHA集群配置文件

    本文将深入探讨Hadoop HA(高可用性)集群的配置文件,包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件,这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...

    hadoop2.5.1安装指引.txt

    可参考 http://www.bjsxt.com/down/3191.html 安装视频。

    Hadoop 分布式集群搭建.md

    Hadoop 分布式集群搭建.md

    Hadoop3.0分布式集群搭建(HA)详细文档.docx

    Hadoop 3.0 分布式集群搭建(HA)详细文档 本资源摘要信息主要介绍了 Hadoop 3.0 分布式集群搭建的详细步骤和要求,从搭建前的准备工作到集群的安装和配置,涵盖了主机规划、软件规划、用户规划、数据目录规划、...

    Hadoop实战高手之路---从零开始”的第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验

    根据提供的标题、描述和部分文本内容,我们可以提炼出与Hadoop相关的知识点,特别是关于如何使用HDFS命令行工具操作Hadoop分布式集群。 ### Hadoop基础知识 #### 什么是Hadoop? Hadoop是一个开源软件框架,用于...

Global site tag (gtag.js) - Google Analytics