`
qindongliang1922
  • 浏览: 2188592 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117663
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126070
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60024
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71399
社区版块
存档分类
最新评论

hadoop2.2生态系统快速安装脚本

阅读更多
对于使用hadoop进行开发的朋友们,可能要自己搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于linux基础的工作需要做,包括SSH无密码登陆和批量用户创建,不过,别担心,散仙已经写好了,大家直接用就OK, 需要的朋友,请点击此处
如果ssh认证搞定和hadoop的用户创建完毕后,我们就可以,执行散仙的脚本进行安装了

说明如下:


脚本开发者:三劫散仙
技术交流群:376932160

本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作,
在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。


本hadoopsys的安装包,带了如下几种开源框架

1,Ant1.9.4
2,Maven3.0.5
3,JDK1.7u25
4,Hadoop2.2.0
5,Hbase0.96.2
6,Zookeeper3.4.5
7,Hive0.13.13
全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置

本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置
分别在压缩包内的conf目录,关于Hive,暂时没有安装。


脚本配置说明:
1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip
2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里
3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新
打包。
4,然后执行pub脚本,进行机器分发压缩包,并解压
5,最后执行begin脚本,开始执行安装
6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的
是给指定的用户目录路径下解压安装框架



一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的
机器上,进行格式化,然后启动hadoop集群即可。


解压后的文件如下:



脚本在最后会打包上传,关于各个安装包,就不上传了,上传的大小有限制,大家可以自己下载对应的版本。




  • 大小: 268.7 KB
1
1
分享到:
评论

相关推荐

    RHadoop安装配置(基于HADOOP2.2)

    标题 "RHadoop安装配置(基于HADOOP2.2)" 涉及的是将R语言与Apache Hadoop框架集成的RHadoop项目,这是一项在大数据处理领域中的重要技术。RHadoop允许用户利用R的强大统计分析功能处理存储在Hadoop分布式文件系统...

    hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结

    ### hadoop2.2、hbase0.96与hive0.12的安装整合及高可靠部署 #### 一、Hadoop2.2的安装与配置 **1.1 安装前准备** - **操作系统环境**: Linux系统(推荐CentOS 6.x) - **JDK安装**: Hadoop依赖于JDK运行,需先...

    hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2.2需要的winutils.exe)

    这些工具和库不仅服务于HDFS和MapReduce,还为其他Hadoop生态系统中的项目如HBase、Hive等提供支持。 在解压后的“hadoop-common-2.2.0-bin-master”文件夹中,你可以找到各种配置文件、脚本和可执行程序。例如: ...

    Hadoop生态系统概览

    它是Hadoop生态系统中的一个重要组件,尤其适合于需要快速读写的场景。 ##### 3.3 Hive Hive是一个数据仓库工具,用于对Hadoop中的数据进行查询和分析。它提供的SQL-like的查询语言HiveQL,允许用户以类似SQL的...

    英特尔Hadoop发行版 2.2 开发者指南

    通过上述对英特尔Hadoop发行版2.2开发者指南的详细解析,我们可以看到该指南不仅覆盖了Hadoop及其生态系统的各个层面,而且还提供了丰富的示例代码和详细的使用说明。这对于希望深入了解并充分利用Hadoop进行大数据...

    基于hadoop生态系统的气象数据可视化平台论文.docx

    根据给定文件的信息,本文将围绕“基于Hadoop生态系统的气象数据可视化平台”这一主题进行深入探讨,并结合部分提及的“基于Python的小红书服饰分析系统”案例进行扩展解析,以此来提炼出与Hadoop生态系统及气象数据...

    hadoop源码的第三方jar包

    在开发和研究Hadoop项目时,常常需要对源代码进行深入理解与定制。在这个过程中,引入第三方库是非常常见的,因为Hadoop自身虽然强大,但并...同时,理解和掌握这些库的用途,对于深入学习Hadoop及其生态系统至关重要。

    Hadoop1.XX安装部署

    经过多年发展,Hadoop 形成了一个丰富的生态系统,其中包括多个关键组件: - **HDFS (Hadoop Distributed File System)**:这是 Hadoop 生态圈的基础组成部分,提供了一种分布式的数据存储机制。HDFS 能够将数据...

    spring data hadoop reference

    此框架旨在简化在 Hadoop 生态系统中的开发工作,提供了一种更加面向 Spring 的方式来处理 MapReduce 任务、HDFS 文件系统操作以及与 HBase 和 Hive 等数据存储系统的集成。 #### 二、Spring 和 Hadoop ##### 2.1 ...

    oozie最简单的安装说明+ExtJS-2.2包【亲测100%成功】

    Oozie是Apache Hadoop生态系统中的一个工作流调度系统,用于管理Hadoop作业。它能够协调各种Hadoop相关的任务,如MapReduce、Pig、Hive、Sqoop等,并且可以与非Hadoop作业(如Java程序或shell脚本)集成。Oozie提供...

    Hadoop权威指南 第二版(中文版)

     Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce  一个气象数据集  数据的格式  使用Unix工具进行数据分析  使用Hadoop分析数据  map阶段和reduce阶段  横向扩展  合并函数  运行一个分布式的MapReduce...

    EXT-2.2.zip Oozie的web界面安装所需要的包

    在Hadoop生态系统中,Oozie可以帮助用户协调和调度MapReduce、Pig、Hive、Sqoop等任务,提供了一种集中管理和监控工作流的方式。 描述中的"参考安装链接:http://blog.csdn.net/jethai/article/details/52345065"...

    Hadoop权威指南(中文版)2015上传.rar

    Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用Unix工具进行数据分析 使用Hadoop分析数据 map阶段和reduce阶段 横向扩展 合并函数 运行一个分布式的MapReduce作业 Hadoop的...

    hadoop&spark安装、环境配置、使用教程.docx

    - **生态系统**: Hadoop生态系统更为成熟,拥有众多相关工具和项目(如Hive、Pig等);而Spark则更多集中在高级数据处理和机器学习领域。 #### 四、安装与配置指南 ##### 4.1 Hadoop安装和配置 - **步骤1**: 下载和...

    apache-maven-3.2.1-bin.tar.gz

    Apache Maven 是一个强大的项目管理工具,广泛用于Java应用程序的构建、管理和依赖管理。在Java开发领域,Maven已经成为事实上...同时,Maven的广泛社区支持和丰富的插件生态系统使得它成为Java开发不可或缺的一部分。

    Oozie ext-2.2.zip

    Apache Oozie是一个工作流调度系统,用于管理和协调Hadoop生态系统中的作业,如MapReduce、Pig、Hive、Sqoop等。在Hadoop环境中,Oozie扮演着至关重要的角色,它使得用户可以定义复杂的作业流程,并通过一个统一的...

    Hadoop 权威指南(中文前三章)

    - **生态系统**: Hadoop不仅仅是一个单一的工具,而是一个包含众多组件的生态系统,如HDFS、MapReduce、YARN等。 #### 二、MapReduce简介 **2.1 一个气象数据集** - **案例介绍**: 介绍了如何使用MapReduce来处理...

Global site tag (gtag.js) - Google Analytics