对于使用hadoop进行开发的朋友们,可能要自己搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于linux基础的工作需要做,包括SSH无密码登陆和批量用户创建,不过,别担心,散仙已经写好了,大家直接用就OK, 需要的朋友,请点击此处
如果ssh认证搞定和hadoop的用户创建完毕后,我们就可以,执行散仙的脚本进行安装了
说明如下:
- 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作,
- 在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。
- 本hadoopsys的安装包,带了如下几种开源框架
- 1,Ant1.9.4
- 2,Maven3.0.5
- 3,JDK1.7u25
- 4,Hadoop2.2.0
- 5,Hbase0.96.2
- 6,Zookeeper3.4.5
- 7,Hive0.13.13
- 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置
- 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置
- 分别在压缩包内的conf目录,关于Hive,暂时没有安装。
- 脚本配置说明:
- 1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip
- 2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里
- 3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新
- 打包。
- 4,然后执行pub脚本,进行机器分发压缩包,并解压
- 5,最后执行begin脚本,开始执行安装
- 6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的
- 是给指定的用户目录路径下解压安装框架
- 一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的
- 机器上,进行格式化,然后启动hadoop集群即可。
脚本开发者:三劫散仙 技术交流群:376932160 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作, 在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。 本hadoopsys的安装包,带了如下几种开源框架 1,Ant1.9.4 2,Maven3.0.5 3,JDK1.7u25 4,Hadoop2.2.0 5,Hbase0.96.2 6,Zookeeper3.4.5 7,Hive0.13.13 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置 分别在压缩包内的conf目录,关于Hive,暂时没有安装。 脚本配置说明: 1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip 2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里 3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新 打包。 4,然后执行pub脚本,进行机器分发压缩包,并解压 5,最后执行begin脚本,开始执行安装 6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的 是给指定的用户目录路径下解压安装框架 一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的 机器上,进行格式化,然后启动hadoop集群即可。
解压后的文件如下:
脚本在最后会打包上传,关于各个安装包,就不上传了,上传的大小有限制,大家可以自己下载对应的版本。
相关推荐
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...
《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...
### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...
### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...
### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在CentOS 5.5环境下搭建一个包含1个NameNode节点和2个DataNode节点的Hadoop集群,并通过一...
Hadoop安装-保你一次成功
【Hadoop安装教程_伪分布式配置_CentOS6.4】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置,这种...
三、Hadoop安装与部署 1. 环境准备:确保具备多台Linux服务器,安装Java环境,配置SSH无密码登录。 2. 下载Hadoop:从Apache官方网站获取最新稳定版本的Hadoop,解压到服务器。 3. 配置环境变量:在`~/.bashrc`或`~/...
Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...
Hadoop 安装详解 Hadoop 是一种基于 Java 的大数据处理框架,它由 Doug Cutting 和 Mike Cafarella 共同开发,于 2005 年捐献给 Apache 软件基金会。Hadoop 的安装相对较为复杂,需要配置环境变量、core-site.xml、...
hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
二、Hadoop安装 1. 环境准备:确保系统为Linux环境,因为Hadoop通常在Linux服务器上运行。同时,需要安装Java环境,因为Hadoop依赖Java运行。 2. 下载Hadoop:访问Apache官方网站下载最新稳定版的Hadoop二进制包。 3...