`
weitao1026
  • 浏览: 1048952 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

搭建一套hadoop的运行环境

阅读更多

搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于linux基础的工作需要做,包括SSH无密码登陆和批量用户创建,不过,别担心,散仙已经写好了,大家直接用就OK, 需要的朋友,请点击此处
如果ssh认证搞定和hadoop的用户创建完毕后,我们就可以,执行散仙的脚本进行安装了

说明如下:


Java代码 复制代码 收藏代码
  1. 脚本开发者:三劫散仙  
  2. 技术交流群:376932160  
  3.   
  4. 本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作,  
  5. 在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。  
  6.   
  7.   
  8. 本hadoopsys的安装包,带了如下几种开源框架  
  9.   
  10. 1,Ant1.9.4  
  11. 2,Maven3.0.5  
  12. 3,JDK1.7u25  
  13. 4,Hadoop2.2.0  
  14. 5,Hbase0.96.2  
  15. 6,Zookeeper3.4.5  
  16. 7,Hive0.13.13  
  17. 全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置  
  18.   
  19. 本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置  
  20. 分别在压缩包内的conf目录,关于Hive,暂时没有安装。  
  21.   
  22.   
  23. 脚本配置说明:  
  24. 1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip  
  25. 2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里  
  26. 3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新  
  27. 打包。  
  28. 4,然后执行pub脚本,进行机器分发压缩包,并解压  
  29. 5,最后执行begin脚本,开始执行安装  
  30. 6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的  
  31. 是给指定的用户目录路径下解压安装框架  
  32.   
  33.   
  34.   
  35. 一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的  
  36. 机器上,进行格式化,然后启动hadoop集群即可。  
脚本开发者:三劫散仙
技术交流群:376932160

本脚本的主要作用: 给hadoop的快速大规模的集群分发安装提供了准备,能够很快的完成部分基础设施工作,
在这上面我们可以直接配置hadoop,hbase等,然后就能快速使用了。


本hadoopsys的安装包,带了如下几种开源框架

1,Ant1.9.4
2,Maven3.0.5
3,JDK1.7u25
4,Hadoop2.2.0
5,Hbase0.96.2
6,Zookeeper3.4.5
7,Hive0.13.13
全是Java有关的框架,主要目的在于安装Hadoop,其他的都是附带的基本配置

本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置
分别在压缩包内的conf目录,关于Hive,暂时没有安装。


脚本配置说明:
1,第一个要配置的是hosts文件,不是系统的hosts文件,而是我们集群安装的集群ip
2,默认的脚本是放在root根目录下,所有的文件压缩包解压到根目录下hadoopsys文件里
3,配置etc,hadoopconf文件,hbaseconf文件,zkconf文件,后,执行repack脚本,进行重新
打包。
4,然后执行pub脚本,进行机器分发压缩包,并解压
5,最后执行begin脚本,开始执行安装
6,注意一点,在etc/java.sh和begin.sh里面需要设置一个安装用户变量,目的
是给指定的用户目录路径下解压安装框架



一切完毕之后注意配置hadoop的nd,dd,tmp,hadooptmp,hbasetmp的文件夹,有些需要自己创建,完成之后在主的
机器上,进行格式化,然后启动hadoop集群即可。



解压后的文件如下:



脚本在最后会打包上传,关于各个安装包,就不上传了,上传的大小有限制,大家可以自己下载对应的版本。

分享到:
评论

相关推荐

    利用Spring搭建基于Hadoop的大数据分析.zip

    1. **配置Hadoop环境**:首先,你需要在服务器上安装和配置Hadoop,确保集群的正确运行。这包括设置HDFS的namenode和datanode,以及MapReduce的jobtracker和tasktracker。 2. **集成Spring与Hadoop**:Spring for ...

    hadoopHA搭建资源包

    其次,JDK是Java开发工具包,版本8u192是Java 8的一个更新版,包含了运行Hadoop所需的Java运行环境。在搭建Hadoop HA时,需要确保所有节点都装有相同版本的JDK,`jdk-8u192-linux-x64.tar.gz`便是用于Linux系统的64...

    hadoop云服务器环境搭建

    Hadoop依赖Java运行环境,因此需要在每台服务器上安装JDK。可以通过下载JDK安装包并使用RPM包管理器进行安装。具体步骤如下: - 下载JDK安装包`jdk-8u172-linux-x64.rpm`。 - 执行`rpm –ivh jdk-8u172-linux-x64....

    hadoop环境部署全套组件,下载后直接可用(虚拟机全套)

    本资源提供的是一套完整的Hadoop环境部署,包括了多个关键组件,旨在帮助用户快速搭建一个功能齐全的大数据处理平台。这套虚拟机镜像包含了以下组件: 1. **HDFS (Hadoop Distributed File System)**:Hadoop的核心...

    hadoop2.6,window7 64bit,hadoop.dll

    "hadoop.dll"是Hadoop在Windows下的动态链接库文件,它是Hadoop运行时的关键组件,用于提供Hadoop服务的本地接口。 描述中提到的"hadoop_dll2.6.0_64bithadoop.lib.zip"是Eclipse开发Hadoop应用程序所需的文件集合...

    hadoop虚拟机集群搭建全教程

    Java是Hadoop的运行环境之一。JDK的安装涉及到解压安装包、配置环境变量以及验证安装是否成功。 4. 安装SSH并配置免密码登陆: SSH(Secure Shell)用于远程登录和远程命令执行。免密码登陆是一种便捷的安全配置...

    hadoop-common-2.6.0-bin-master.zip

    Hadoop Common是Hadoop生态系统中的基础组件,包含了Hadoop运行所需的通用工具和服务。在本文中,我们将深入探讨Hadoop Common 2.6.0版本,以及它在构建本地master环境中的重要性。 一、Hadoop Common的核心组件 1...

    伪分布hadoop搭建.docx

    总结来说,这个文档提供了一套详细的步骤,指导用户在Linux虚拟机中搭建伪分布式Hadoop环境,涵盖了从安装虚拟机、Linux系统、JDK,到配置Hadoop以及测试环境是否正常的所有环节。遵循这些步骤,即使是初学者也能...

    hadoop-3.1.0-windows依赖文件.7z

    这个"hadop-3.1.0-windows"压缩包是专为在Windows环境下运行Hadoop设计的,包含了所有必要的依赖文件,使得开发者可以在Windows操作系统上搭建和运行Hadoop集群。 在Windows上部署Hadoop并不像在Linux那样常见,...

    hadoop-common-2.7.6 win

    1. **下载与安装Java**: Hadoop是基于Java开发的,所以首先要确保系统中安装了Java运行环境(JRE)和Java开发工具(JDK),并设置好`JAVA_HOME`环境变量。 2. **解压Hadoop**: 将`hadoop-common-2.7.6`压缩包解压到...

    hadoop-3.3.4 版本(最新版)

    Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台,能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件:分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中...

    基于hadoop的云计算研究报告

    通过上述步骤,我们可以构建一个完整的基于Hadoop的云计算平台,不仅能够理解Hadoop的基本结构和组成部分,还能够实际操作云存储虚拟平台的搭建、Hadoop环境配置及各种运行模式的建立。这一过程对于深入理解和掌握...

    hadoop插件

    标题中的“hadoop插件”可能指的是特定于Windows环境的Hadoop组件或者是一套工具集合,帮助用户在Windows操作系统上顺利运行Hadoop。这些文件名列表中包含的组件如下: 1. **hadoop.dll**:这是一个动态链接库文件...

    hadoop-3.1.0-winutils-master(1).zip

    总的来说,"hadoop-3.1.0-winutils-master(1).zip"提供的是一套适用于Windows的Hadoop工具,它使得在Windows环境中搭建和运行Hadoop集群成为可能。通过理解Hadoop的基本原理、WinUtils的作用以及如何配置和使用这些...

    hadoop2.7.2 +hbase1.2.0

    本资源提供了hadoop2.7.2和hbase1.2.0的集群环境搭建所需的软件,使得用户能够在本地或者云环境中搭建一套完整的Hadoop HDFS(Hadoop Distributed File System)和HBase分布式数据库。 Hadoop是Apache基金会的一个...

    spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

    本项目旨在搭建一套完整的Spark集群环境,包括Hadoop HA(高可用)、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务,能够有效地支持实时数据流...

    Apache hadoop-3.1.0 版本

    Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台,能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件:分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中...

Global site tag (gtag.js) - Google Analytics