`
wbj0110
  • 浏览: 1598326 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

离线安装cloudera manager server和hadoop集群

    博客分类:
  • CDH
CDH 
阅读更多

目的:

cloudera manager server安装hadoop集群的服务大大简化了安装过程,即使不懂linux的人之需要鼠标点一点就可以安装和管理,但是cloudera manager server所有的安装过程都是在线的,如果某地网速过慢或者无法联网,就需要离线来安装cloudera manager server。下面我来介绍一下我安装的步骤

 

 

环境:

ubuntu 12.04 64位系统(其他系统安装原理也是类似的)

 

 

大概思路:

看cloudera manager server的安装过程的提示可以看出,cm是把它官网的源加入到本地,然后执行apt-get install来安装,所以很容易的想到把官网上的源下下来,然后在局域网建立一个源,笔者也是这么做的。

 

 

具体步骤:

1,下载官网上的源,笔者使用wget这个工具,具体命令如下:

wget -mc http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh/

wget -mc http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm/

大家仔细分析下这两个源就知道这是什么了

 

2,下载好的源建立服务器

笔者使用nginx服务器,觉得配置和使用都很简单,网上有很多教程,大家可以搜搜

我是参考这个博客http://www.cnblogs.com/zhangzhang/archive/2012/06/11/2544621.html来配置

还有一点说明就是如果访问服务器是403 forbid的话把nginx的配置文件的用户和用户组都改成root

假设建立好了源 比如源建在192.168.1.2这个机子 只需要在每台机子的/etc/apt/sources.list里面加入:

deb [arch=amd64] http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib

deb-src http://ip/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib

然后apt-get update一下 就会发现用apt-get install hadoop什么都存在了

 

3,离线安装cloudera manage server

在上一篇博客里面已经介绍了cm在线的安装办法,按道理说现在也这样安装就没有问题,因为源都在本地了。但是经过查看日志文件知道,cm安装过程中还要从其他网址下载东西比如mysql和postsql,ssh等,这些都需要我们下好,然后手动安装(当然,你可以把这些下好,然后加入到源里面,就可以安装,但是笔者对于源不是很熟悉,希望这样成功的人能留言告知下具体做法)。

在执行 cloudera-manager-installer.bin需要先安装这些

4,离线安装hadoop集群

需要安装hadoop服务的机子需要安装如下:

ntp

 

mysql

还有ssh

(以上的这些文件都是笔者在线安装时,得到的文件,这些文件保存在/var/cathe/apt/archives文件夹里面)

 

注意问题:

1,如果只有一台机子测试时,需要修改/etc/hosts,把本机ip和主机名加入即可

2,有时候firefox显示会有问题,可以改用chrome即可

分享到:
评论

相关推荐

    Cloudera Manager 和 CHD5.3.3 集群 离线安装

    Cloudera Manager是Cloudera公司提供的用于部署、管理和监控Apache Hadoop集群的软件平台。CDH是Cloudera Distribution包括Hadoop的简称,是Cloudera提供的Hadoop生态系统产品的集合。 知识点一:安装前的准备工作 ...

    Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf

    2. **安装Cloudera Manager Server**:在tehdmonitor节点上安装Cloudera Manager Server。 3. **添加Repository**:配置Cloudera Manager以使用CDH 5.4.8的仓库。 4. **部署Hadoop组件**:通过Cloudera Manager界面...

    CLOUDERA-Manager_中文手册(全 高清)+ CDH安装手册.pdf

    * 集群安装:Cloudera Manager提供了自动化的集群安装功能,能够快速部署Hadoop集群。 * 集群配置:Cloudera Manager提供了灵活的集群配置功能,能够满足不同用户的需求。 * 权限管理:Cloudera Manager提供了完善的...

    离线安装HADOOP环境

    本教程使用Cloudera Manager(CM)来进行Hadoop集群的管理和部署。CM不仅可以简化部署过程,还能提供实时监控和管理服务。将下载的CDH、CM、Impala等上传到HTTP服务器,并创建rpm包的系统校验文件`repodata`文件夹。...

    ClouderaManager离线扩容.doc

    离线扩容是大数据环境中一种常见的操作,特别是在使用Cloudera Manager管理Hadoop集群时,由于网络限制或安全策略,可能需要在不连接到互联网的情况下进行节点的增加。Cloudera Manager是一个强大的工具,用于部署、...

    Cloudera Hadoop 安装指南

    通过遵循指南中的步骤,用户不仅能够顺利完成Cloudera Manager的安装,还能够根据自身需求灵活配置各种服务和组件,从而构建出一个高效、稳定的Hadoop集群。同时,Cloudera Manager作为一款优秀的管理工具,极大地...

    linux安装Cloudera manager1

    在Linux环境中安装Cloudera Manager可以帮助用户更有效地管理Hadoop集群,确保高效的数据处理和分析。本文将详细介绍在Linux环境下离线安装Cloudera Manager 5和CDH5的步骤。 **1. 相关软件准备** 首先,你需要...

    CLOUDERA-Manager-中文手册

    - **集群安装**:Cloudera Manager简化了Hadoop集群的部署过程,使得运维人员可以快速、高效地设置和配置新集群,包括安装和升级各个组件,如Hadoop、Hive、Spark等。 - **集群配置**:对于已部署的集群,Cloudera...

    妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx

    妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx 该文档与教程http://blog.csdn.net/u012185296/article/details/38084107 配套使用的,主要讲的是妳那伊抹微笑_云计算之Cloudera...

    大数据集群Cloudera Manager日常运维手册.docx

    大数据集群Cloudera Manager是大数据处理和分析的核心组件之一,它提供了一个统一的管理平台,用于管理和维护大数据集群。Cloudera Manager日常运维手册是大数据集群管理员的必备指南,它提供了详细的操作指南和维护...

    cdh7.5 cloudera manager 安装全套软件和视频推荐

    3. **cloudera-manager-server-7.2.4-7594142.el7.x86_64.rpm**:这是Cloudera Manager Server的核心组件,它负责整个集群的管理,包括安装、配置和监控等任务。 4. **cloudera-manager-server-db-2-7.2.4-7594142....

    java调用Cloudera Manager Api实例

    Cloudera Manager是管理Hadoop和其他Cloudera支持的数据处理服务的流行平台。下面将详细阐述如何在Java环境中设置和执行API调用。 首先,理解Cloudera Manager API的基础知识至关重要。API(应用程序编程接口)是一...

    CLOUDERA-Manager_中文手册(全)

    Cloudera Manager提供了一套API,使得开发者可以通过编程的方式来管理和配置Hadoop集群。API通常包括创建集群、添加节点、更新配置等接口。 ### Cloudera Manager的SNMP 简单网络管理协议(SNMP)是一个广泛使用的...

    cloudera manager的运行机制及目录

    Cloudera Manager是Cloudera公司提供的一套用于管理Apache Hadoop集群的软件,它简化了Hadoop集群的安装、部署和运维工作。Cloudera Manager使用C/S结构,包含一个Server端和若干Agent端。Server端负责集群的管理、...

    Cloudera-Manager3安装步骤

    8. **启动Cloudera Manager Server和Agents**:最后一步是启动Cloudera Manager Server和在所有节点上启动Agent,这样就可以通过Web界面管理和监控集群了。 9. **配置和部署CDH3**:在Cloudera Manager界面中,可以...

    SUSE12 全离线clouder Manager安装

    这个离线安装方法适用于没有互联网连接或需要在隔离环境中部署Hadoop和Cloudera Manager的场景。请根据实际环境调整上述步骤,确保所有软件包和配置文件与您的系统兼容。 请注意,虽然本文档是针对SUSE 12 SP3的,...

    Ubuntu14.04在线安装Cloudera Manager集群部署

    ### Ubuntu14.04在线安装Cloudera Manager集群部署 #### 一、环境准备与基础知识 在开始之前,我们先来...此外,还需根据实际需求配置Hadoop集群、安装HDFS、YARN、MapReduce等组件,并进行相应的服务监控与管理。

    cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.zip

    2-6.0.1-610811.el7.x86_64.zip"这个压缩包中,我们可以看到"cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm"文件,这是一个针对Red Hat Enterprise Linux 7(x86_64架构)的RPM软件包,用于安装和管理...

Global site tag (gtag.js) - Google Analytics