`
wbj0110
  • 浏览: 1602523 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

通过Cloudera Manager安装CDH

    博客分类:
  • CDH
CDH 
阅读更多

1 方法一

你可以从https://ccp.cloudera.com/display/SUPPORT/Downloads下载cloudera-manager-installer.bin,然后修改执行权限并执行该脚本。

该脚本中配置的rhel6的yum源为:http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/,下载的过程必须连网并且rpm的过程会非常慢,这种方法对虚拟机或者是无法连网的内网机器来说根本无法使用。

因为知道所有的rpm都在上面网址可以下载到,故你可以手动下载这些rpm然后手动安装,详细过程请参考:通过cloudera-manager来安装hadoop

2 方法二

这里还有一种方法,就是手动下载Cloudera Manager的yum tar包,在虚拟机中搭建一个本地yum源,然后修改hosts文件,使archive.cloudera.com域名映射到本地ip。

3 方法三

出于好奇,想破解cloudera-manager-installer.bin,然后看看其中做了哪些操作。通过以下脚本即可解压该文件:

[june@june-fedora cdh]$ mv cloudera-manager-installer.bin cloudera-manager-installer.zip
[june@june-fedora cdh]$ unzip cloudera-manager-installer.zip 

解压之后的目录如下:

[june@june-fedora cloudera-manager-installer]$ ll
总用量 512
-rwxrwxr-x. 1 june june 501698 5月  25 09:53 cloudera-manager-installer.zip
drwxr-xr-x. 2 june june   4096 5月  23 03:05 data
drwxr-xr-x. 2 june june   4096 5月  22 21:48 guis
drwxr-xr-x. 2 june june   4096 5月  22 21:48 meta
drwxr-xr-x. 2 june june   4096 5月  22 21:48 scripts

查看解压之后的文件可以看到安装脚本是用lua编写并用MojoSetup编译的,从scripts/config.lua脚本中大概可以看出安装脚本的执行过程。

整理下该脚本逻辑,主要是做了以下操作:

yum install -y jdk.x86_64 
yum install -y cloudera-manager-server 
yum install -y cloudera-manager-server-db
/etc/init.d/cloudera-scm-server start
/etc/init.d/cloudera-scm-server-db start

知道了上面这点之后,就可以在本地的cloudera-manager yum中,执行以上操作完成cloudera-manager的安装,安装成功之后查看7180端口是否打开:

netstat -na| grep 7180

通过浏览器访问http://IP:7180登录cloudera manager界面:用户名/密码:admin/admin,按照界面提示完成hadoop集群安装。

4 排错

在执行下面一个命令时候可能会出现如下异常

/etc/init.d/cloudera-scm-server-db start

异常信息如下:

    [root@cdh1 cloudera-scm-server-db]# /etc/init.d/cloudera-scm-server-db start
    属于此数据库系统的文件宿主为用户 "cloudera-scm".
    此用户也必须为服务器进程的宿主.
    数据库簇将带有 locale en_US.UTF8 初始化.
    缺省的文本搜索配置将会被设置到"english"

    修复已存在目录 /var/lib/cloudera-scm-server-db/data 的权限 ... initdb: 无法改变目录 "/var/lib/cloudera-scm-server-db/data" 的权限: 权限不够
    Could not initialize database server.
      This usually means that your PostgreSQL installation failed or isn't working properly.
      PostgreSQL is installed using the set of repositories found on this machine. Please
      ensure that PostgreSQL can be installed. Please also uninstall any other instances of
      PostgreSQL and then try again., giving up

这时候,请执行如下命令:

    su -s /bin/bash cloudera-scm -c "touch /var/log/cloudera-scm-server/db.log; /usr/share/cmf/bin/initialize_embedded_db.sh /var/lib/cloudera-scm-server-db/data /var/log/cloudera-scm-server/db.log"
    su -s /bin/bash cloudera-scm -c "pg_ctl start -w -D /var/lib/cloudera-scm-server-db/data -l /var/log/cloudera-scm-server/db.log"
分享到:
评论

相关推荐

    cloudera manager 安装cdh 搭建大数据集群,详细讲解核心

    Cloudera Manager 安装 CDH 搭建大数据集群核心知识点 一、Cloudera Manager 安装方法 Cloudera Manager 安装 CDH 集群有多种方法,主要分为 Server 端和 Agent 端安装。 1. Server 端安装: * 使用 yum 安装 cm...

    ClouderaManager_CDH升级手册

    1. 本手册仅适用于 Cloudera Manager...5. 如果需要安装的 CDH 版本高于 CM 版本,则建议先升级 Cloudera Manager,然后在升级 CDH 6. 用较老版本的 Cloudera Manager 安装新版的 CDH 也可以,但不提供自动的升级方案;

    Centos 7 离线安装Cloudera Manager6 和CDH6.3.1.docx

    CentOS 7 离线安装 Cloudera Manager 6 和 CDH 6.3.1 本文将指导您在 CentOS 7 环境中离线安装 Cloudera Manager 6 和 CDH 6.3.1。整个安装过程可以分为多个步骤,包括环境准备、系统配置、Java 环境配置、SSH 无...

    CLOUDERA-Manager_中文手册(全 高清)+ CDH安装手册.pdf

    * 集群安装:Cloudera Manager提供了自动化的集群安装功能,能够快速部署Hadoop集群。 * 集群配置:Cloudera Manager提供了灵活的集群配置功能,能够满足不同用户的需求。 * 权限管理:Cloudera Manager提供了完善的...

    Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程

    name=ClouderaManager, Version 5.12.1 baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.12.1/ gpgkey=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck=1 `...

    Cloudera Manager安装部署

    Cloudera Manager安装部署.pdf

    大数据部署离线安装CDH操作指南(环境准备+Cloudera manager安装+CDH部署)

    ### 大数据部署离线安装CDH操作指南 #### 环境准备 ...通过以上步骤,可以有效地搭建一个基于CDH的大数据平台,并通过Cloudera Manager进行集中管理和监控。这对于企业级的大数据分析项目来说至关重要。

    cdh7.5 cloudera manager 安装全套软件和视频推荐

    2. **软件安装**:首先安装Cloudera Manager Server 和 Agent,然后通过Cloudera Manager界面安装CDH软件包。 3. **网络配置**:合理规划网络架构,确保各节点之间能够顺畅通信。 4. **安全配置**:启用SSL/TLS...

    ubuntu完全分布式搭建CDH集群(Cloudera Manager)

    通过上述步骤, 我们可以成功地在 Ubuntu 14.04.3 上搭建出一个由 Cloudera Manager 管理的 CDH 完全分布式集群。整个过程中需要注意的是, 每个步骤都需要仔细操作, 确保每个环节的设置正确无误, 从而避免后续运行...

    Cloudera-Manager3安装步骤

    以上步骤是安装Cloudera Manager 3和CDH3的基础流程,实际操作中可能还需要根据网络环境、安全策略和具体需求进行适当的调整。在后续的使用中,Cloudera Manager允许管理员轻松地扩展集群,管理数据流动,优化资源...

    Cloudera Manager6.2.1及CDH最新版本安装全程记录

    Cloudera Manager6.2.1

    CLOUDERA-Manager-中文手册

    Cloudera Manager是CDH(Cloudera Distribution Including Apache Hadoop)的重要组成部分,CDH是一个全面的数据管理平台,集成了各种Hadoop组件,如HDFS、MapReduce、HBase等。作为市场领先的管理平台,Cloudera ...

    ClouderaManager-中文手册-实战总结.pdf

    Cloudera Manager是CDH市场领先的管理平台,作为业界第一的端到端Apache Hadoop的管理应用,Cloudera Manager对CDH的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过Cloudera Manager,运维...

    CLOUDERA-Manager_中文手册(全)

    文档中提到的CDH安装手册是Cloudera Distribution for Hadoop(CDH)的安装指南。CDH是Cloudera提供的一个Hadoop发行版,它包含了一系列用于搭建Hadoop集群的工具和库。 ### Cloudera Manager安装与配置 文档将详细...

    Cloudera Manager API v14 中文

    ### Cloudera Manager API v14 关键知识点 #### 一、概述 Cloudera Manager API v14 是用于管理 Cloudera Data Platform (CDP) 和其他 Cloudera 产品的强大工具。它允许管理员通过 API 调用来监控、管理和配置集群...

    Cloudera Manager 6.3.1 (文件1)

    cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-server-db-2-6.3.1-...

    ClouderaManager运维_中文手册

    Cloudera Manager的设计理念是使得对Hadoop集群的操作简单直观,它通过自动化安装过程、提供实时运行状况视图、集中的配置平台以及优化性能的诊断工具,极大提升了运维效率,降低了管理成本,并确保了企业部署Hadoop...

    Cloudera CM6.3.1 CDH6.3.2 完整版+离线安装教程.txt

    Cloudera CM6.3.1 CDH6.3.2 完整版+离线安装教程

    cloudera manager安装

    通过以上步骤,可以确保 Cloudera Manager 的成功安装和配置。在整个过程中需要注意细节,以确保所有步骤都按照要求正确执行。这不仅有助于避免安装过程中可能遇到的问题,还能提高集群的整体稳定性和性能。

Global site tag (gtag.js) - Google Analytics