`
heipark
  • 浏览: 2094741 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Cloudera Manager的Hadoop配置文件管理

阅读更多

本文基于Cloudera Manager 4.8,以下简称CM

 

    初次使用CM有个困惑: 修改/etc/hadoop/conf目录下配置不会使service instance(如NN、DN、TT、JT等)生效

    CM中service instance的配置文件分为服务端和客户端。

  •     服务端文件:/var/run/cloudera-scm-agent/process/
  •     客户端文件:/etc/hadoop/conf,只包含简单客户端配置如NN、JT地址等

    service instance是通过agent启动,它的配置文件路径是动态生成并指定的,如某个JT的配置路径可能为:/var/run/cloudera-scm-agent/process/273-mapreduce-JOBTRACKER。

    那如果要使用客户端hadoop命令怎么办呢?

    这就需要部署客户端配置(CM界面有),它会把配置下载到/etc/hadoop/conf/下(实际是通过update-alternatives命令实现),如果当前机器有HDFS服务,则会下载HDFS相关配置文件到/etc/hadoop/conf/(如core-site.xml和hdfs-site.xml),如果是mapred服务则会下载mapred-site.xml等相关文件。如果希望某台服务器不提供hadoop服务也可以通过hadoop命令管理集群,则需要为它添加"GateWay"角色,然后下发客户端配置。

 

--end

 

分享到:
评论
3 楼 di1984HIT 2014-06-20  
用cm的话,怎么自己修改内存配置,我找了半天也不生效啊。
2 楼 linghai322322 2014-05-28  
以及它会什么时候把配置下载到/etc/hadoop/conf/下~~~~现在我把一台主机目录下的/etc/hbase/conf/下的文件删了,却始终看不到同步过来的文件
1 楼 linghai322322 2014-05-28  
你好,我想问下如何去部署客户端配置(你说CM界面有,具体是指)

相关推荐

    Cloudera Hadoop 安装指南

    根据给定的文件信息,以下是对Cloudera Hadoop安装指南中的关键知识点的详细解析。 ### 关于Cloudera Hadoop安装指南 Cloudera Hadoop安装指南是为那些希望在自己的环境中部署并运行Cloudera Hadoop软件的用户提供...

    java调用Cloudera Manager Api实例

    Cloudera Manager是管理Hadoop和其他Cloudera支持的数据处理服务的流行平台。下面将详细阐述如何在Java环境中设置和执行API调用。 首先,理解Cloudera Manager API的基础知识至关重要。API(应用程序编程接口)是一...

    cloudera manager的运行机制及目录

    Cloudera Manager是Cloudera公司提供的一套用于管理Apache Hadoop集群的软件,它简化了Hadoop集群的安装、部署和运维工作。Cloudera Manager使用C/S结构,包含一个Server端和若干Agent端。Server端负责集群的管理、...

    CLOUDERA-Manager_中文手册(全)

    Cloudera Manager是Cloudera公司开发的一款用于简化Apache Hadoop集群管理的工具,它提供了集群监控、软件部署、集群配置管理、服务管理以及诊断分析等功能。 ### Cloudera Manager版本信息 文档提到了Cloudera ...

    Cloudera Manager API v14 中文

    Cloudera Manager API v14 提供了一系列强大的接口,使得管理员能够高效地管理 Hadoop 集群和其他相关服务。通过这些 API,可以实现自动化配置、审计追踪、集群维护等多种高级管理任务。此外,API 还支持对集群进行...

    Cloudera-Manager3安装步骤

    5. **配置Cloudera Manager Agents**:在所有将要运行Cloudera Manager Agent的节点上,需要编辑配置文件`/opt/cloudera-manager/cm-<version>/etc/cloudera-scm-agent/config.ini`来配置Agent的行为。 6. **配置...

    foursquare-datasource-plugin-clouderamanager-v0.9.2-0-g9ac3d25.zip

    当这两者结合,通过“foursquare-datasource-plugin-clouderamanager-v0.9.2-0-g9ac3d25.zip”这款插件,我们可以实现更加高效便捷的CDH集群监控。 该插件的全名是foursquare-datasource-plugin-clouderamanager,...

    Cloudera-Manager(中文手册).zip

    Cloudera Manager是一款强大的开源工具,专门用于管理和监控CDH(Cloudera Distribution Including Apache Hadoop)环境。CDH是Cloudera公司提供的一个全面、兼容Apache Hadoop的开源大数据平台,包含了Hadoop生态...

    cloudera manager安装

    Cloudera Manager (CM) 是一款用于部署、管理 Hadoop 的工具,提供了直观的 Web 用户界面来帮助用户轻松地进行集群的管理和监控。在安装 CM 之前,需要对系统环境进行一系列的准备。 ##### 1.1 系统yum源配置 为了...

    cloudera-manager-5.16.1.zip

    Cloudera Manager是基于Web界面的全面管理平台,它允许用户轻松监控、配置、更新和优化Hadoop及其相关服务,如HDFS、YARN、HBase、Hive等。CM提供了丰富的功能,包括资源分配、性能监控、安全设置、备份恢复以及自动...

    CLOUDERA-Manager_中文手册.pdf

    Cloudera Manager是Cloudera公司开发的用于管理和监控CDH(Cloudera's Distribution Including Apache Hadoop)平台的工具。它为Hadoop集群的安装、配置和日常运维提供了一个统一的界面。Cloudera Manager支持自动化...

    linux安装Cloudera manager1

    Cloudera Manager是一款强大的管理工具,专为简化Apache Hadoop及其相关组件的部署、配置和监控而设计。在Linux环境中安装Cloudera Manager可以帮助用户更有效地管理Hadoop集群,确保高效的数据处理和分析。本文将...

    cdh7.5 cloudera manager 安装全套软件和视频推荐

    - **cloudera-manager.repo**:这是一个Yum仓库配置文件,用于配置Cloudera Manager Server 和 Agent 的软件源。 - **RPM-GPG-KEY-cloudera**:这是Cloudera的公钥文件,用于验证软件包签名的真实性,确保软件的安全...

    cloudera-manager-5.14.0.rar

    Cloudera Manager是CDH的核心组成部分,它提供了中央控制台,允许管理员轻松地配置、监控和管理整个Hadoop集群。以下是一些主要功能和知识点: 1. **安装与配置**:Cloudera Manager通过自动化流程简化了CDH组件的...

    Cloudera Manager6.3.2 详细安装教程

    Cloudera Manager是一款强大的集群管理工具,专为自动化安装、集中式管理和监控Hadoop集群而设计,同时具备报警功能,极大地提升了集群管理的效率并降低了运维成本。在Cloudera Manager 6.3.2版本中,用户可以免费...

    Cloudera Manager 和 CHD5.3.3 集群 离线安装

    Cloudera Manager是Cloudera公司提供的用于部署、管理和监控Apache Hadoop集群的软件平台。CDH是Cloudera Distribution包括Hadoop的简称,是Cloudera提供的Hadoop生态系统产品的集合。 知识点一:安装前的准备工作 ...

Global site tag (gtag.js) - Google Analytics