`

获取hadoop集群信息

 
阅读更多

 

hadoop的restful接口

获取hadoop的overview
获取所有namenode信息
curl -X GET http://datacube154:50070/jmx?qry=Hadoop:service=NameNode,name=*

获取NameNodeInfo信息
curl -X GET http://datacube154:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeInfo

获取FSNamesystemState信息
curl -X GET http://datacube154:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState

 

获取hadoop的utilities->browse the file system
获取根目录信息
curl -X GET http://datacube154:50070/webhdfs/v1/user?op=LISTSTATUS

获取指定目录的信息
curl -X GET http://datacube154:50070/webhdfs/v1/user/cstor?op=LISTSTATUS

 

 ambari的restful

ambari获取hadoop集群信息
curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://datacube152:8080/api/v1/clusters/cstor_test/services/HDFS/components/DATANODE?fields=metrics/dfs/datanode/DfsUsed,metrics/dfs/datanode/Capacity&_=1463455036000

curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://datacube152:8080/api/v1/clusters/cstor_test/services/HDFS/components/DATANODE?fields=metrics/dfs/datanode

curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://datacube152:8080/api/v1/clusters/cstor_test/services/HDFS/components/NAMENODE?fields=metrics/dfs/namenode

curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://datacube152:8080/api/v1/clusters/cstor_test/services/HDFS/components/NAMENODE?fields=metrics/dfs/namenode/LiveNodes

 

连接:

ambari Metrics;

ambari in github;

hadoop官网;

 

 

分享到:
评论

相关推荐

    部署全分布模式Hadoop集群 实验报告

    部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...

    Linuxhadoop集群安装

    在IT领域,Linux Hadoop集群安装是一个复杂但至关重要的任务,尤其对于大数据处理和分析的组织来说。Hadoop是Apache软件基金会开发的一个开源框架,它允许分布式存储和处理大规模数据集。下面,我们将深入探讨Hadoop...

    hadoop集群安装手册

    ZooKeeper是Hadoop集群中的协调服务,用于管理和维护配置信息。下载ZooKeeper源码,编译安装,并配置相应的`zoo.cfg`文件。 ### 安装Hadoop 下载Hadoop源码,解压后进行编译安装。配置`core-site.xml`、`hdfs-site...

    Hadoop集群高可用与性能优化

    本篇文章将深入探讨Hadoop集群的高可用性和性能优化策略,帮助你构建更加稳定、高效的Hadoop环境。 一、Hadoop高可用性 1. **NameNode HA**: Hadoop集群中的NameNode是元数据管理的关键节点,其高可用性至关重要。...

    Hadoop集群搭建详细简明教程

    ### Hadoop集群搭建知识点详解 #### 一、Hadoop集群简介 Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。它由Apache基金会维护,主要包括HDFS...希望这些信息能帮助您顺利完成Hadoop集群的搭建。

    hadoop集群

    本篇文章将详细介绍如何搭建一个Hadoop集群环境,为初学者提供指导。 首先,我们需要了解Hadoop的核心组件。Hadoop主要由两个核心部分组成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是分布式文件...

    Ambari部署Hadoop集群.doc

    Ambari是Apache开源项目,由Hortonworks公司贡献,专为简化Hadoop集群的部署、管理和监控而设计。在大数据领域,Hadoop生态圈包含了众多组件,如HDFS(分布式文件系统)、MapReduce(分布式计算框架)、HBase(NoSQL...

    vmware虚拟机下hadoop集群安装过程

    资源名称:vmware虚拟机下hadoop集群安装过程内容简介: Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来...

    基于多元线性回归模型的Hadoop集群节点性能计算方法.pdf

    "基于多元线性回归模型的Hadoop集群节点性能计算方法" 本文档介绍了一种基于多元线性回归模型的Hadoop集群节点性能计算方法,该方法可以对Hadoop集群节点的性能进行准确的评估和优化。 什么是Hadoop集群节点性能...

    Hadoop集群作业的调度算法

    ### Hadoop集群作业的调度算法详解 #### 一、引言 随着大数据技术的发展,Hadoop作为一款开源的大数据处理框架,在数据存储和处理方面扮演着至关重要的角色。Hadoop的核心组件之一是MapReduce,这是一种分布式计算...

    Hadoop集群搭建超详细步骤及注意点

    ### Hadoop集群搭建详解 Hadoop作为大数据处理领域的重要工具之一,其集群的搭建对于企业级数据处理至关重要。本文将详细介绍Hadoop集群的搭建步骤及其注意事项,帮助读者顺利完成Hadoop集群的部署。 #### 一、...

    一种数据挖掘算法在Hadoop集群上的研究与实现.pdf

    本文提出了一种数据挖掘算法——基于物品的协同过滤算法,并将其在Hadoop集群上进行实现和研究。 首先,协同过滤算法是推荐系统中常用的技术,分为基于用户的协同过滤和基于物品的协同过滤。在用户数量远大于物品...

    web平台调用hadoop集群2.0

    在现代大数据处理场景中,Web平台与Hadoop集群的集成是常见的需求,特别是在数据分析和机器学习项目中。本文将深入探讨“web平台调用Hadoop集群2.0”这一主题,旨在提供一个全面的视角来理解如何在Web应用中有效地...

    Hadoop集群搭建共10页.pdf.zip

    【标题】"Hadoop集群搭建共10页.pdf.zip" 提供的是关于Hadoop集群建设的详细教程,可能涵盖了从规划、配置到实际操作的全过程。Hadoop是Apache基金会的一个开源分布式计算框架,广泛应用于大数据处理领域。它通过...

    Hadoop集群的配置

    在本文中,我们将深入探讨如何配置一个基于Hadoop v1.0的集群,这是一个关键的分布式计算...记住,配置Hadoop集群是一个复杂的过程,需要细心和耐心,但一旦成功,你将拥有一个强大的工具来处理大规模的数据处理任务。

    hadoop集群部署手册

    - 登录Master节点并通过控制台获取其网络信息。 - 使用Xshell远程登录Master节点。 - 修改Master节点的网卡配置文件`/etc/sysconfig/network-scripts/ifcfg-eth0`。 - 修改Master节点的网关配置文件`/etc/...

    细细品味Hadoop_Hadoop集群(第12期)_HBase应用开发.pdf

    从给定的文件信息中,我们可以提炼出关于Hadoop集群中HBase应用开发的重要知识点,以下是对这些知识点的详细解析: ### HBase Shell 操作详解 HBase是Hadoop生态系统中一个重要的分布式数据库,用于存储大规模结构...

    深入理解 Hadoop 集群和网络

    ### 深入理解Hadoop集群与网络架构 #### Hadoop集群基础原理 Hadoop作为一个分布式计算框架,其设计初衷是为了高效地处理大规模数据集。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。...

    hadoop集群虚拟机安装详解

    在搭建Hadoop集群的过程中,首先需要一个可靠的虚拟化平台,VMware Workstation 8.0.0 是一个常用的选择。这个版本支持创建和管理虚拟机,对于初学者来说,它提供了一个理想的环境来实践Hadoop集群的安装和配置。在...

Global site tag (gtag.js) - Google Analytics