`

Hadoop查看作业状态Rest接口

 
阅读更多

 

所有任务

 http://datacube154:8088/ws/v1/cluster/apps

查询正在运行的任务

http://datacube154:8088/ws/v1/cluster/apps?states=RUNNING

根据开始时间和完成时间,任务状态查询任务

http://datacube154:8088/ws/v1/cluster/apps?startedTimeBegin=1464710400000&finishedTimeEnd=1467172800000&state=FAILED

根据jobid获取任务信息

http://datacube154:8088/ws/v1/cluster/apps/application_1466171003454_0063

 

参考链接:

Hadoop查看作业状态Rest接口

MapReduce Application Master REST API’s.

 

分享到:
评论

相关推荐

    Hadoop权威指南 第二版(中文版)

     2.4.2 Avro,REST,以及Thrift  2.5 示例  2.5.1 模式  2.5.2 加载数据  2.5.3 Web查询  2.6 HBase和RDBMS的比较  2.6.1 成功的服务  2.6.2 HBase  2.6.3 实例:HBase在Streamy.com的使用  2.7 Praxis  ...

    Hadoop权威指南(中文版)2015上传.rar

    2.4.2 Avro,REST,以及Thrift 2.5 示例 2.5.1 模式 2.5.2 加载数据 2.5.3 Web查询 2.6 HBase和RDBMS的比较 2.6.1 成功的服务 2.6.2 HBase 2.6.3 实例:HBase在Streamy.com的使用 2.7 Praxis 2.7.1 版本 2.7.2 HDFS ...

    Hadoop Operations

    操作Hadoop集群涉及多种方式,包括命令行工具、文件系统抽象层(FUSE)、以及REST API支持等。这些工具和接口为用户提供了灵活性,使他们能够通过不同方式与Hadoop集群交互。 知识点四:MapReduce的介绍与运行 ...

    Apache Hadoop---Oozie.docx

    1. 它是专门为Hadoop平台设计的,能够有效地管理和调度MapReduce、Pig、Hive、Sqoop等Hadoop作业。 2. Oozie 采用web应用程序的形式,由Oozie Client和Oozie Server两个主要部分组成。Client负责与Server交互,提交...

    hadoop+restlet

    2. **实时监控**:提供实时的集群状态和作业进度信息,便于运维人员监控和管理。 3. **数据交换**:与其他系统集成,例如通过REST API将Hadoop处理的结果推送到其他业务系统或数据仓库。 综上所述,结合Hadoop和...

    CDH_5.4.9_hadoop集群搭建方法

    - **HBRE**: HBase REST Server — 提供HTTP接口以供外部应用访问HBase。 - **HBTS**: HBase Thrift Server — 使用Thrift协议提供客户端访问服务。 - **RS**: RegionServer — 存储数据的服务器节点。 - **HDFS*...

    福建师范大学精品大数据导论课程系列 (5.6.1)--4.3 基于HDFS的数据库之三.pdf

    HBase的访问不仅限于Shell,还包括Java API、Thrift Gateway、REST Gateway和Hive接口。Java API是最直接高效的方式,适合MapReduce作业。Thrift Gateway支持多种语言,REST Gateway则提供HTTP接口,语言无关。Hive...

    oozie使用整理

    - **Web UI**:仅支持查看状态的图形化用户界面,不支持提交作业。 #### 四、Oozie 基本概念 1. **作业流**:由一系列的行为节点组成,每个行为节点代表一项具体的计算任务(如 MapReduce 作业、Hive 作业等)。...

    flink-1.16.2下载安装包,flink-1.16.2-bin-scala-2.12.zip

    - **Web UI**:Flink提供了一个Web界面,用于查看任务状态、日志和监控性能指标。 - **REST API**:允许通过HTTP接口与Flink Job Manager交互,实现自动化部署和监控。 7. **Flink与Spark对比** - **事件时间...

    自己寫整理的一些文檔,關於azkaban,kylin,fastdfs,tableau

    - 上传作业:将编写好的Hadoop作业(如Java或Python程序)打包成JAR或ZIP文件,通过Web界面上传到项目中。 - 配置作业依赖:定义作业之间的执行顺序和依赖条件。 - 执行工作流:触发工作流的执行,可以是手动启动...

    livy-0.4.0 部署版免编译

    同时,通过API返回的状态信息可以监控会话状态和作业进度。 6. **兼容性**:Livy-0.4.0通常兼容Spark 2.x版本,这意味着它可以与各种Spark 2.x版本的集群协同工作,包括Hadoop集群和standalone模式。 7. **语言...

    hbase用于查询客户端工具

    6. **HBase Console**:这是HBase提供的一个简单的Web界面,用于查看表的信息、region分布和集群状态。它不支持复杂的查询,但对于快速检查和监控HBase实例非常有用。 7. **HBase MapReduce**:MapReduce是Hadoop...

    hbase-2.0.2-bin.tar

    6. **RESTful接口**: HBase提供REST接口,使其能被任何支持HTTP的编程语言访问,增加了其应用的广泛性。 7. **Zookeeper依赖**: HBase依赖Zookeeper来协调集群中的各个节点,管理元数据和监控系统状态。 8. **Scan...

    hbase-1.2.6

    7. **API支持**:HBase提供了Java API,以及通过Thrift和REST接口的多种语言支持,包括Python、Ruby、PHP等,方便不同平台的应用程序与HBase交互。 在解压“hbase-1.2.6-bin.tar.gz”后,你会得到HBase的二进制文件...

    大数据图标大全.docx

    26. **Pig**: 高级数据流语言和执行框架,用于Hadoop的批处理作业。 27. **Storm**: 实时流处理系统,处理数据流的速度快且可容错。 28. **Oozie**: 用于协调Hadoop工作流的管理工具,支持Hadoop相关的任务调度。 ...

    Hbase技术介绍

    - **协同服务:**Zookeeper在HBase中扮演着关键角色,提供集群状态监控、故障恢复和协调服务,确保系统的稳定运行。 #### 数据模型与访问接口 HBase采用了独特的数据模型,包括行键(RowKey)、时间戳(Timestamp...

    高级Java人才培训专家-4-HBase

    - **多种客户端接口**:除了Java API之外,还支持Thrift和REST API,方便不同语言环境下的应用开发。 #### HBase表数据模型 HBase的数据模型基于列族(Column Family),每个列族下可以有多个列(Column)。每条...

    Hbase官方文档

    - 查看日志文件,获取异常信息。 - 使用监控工具,观察系统状态。 **12.2 日志分析** - 分析HBase、Hadoop、ZooKeeper等组件的日志,定位问题原因。 **12.3 工具** - 使用HBase自带的工具,如hbck、hbtop等,...

    HBase介绍介绍介绍

    - **Zookeeper**:提供客户端访问入口,存储Region定位信息,选举Master,监控Region Server状态。 - **HBase Master**:负责Table和Region管理。 - **RegionServer**:响应用户I/O请求,直接与HDFS交互进行数据读写...

    HBase权威指南

    HBase支持的访问接口包括本地Java客户端和通过网关服务器提供的REST、Avro和Thrift等API,这为用户提供了多样化的访问方式。HBase的REST API是为Web应用设计的,而Avro和Thrift接口则为其他编程语言提供了可能。 ...

Global site tag (gtag.js) - Google Analytics