`
greemranqq
  • 浏览: 976936 次
  • 性别: Icon_minigender_1
  • 来自: 重庆
社区版块
存档分类
最新评论

获取hadoop-yarn 的列表信息

阅读更多

一.背景

     一般hadoop集群的东西,需要去监控,或者杀东西之类的,所以需要调用下他们的API,下面是基本操作,获取正在跑的flink 程序,当然,也能获取CPU 内存等信息:

 

 

二.代码

    public static void main(String[] args) throws IOException, YarnException {

        YarnConfiguration yarnConf = YarnConfLoader.getYarnConf("/Users/qqr/Downloads/yarn-conf");
        YarnClient yarnClient = YarnClient.createYarnClient();
        yarnClient.init(yarnConf);
        yarnClient.start();
        Set<String> set = new HashSet<>();
        // ApplicationType
        set.add("Apache Flink");
        EnumSet<YarnApplicationState> enumSet = EnumSet.noneOf(YarnApplicationState.class);
        enumSet.add(YarnApplicationState.RUNNING);
        List<ApplicationReport> reportList = yarnClient.getApplications(set, enumSet);
        for(ApplicationReport report : reportList){
            System.out.println("id-name:"+report.getApplicationId()+":"+report.getName());
            System.out.println("mem:"+report.getApplicationResourceUsageReport().getNeededResources().getMemory());
            System.out.println();
        }
    }

 

 

输出:

id-name:application_1546069948045_128203:huoguo

mem:2048

 

id-name:application_1542000413153_5869:binlog_hbase

mem:2048

分享到:
评论

相关推荐

    基于SpringBoot的Hadoop-Yarn资源监控系统源码.zip

    3. **YARN客户端**: 用于连接到YARN集群并获取资源信息的代码。 4. **API接口**: 提供RESTful接口,让其他系统或用户可以查询YARN集群的状态。 5. **数据持久化**: 可能使用了如JPA或MyBatis来存储监控数据。 6. **...

    apache-hadoop-3.1.0-winutils-master本地开发调试.zip

    7. **启动Hadoop**:使用`start-dfs.cmd`和`start-yarn.cmd`命令启动Hadoop的DataNodes、NameNode和YARN的ResourceManager。 8. **验证安装**:通过`jps`命令查看运行的Hadoop进程,确认它们已经成功启动。还可以...

    hadoop-2.7.2资源

    描述中提到的"下载资源hadoop2.7.2资源包"意味着你可以在这个链接(https://archive.apache.org/dist/hadoop/common/)找到官方发布的Hadoop 2.7.2版本,这是获取开源软件的可靠渠道。用户可以在这里下载到二进制和...

    flink-shaded-hadoop-2-uber-2.6.5-10.0.zip

    通过Hadoop的YARN客户端,Flink作业可以被提交到YARN集群,获取计算资源并执行任务。这样,Flink可以充分利用Hadoop的资源调度和管理能力,实现更高效的集群利用。 3. **Hadoop配置**:通过使用此连接器,Flink可以...

    hadoop-3.1.3.tar.gz

    Hadoop 3.1.3的安装包为"hadoop-3.1.3.tar.gz",可以从Apache官方网站获取。下载后,使用`tar -zxvf hadoop-3.1.3.tar.gz`命令进行解压,解压后的目录结构包含Hadoop的各种组件和配置文件。 三、配置Hadoop环境 ...

    hadoop-eclipse插件各版本合集

    8. **学习资源**:开发者可以通过Apache Hadoop官网、Eclipse插件库以及各种在线教程和社区论坛获取更多关于Hadoop-Eclipse插件的使用方法和最佳实践。 总的来说,Hadoop-Eclipse插件是Hadoop开发者的得力助手,它...

    hadoop-3.1.3-src.tar.gz

    6. **社区支持**:作为开源项目,Hadoop拥有活跃的社区,用户和开发者可以通过讨论论坛、邮件列表等方式获取帮助,共同解决问题。 解压“hadoop-3.1.3-src”后,开发者可以找到源代码目录,包括HDFS、MapReduce、...

    hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe

    在Windows系统上配置Hadoop环境时,这两个文件经常会出现问题,因为它们通常不包含在标准的Hadoop发行版中,需要额外下载或从特定路径获取。 1. **hadoop.dll**:这是一个动态链接库文件,对于在Windows系统中运行...

    hadoop.dll & winutils.exe For hadoop-2.8.0

    1. **下载和解压Hadoop**:获取Hadoop的二进制发行版,并将其解压缩到本地文件系统。 2. **配置环境变量**:设置HADOOP_HOME、PATH等环境变量,指向Hadoop安装目录。 3. **配置hadoop.dll**:将提供的"hadoop.dll...

    hadoop-3.1.0-winutils-master(1).zip

    同时,还需要配置Hadoop的配置文件,如core-site.xml(定义HDFS操作的基本属性)、hdfs-site.xml(设置HDFS的具体参数)和yarn-site.xml(定义YARN的配置)。 Hadoop的大数据处理能力使其在各行各业都有广泛的应用...

    hadoop-2.7.5 windows环境

    1. **下载Hadoop**: 从Apache官方网站获取Hadoop 2.7.5的Windows版本,确保下载的是已经编译好的二进制发行版。 2. **解压Hadoop**: 将下载的压缩包解压到任意目录,例如"C:\hadoop",这将成为你的Hadoop安装目录。...

    hadoop-3.2.2.tar.gz

    7. **配置Hadoop集群**:如果要在多节点集群上运行Hadoop,还需要配置core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件,定义如NameNode、DataNode、ResourceManager等服务的地址和参数。 8. **启动与使用**...

    hadoop-2.4.1版本大数据

    2. **下载Hadoop**:从Apache官网获取Hadoop 2.4.1的源码或二进制包。 3. **配置Hadoop**:修改`etc/hadoop`目录下的配置文件,如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置...

    hadoop-2.6.0版本所需插件.zip

    这个版本引入了YARN(Yet Another Resource Negotiator),它作为资源管理器,负责集群的资源分配和调度,使得Hadoop的扩展性和灵活性大大增强。同时,Hadoop 2.6.0还改进了容错机制,优化了性能,增强了安全性。 ...

    hadoop-2.7.4-with-centos-6.7.tar.gz

    Hadoop的配置文件包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等,它们定义了Hadoop运行时的各项参数,如数据块大小、副本数量、内存分配等。用户可以根据实际需求对这些配置进行调整。 在...

    hadoop-3.1.4.tar.gz

    2. **下载与解压**:获取Hadoop 3.1.4的tar.gz压缩包,如标题所示,可直接联系提供者获取。解压后,将Hadoop目录移动到合适的位置,例如 `/usr/local/hadoop`。 3. **配置环境变量**:在系统环境变量配置文件中(如`...

    Hadoop-eclipse插件

    这些信息可以从Hadoop集群的配置文件(如`core-site.xml`和`hdfs-site.xml`)中获取。 5. **创建Hadoop项目**:现在你可以开始创建Hadoop项目了。选择`File &gt; New &gt; Project &gt; Hadoop Map/Reduce Project`,按照...

    hadoop-2.7.7编译

    - Git:用于获取Hadoop源代码,确保安装了Git客户端。 ### 3. 获取源码 使用Git克隆Hadoop 2.7.7的源代码库: ```bash git clone https://github.com/apache/hadoop.git cd hadoop git checkout tags/hadoop-2.7.7 ...

    hadoop-2.4.1安装软件包以及教程jdk.zip

    第五个:yarn-site.xml &lt;!-- 指定YARN的老大(ResourceManager)的地址 --&gt; &lt;name&gt;yarn.resourcemanager.hostname &lt;value&gt;weekend-1206-01 &lt;!-- reducer获取数据的方式 --&gt; &lt;name&gt;yarn....

    Apache Hadoop---Yarn.docx

    Apache Hadoop YARN,全称为Yet Another Resource Negotiator,是一种高度灵活且强大的资源管理器,设计用于优化Hadoop集群的利用率、资源管理和数据共享。在Hadoop 2.0版本中,YARN作为核心组件引入,取代了原有的...

Global site tag (gtag.js) - Google Analytics