一.背景
一般hadoop集群的东西,需要去监控,或者杀东西之类的,所以需要调用下他们的API,下面是基本操作,获取正在跑的flink 程序,当然,也能获取CPU 内存等信息:
二.代码
public static void main(String[] args) throws IOException, YarnException { YarnConfiguration yarnConf = YarnConfLoader.getYarnConf("/Users/qqr/Downloads/yarn-conf"); YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(yarnConf); yarnClient.start(); Set<String> set = new HashSet<>(); // ApplicationType set.add("Apache Flink"); EnumSet<YarnApplicationState> enumSet = EnumSet.noneOf(YarnApplicationState.class); enumSet.add(YarnApplicationState.RUNNING); List<ApplicationReport> reportList = yarnClient.getApplications(set, enumSet); for(ApplicationReport report : reportList){ System.out.println("id-name:"+report.getApplicationId()+":"+report.getName()); System.out.println("mem:"+report.getApplicationResourceUsageReport().getNeededResources().getMemory()); System.out.println(); } }
输出:
id-name:application_1546069948045_128203:huoguo
mem:2048
id-name:application_1542000413153_5869:binlog_hbase
mem:2048
相关推荐
3. **YARN客户端**: 用于连接到YARN集群并获取资源信息的代码。 4. **API接口**: 提供RESTful接口,让其他系统或用户可以查询YARN集群的状态。 5. **数据持久化**: 可能使用了如JPA或MyBatis来存储监控数据。 6. **...
7. **启动Hadoop**:使用`start-dfs.cmd`和`start-yarn.cmd`命令启动Hadoop的DataNodes、NameNode和YARN的ResourceManager。 8. **验证安装**:通过`jps`命令查看运行的Hadoop进程,确认它们已经成功启动。还可以...
描述中提到的"下载资源hadoop2.7.2资源包"意味着你可以在这个链接(https://archive.apache.org/dist/hadoop/common/)找到官方发布的Hadoop 2.7.2版本,这是获取开源软件的可靠渠道。用户可以在这里下载到二进制和...
通过Hadoop的YARN客户端,Flink作业可以被提交到YARN集群,获取计算资源并执行任务。这样,Flink可以充分利用Hadoop的资源调度和管理能力,实现更高效的集群利用。 3. **Hadoop配置**:通过使用此连接器,Flink可以...
Hadoop 3.1.3的安装包为"hadoop-3.1.3.tar.gz",可以从Apache官方网站获取。下载后,使用`tar -zxvf hadoop-3.1.3.tar.gz`命令进行解压,解压后的目录结构包含Hadoop的各种组件和配置文件。 三、配置Hadoop环境 ...
8. **学习资源**:开发者可以通过Apache Hadoop官网、Eclipse插件库以及各种在线教程和社区论坛获取更多关于Hadoop-Eclipse插件的使用方法和最佳实践。 总的来说,Hadoop-Eclipse插件是Hadoop开发者的得力助手,它...
在Windows系统上配置Hadoop环境时,这两个文件经常会出现问题,因为它们通常不包含在标准的Hadoop发行版中,需要额外下载或从特定路径获取。 1. **hadoop.dll**:这是一个动态链接库文件,对于在Windows系统中运行...
1. **下载和解压Hadoop**:获取Hadoop的二进制发行版,并将其解压缩到本地文件系统。 2. **配置环境变量**:设置HADOOP_HOME、PATH等环境变量,指向Hadoop安装目录。 3. **配置hadoop.dll**:将提供的"hadoop.dll...
同时,还需要配置Hadoop的配置文件,如core-site.xml(定义HDFS操作的基本属性)、hdfs-site.xml(设置HDFS的具体参数)和yarn-site.xml(定义YARN的配置)。 Hadoop的大数据处理能力使其在各行各业都有广泛的应用...
1. **下载Hadoop**: 从Apache官方网站获取Hadoop 2.7.5的Windows版本,确保下载的是已经编译好的二进制发行版。 2. **解压Hadoop**: 将下载的压缩包解压到任意目录,例如"C:\hadoop",这将成为你的Hadoop安装目录。...
7. **配置Hadoop集群**:如果要在多节点集群上运行Hadoop,还需要配置core-site.xml、hdfs-site.xml、yarn-site.xml等配置文件,定义如NameNode、DataNode、ResourceManager等服务的地址和参数。 8. **启动与使用**...
2. **下载Hadoop**:从Apache官网获取Hadoop 2.4.1的源码或二进制包。 3. **配置Hadoop**:修改`etc/hadoop`目录下的配置文件,如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`,设置...
这个版本引入了YARN(Yet Another Resource Negotiator),它作为资源管理器,负责集群的资源分配和调度,使得Hadoop的扩展性和灵活性大大增强。同时,Hadoop 2.6.0还改进了容错机制,优化了性能,增强了安全性。 ...
Hadoop的配置文件包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等,它们定义了Hadoop运行时的各项参数,如数据块大小、副本数量、内存分配等。用户可以根据实际需求对这些配置进行调整。 在...
2. **下载与解压**:获取Hadoop 3.1.4的tar.gz压缩包,如标题所示,可直接联系提供者获取。解压后,将Hadoop目录移动到合适的位置,例如 `/usr/local/hadoop`。 3. **配置环境变量**:在系统环境变量配置文件中(如`...
这些信息可以从Hadoop集群的配置文件(如`core-site.xml`和`hdfs-site.xml`)中获取。 5. **创建Hadoop项目**:现在你可以开始创建Hadoop项目了。选择`File > New > Project > Hadoop Map/Reduce Project`,按照...
- Git:用于获取Hadoop源代码,确保安装了Git客户端。 ### 3. 获取源码 使用Git克隆Hadoop 2.7.7的源代码库: ```bash git clone https://github.com/apache/hadoop.git cd hadoop git checkout tags/hadoop-2.7.7 ...
Apache Hadoop YARN,全称为Yet Another Resource Negotiator,是一种高度灵活且强大的资源管理器,设计用于优化Hadoop集群的利用率、资源管理和数据共享。在Hadoop 2.0版本中,YARN作为核心组件引入,取代了原有的...
1. 下载:从Apache官方网站获取Hadoop 2.9.1的tar.gz文件,如本案例中的"hadoop-2.9.1.tar.gz"。 2. 解压:使用`tar -zxvf hadoop-2.9.1.tar.gz`命令解压缩到指定目录,例如 `/usr/local/`。 3. 配置环境变量:编辑`...
4. 修改配置文件:包括`core-site.xml`(配置HDFS的基本参数)、`hdfs-site.xml`(配置HDFS的参数)、`yarn-site.xml`(配置YARN参数)以及`mapred-site.xml`(配置MapReduce参数)。 5. 初始化HDFS:使用`hadoop ...