11、接着上篇文章ApplicationMasterLaunch.handle(AMLaunchEventType.LAUNCH)被触发，接着开始调用RPC服务向NodeManager请求启动container,并触发RMAppAttemptEventType.LAUNCHED事件;
12、调用ContainerManagementProtocolPBClientImpl.startContainers(allRequests)请Containers启动；
13、接着NodeManager响应startContainer请求，从而会去调用ContainerManagerImpl.startContainers(allRequests)方法；
14、判断该app是否已经初始化过，如果已经初始化就直接触发ApplicationEventType.INIT_CONTAINER事件，进而去触发CONTAINER及CONTAINER_RESOURCES相关的事件，如果没有初始化则需要先APPLICATION及APPLICATION_LOG相关的事件；
15、最终触发LocalizationEventType.INIT_CONTAINER_RESOURCES事件进行container资源初始化；
整体流程如下图所示：
相关推荐
+ 提交 oozie 调度文件到 hdfs 指定路径执行命令：hadoop fs –put oozie_run /tmp/ 上传路径在 job.properties 文件中 filepath，oozie.coord.application.path 两个属性指定。 + 提交并执行调度任务：进入 oozie...
2. JobSubmitter通过代理对象向ResourceManager申请提交一个application，ResourceManager会返回资源提交路径stagingDir和jobID，并将它们拼接成job资源提交路径。 3. 客户端会调用FileInputFormat.getSplit()方法...
1. **构建SparkApplication的运行环境**（启动SparkContext），SparkContext向资源管理器注册并申请运行Executor资源。 2. **资源管理器分配Executor资源**并启动StandaloneExecutorBackend，Executor运行情况通过...
Spark的核心技术原理包括了对数据的处理方式、运行流程和架构设计等多个方面。以下是对这些知识点的详细解释： 1. **Spark 应用程序 (Application)**：Spark应用程序是由用户编写的，包含了Driver和Executor两部分...
- 查看应用程序状态：`yarn application -status <application-id>` #### 五、实战案例 1. **日志分析**：使用Hadoop处理Web服务器日志，提取有用的信息，如用户访问频次、热门页面等。 2. **用户行为分析**：...
Worker 节点负责运行 Executor，与 Yarn 中的 NodeManager 节点相似。 Executor Executor 是 Application 运行在 Worker 节点上的一个进程，该进程负责运行 Task，并且负责将数据存在内存或者磁盘上。每个 ...
`mapreduce.task.io.sort.mb`控制排序阶段的内存使用，而`mapreduce.job.maps`和`mapreduce.job.reduces`定义了作业的Map和Reduce任务数量。 最后，`yarn-default.xml`文件涉及YARN，它是Hadoop的资源管理和调度器...
3. `spark.executor.instances`: 设置在YARN上运行的Executor数量。 4. `spark.executor.memory`: Executor的内存大小，例如`5g`。 5. `spark.executor.cores`: Executor的CPU核心数。 6. `spark.driver.memory`: ...
4. **运行MRAppMaster**：客户端向RM申请运行MRAppMaster，RM将请求转发给合适的NM。 5. **任务初始化**：NM创建Container，下载作业资源，启动MRAppMaster。 6. **任务分配**：MRAppMaster向RM申请MapTask和Reduce...
- `mapreduce.job.maps.per.node`和`mapreduce.job.reduces.per.node`控制每个节点上并行运行的任务数。 #### 2.2 YARN内存和CPU优化 - 优化内存分配，确保每个任务有足够资源运行，同时避免过度分配导致资源浪费...
Worker 是计算节点集群中任何可以运行 Application 代码的节点，类似于 Yarn 中的 NodeManager 节点。在 Standalone 模式中指的是通过 Slave 文件配置的 Worker 节点，在 Spark on Yarn 模式中指的就是 NodeManager ...
MR（MapReduce）程序提交到客户端所在的节点，由 YarnRunner 运行。这个过程中，YarnRunner 负责将 MR 程序提交到 ResourceManager，以获取资源和执行任务。 2. ResourceManager ResourceManager 是 Yarn 的核心...
RM选择合适的NodeManager（NM）分配Container，NM负责在本地启动容器并下载job资源。然后，YARNChild进程在Container中运行MapTask。 12-13. **ReduceTask执行**：所有MapTask完成后，MRAppMaster向RM申请运行...
NodeManager（NM）是运行在每个集群节点上的组件，负责监控和管理该节点上的资源使用情况，并与ResourceManager通信，报告资源使用情况、心跳信息、容器状态等。 MRAppMaster负责管理MapReduce作业的生命周期，包括...
最后，文档还对比了Spark和Hadoop作业的区别，指出了在Spark中Application的概念与Hadoop中的job概念的区别，以及Driver在Spark中的角色和任务调度的工作方式。通过深入分析Spark的架构和组件，八斗大数据培训团队的...
3. NodeManager：运行在每个节点上，管理该节点上的容器，执行Task进程。 4. ApplicationMaster：每个MapReduce作业的实例，负责申请资源，与NodeManager通信启动Task。 5. TaskTracker（在MapReduce1.0中）/...
Yarn的运行机制可以分为三个阶段：第一阶段，RM将Job分配给NM；第二阶段，NM将Task分配给Container；第三阶段，Container执行Task，返回结果给NM，NM将结果返回给RM。 MapReduce平台优化是提高MapReduce作业执行...