`

spark内核揭秘-11-Driver中AppClient源码分析

阅读更多

首先从SparkContext中TaskScheduler实例的创建开始:

进入taskScheduler.start()方法内部:

进入其实现者TaskSchedulerImpl内部:

 

可以发现在start具体实现的内部首先是有个backend.start方法:

其最终具体的实现类为:

从代码中可以看出,我们把CoarseGrainedExecutorBackend封装成command,然后交给appDesc,接着交给了Appclient,此时的AppClient就是客户端程序!

AppClient会调用start方法:

此时启动了ClientActor:

关于AppClient的代码,在我之前的博客文章已经分析了,此处俺就不分析了

下一篇要分析registerWithMaster() 和 tryRegisterAllMasters()方法

2
2
分享到:
评论

相关推荐

    spark初始化源码阅读sparkonyarn的client和cluster区别

    在 Spark 的初始化源码中,有两个重要的组件:Client 和 Cluster。Client 负责提交任务,Cluster 负责任务的执行。下面我们将对这两个组件进行详细的分析。 Client Client 是 Spark 的入口点,负责提交任务到集群...

    Python库 | sumologic_appclient_sdk-1.0.5-py3-none-any.whl

    SumoLogic AppClient SDK则是用于集成这个服务的Python开发包,使得开发者可以方便地在Python应用中集成SumoLogic的各种操作,如上传日志、执行查询、管理日志源等。 `sumologic_appclient_sdk-1.0.5-py3-none-any....

    Python库 | sumologic-appclient-sdk-2.0.0.tar.gz

    资源分类:Python库 所属语言:Python 资源全名:sumologic-appclient-sdk-2.0.0.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059

    Python-appclient全自动实名认证插件手机APP接口演示

    文件"appclient-master"很可能是该项目的源代码仓库,包含主程序和其他相关文件。开发者可以通过查看源代码学习如何实现这样的自动化认证过程,包括如何构建API接口,如何处理认证请求,以及如何确保数据的安全传输...

    即时通信软件+Windows tcp/ip+源码

    - APPClient 客户端 - config APP配置 - include 公共头文件 ## 开发环境搭建 开发环境:Window10 开发IDE:vs2015_update3 使用说明: 服务端配置: 需要配置./config/config.ini 文件中的 net项 下的port ...

    基于SuperSocket的消息推送详细说明文档1

    - GA.SuperSocket.AppClient:模拟桌面客户端,实现登录和消息接收。 - GA.SuperSocket.MobileApp:模拟移动手机端,可以多次打开以发送消息至服务器,然后由服务器转发给特定的桌面客户端。 功能特点: - ...

    app软件接口交互时序图

    - AppClient接收并验证MAC一致性后,使用temp_key解密获得SK和expireTime,并将其保存在内存中。 至此,AppClient与AppServer之间的正式安全信道建立完成。直至过期时间expireTime之前,双方都将使用SK作为密钥...

    Web-App-Client:前端

    要将现有项目更新为新版本的react-scripts ,请 ,找到您当前使用的版本(如果不确定,请检查此文件夹中的package.json ),然后为较新版本应用迁移说明版本。 在大多数情况下,package.json的rea

    [c#源码]通过TCP http 通信发送大文件.rar

    在IT行业中,网络通信是软件开发中的重要环节,尤其是在分布式系统和互联网应用中。本压缩包包含的资源涉及C#编程语言...通过深入分析和理解这些源码,我们可以更好地掌握网络通信的核心原理,并将其应用于实际项目中。

    android文档

    在Android开发中,接口文档是连接前后端的关键文档,它清晰地定义了应用程序与服务器之间的交互方式。以下是对给定的三个接口功能的详细解析: 1. **滚动广告功能** 这个接口用于获取APP中的滚动广告列表,URL为`...

    用java实现的简单浏览器程序

    - **超链接处理**:实现了`HyperlinkListener`接口,以便对编辑面板中的超链接进行监听,并自动跳转到新页面。 ##### 3. 错误处理 - 当加载页面失败时,会弹出错误对话框,提示用户“无法加载页面”。 #### 三、...

    一个封装好的,可以上传下载提交数据,封装好了,直接调用。

    因此,从Android 3.0(API级别11)开始,Google引入了严格的网络操作限制,即“网络操作不能在主线程中执行”的规定。 为了解决这个问题,开发者需要将网络请求移到后台线程,如AsyncTask、IntentService、Handler/...

    Jusns聚网社交管理系统v2.0.5源码

    9. **JuSNS.AppClient**:这部分可能包含了客户端应用程序的源代码,比如网站前端或移动应用,用户通过这些客户端与社交网络进行交互。 10. **DB_51aspx**:这可能是一个数据库文件,包含预设的表结构和数据,用户...

    用VS2005中C#做的聊天室程序

    虽然描述中提到代码注释不完整,这对于理解代码可能带来一定的困难,但通过阅读和分析代码,仍然可以学习到如何在C#中实现网络通信和构建客户端-服务器应用。 总结来说,这个C#聊天室程序涵盖了以下关键知识点: 1....

    网页文件加密 HTML Password Lock V3.2.7汉化绿色版

    这款软件的主要功能是为个人或企业用户提供网页和网站的保护,确保只有经过授权的用户能够访问特定内容。...在使用过程中,配合提供的说明文档,用户可以轻松掌握加密和管理网页的技巧,提升网站的安全防护等级。

    CnReconnect.rar

    在IT行业中,网络通信是至关重要的一个领域,特别是在开发分布式系统和实时应用时。本案例聚焦于"CnReconnect.rar"这个压缩包,它包含了使用C#编程语言实现的Socket通信断线重连功能,这对于确保网络连接的稳定性和...

    GreeterCorbaClient:corba 查找 ejb

    GreeterCorba客户端corba 查找 ejb 用法: thufir@doge: $ thufir@doge: $ glassfish-4.1/glassfish/bin/appclient -client NetBeansProjects/GreeterCorbaClient/dist/GreeterCorbaClient.jar {org.omg.CORBA....

    互联网程序

    电子科技大学 互联网程序设计,课件 内容丰富,深入浅出,很适合初学者

Global site tag (gtag.js) - Google Analytics