阅读更多
开源力量公开课第49期课程题目:Spark——大数据时代的电光火石

形式: 线上公开课(免费)
直播地址:http://www.osforce.cn/openclass/65/show?id=iteye
开课时间:2014-04-01 20:00

课程背景:

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。

课程大纲:

  1. spark简介:http://www.csdn.net/article/2013-07-08/2816149
  2. scala语法介绍:函数式编程、闭包、几个关键的函数:map 和flatmap
  3. spark的关键组件:master、worker、sparkContext(client)
  4. 4种rdd:输入rdd、转化rdd、缓存rdd、行动rdd(只有最后一种才会进行计算)
  5. 一个wordcount例子:解释刚才讲过的rdd,图例解释DAG的概念
  6. stage的概念:stage存在的意义、stage和依赖的关系、什么是数据的pipeline
  7. 两种Task:Task的提交与执行
  8. 计算结果
讲师介绍:

白硕,从事该领域开发八年,经验丰富,具有丰富的通讯技术实践经验。

更多公开课:http://www.osforce.cn/?id=iteye
3
0
评论 共 2 条 请登录后发表评论
2 楼 fat1 2014-03-27 14:09
开源力量做的事,对整个行业都有巨大的贡献
1 楼 tzyy71160 2014-03-26 17:11
西安邮电学院

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • PE文件格式详解(附有原文和源代码,逆向工程的基础教程)

    此文的英文原文为The Portable Executable File Format from Top to Bottom,我找到了两篇不同出处的译文,题名分别为《PE文件格式详解》和《可移植的可执行文件格式全接触》。并且搜集到了文章中所提到的两个附件PEF2034B.ZIP和PEF2034C.ZIP。压缩为ZIP上传共享并作为备份。

  • C++PE文件格式解析类(轻松制作自己的PE文件解析器)

    用C++封装了可以轻松高效获取PE文件中各信息的类,该类有较高可读性,同时具有一定的通用性,适合学习,也适合轻松实现自己的PE文件信息查看软件

  • PE文件结构详解

    Windows程序的各种界面称为资源,包括加速键(Accelerator)、位图(Bitmap)、光标(Cursor)、对话框(DialogBox)、图标(Icon)、菜单(Menu)、串表(StringTable)、工具栏(Toolbar)和版本信息(VersionInformation)等。执行PE文件前,加载程序在进行重定位的时候,会用PE文件在内存中的实际映像地址减PE文件所要求的映像地址,根据重定位类型的不同将差值添加到相应的地址数据中。...

  • PE文件格式概述

    本章提要·           PE文件格式概述·           PE文件结构·           如何获取PE文件中的OEP·           如何获取PE文件中的资源·           如何修改PE文件使其显示MessageBox的实例2.1  引言通常Windows下的EXE文件都采用PE格式。PE是英文Portable Executable的缩写

  • PE文件格式详解

    三千风雨三千雪 三千风雪我在写 流了一共三千血 你却始终不了解 简介 PE文件使用的是一个平面地址空间,所有的代码和数据都合并在一起,组成了一个很大的结构; 文件被分为不同的区块(Section,又成为区段或节等),区块中包含代码和数据,各个区块按页边界对齐; 区块没有大小限制,是一个连续结构;每一个块都有其自己的属性,如是否包含代码,是否可读可写等; PE文件的构成 MS-DOS头部 每个...

  • 深入剖析PE文件格式与PEViewer使用指南

    本文还有配套的精品资源,点击获取 简介:PEViewer是一款分析PE文件结构的工具,有助于深入理解Windows程序的工作原理。本简介探讨PE文件格式的核心组成部分,包括DOS头、NT头、节、导入表、导出表、资源表、异常处理和线程局部存储、重定位及调试信息。尽管PEViewer项目可能尚未完成,但它依然是学习PE格式的有价值资源。 1. PE文件格式概述 ...

  • PE文件结构详解精华(从头看下去就能大概了解PE文件结构了)

    前言 此博客绝大部分内容来自云课堂武大慕课《软件安全-恶意代码机理与防护》。 内容提纲 PE文件及其表现形式 PE文件格式与恶意软件的关系 PE文件格式总体结构 代码节与数据节 引入函数节:PE文件的引入函数机制 引出函数节:DLL文件的函数引出机制 资源节:文件资源索引、定位与修改 重定位节:镜像地址改变后的地址自动修正 PE文件及其表现形式 可移植的可执行文件(PE,Portable...

  • PE文件格式分析

    一、PE的基本概念     PE(Portable Execute)文件是Windows下可执行文件的总称,常见的有DLL,EXE,OCX,SYS等,事实上,一个文件是否是PE文件与其扩展名无关,PE文件可以是任何扩展名。     认识PE文件不是作为单一内存映射文件被装入内存是很重要的。Windows加载器(又称PE加载器)遍历PE文件并决定文件的哪一部分被映射,这种映射方式是将文件较高的偏

  • 【逆向基础】十六、PE文件格式(一)

    PE文件格式是可移植、可执行文件格式。在学习PE文件格式的过程中,也可以梳理优化进程、内存、DLL等内容,它们是Windows操作系统最核心的部分。值得我们花时间去消化。

  • PE文件格式和ELF文件格式(上)----PE文件

    Windows NT 3.1引入了一种名为PE文件格式的新可执行文件格式。PE文件格式的规范包含在了MSDN的CD中(Specs and Strategy, Specifications, Windows NT File Format Specifications),但是它非常之晦涩。     然而这一的文档并未提供足够的信息,所以开发者们无法很好地弄懂PE格式。本文旨在解决这一问题,它会对整个

  • PE文件解析_Dos头

    Dos部分主要为现代PE文件可以对早期的DOS文件进行良好兼容存在,其对应结构体为IMAGE_DOS_HEADER,所在头文件为winnt.h typedef struct _IMAGE_DOS_HEADER { // DOS .EXE header WORD e_magic; // Magic number WORD e_cblp; // Bytes on last page of ...

  • 计算机病毒简单结构,计算机病毒结构分析(2)

    有了它,一旦程序在DOS下执行,DOS就可以识别出它是有效的执行主体. – DOS存根实际上是有效的EXE. 在不支持PE文件格式的操作系统中,它将仅显示一条错误消息,类似于字符串“此程序无法在DOS模式下运行”或程序员可以使用自己的意图来实现完整的DOS. 码. – PE标头是与PE相关的结构IMAGE_NT_HEADERS的缩写,其中包含PE加载程序使用的许多重要字段. –节表是节的索引...

  • PE结构详解【01】

    PE结构详解 (注:最左边是文件头的偏移量。) IMAGE_DOS_HEADER STRUCT { +0h WORD e_magic // Magic DOS signature MZ(4Dh 5Ah) DOS可执行文件标记 +2h WORD e_cblp // Bytes on last page of file

  • PE文件格式详解(六)

    0x00 前言 前面两篇讲到了输出表的内容以及涉及如何在hexWorkShop中找到输出表及输入DLL,感觉有几个地方还是没有理解好,比如由数据目录表DataDirectory[16]找到输出表表后以为找到输入DLL就完了,其实这一流程的最终功能是通过输入DLL找到输入DLL调用的函数,这一步骤是通过输出表结构中的OriginalFristThunk或者OriginalFristThunk所...

  • PE文件格式详解(下)

    预定义段   一个Windows NT的应用程序典型地拥有9个预定义段,它们是.text、.bss、.rdata、.data、.rsrc、.edata、.idata、.pdata和.debug。一些应用程序不需要所有的这些段,同样还有一些应用程序为了自己特殊的需要而定义了更多的段。这种做法与MS-DOS和Windows 3.1中的代码段和数据段相似。事实上,应用程序定义一个独特的段的方法是使用标

  • PE文件详解(一)--数据结构字段

    DOS MZ头IMAGE_DOS_HEADER STRUCT : IMAGE_DOS_HEADER STRUCT { +0hWORDe_magic //Magic DOS signature MZ(4Dh 5Ah) DOS可执行文件标记 +2h WORD e_cblp //Bytes on last page of file +4hWORD e_cp

  • c语言读取pe文件信息,C语言怎么获得进程的PE文件信息

    一、打印Sections信息。下面的程序打印出Windows_Graphics_Programming 1.1中第三个程序“Hello World Version 3:Create a Full-Screen Window"生成的可执行文件的Sections结构字节的信息#include#includechar *strPath="C:/c1_hwv3/Debug/c1_hwv3.exe";int...

  • PE文件解析-文件头与整体介绍

    一、PE的基本概念     PE(Portable Execute)文件是Windows下可执行文件的总称,常见的有DLL,EXE,OCX,SYS等,事实上,一个文件是否是PE文件与其扩展名无关,PE文件可以是任何扩展名。     认识PE文件不是作为单一内存映射文件被装入内存是很重要的。Windows加载器(又称PE加载器)遍历PE文件并决定文件的哪一部分被映射,这种映射方式是将文件较高的偏移...

  • PE结构-1

    PE结构-1 文章目录PE结构-11. Dos头2. NT头IMAGE_OPTIONAL_HEADER643. 区块表4. 区块对齐换算RVA和文件偏移 本部分的目的是搞懂下图。 [外链图片转存失败(img-L9JWZCae-1562203515045)(https://r.photo.store.qq.com/psb?/V11kR0B93Se55a/E3tXISz3EWJpu2BIku7jE2Q...

Global site tag (gtag.js) - Google Analytics