资讯频道 → 数据库
阅读更多

3顶
1踩

数据库

原创新闻 Apache Spark 1.6发布

2016-01-07 10:19 by 副主编 mengyidan1988 评论(0) 有3736人浏览
Apache Spark

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

今天我们非常高兴能够发布Apache Spark 1.6，通过该版本，Spark在社区开发中达到一个重要的里程碑：Spark源码贡献者的数据已经超过1000人，而在2014年年末时人数只有500。



那么，Spark 1.6有什么新特性呢？Spark 1.6有逾千个补丁。在本博文中，我们将重点突出三个主要的开发主题：性能提升、新的DataSet API和数据科学函数的扩展。

性能提升
根据我们2015年Spark调查报告，91%的用户认为性能是Spark最重要的方面，因此，性能优化是我们进行Spark开发的一个重点。

Parquet性能：Parquet已经成为Spark中最常用的数据格式之一，同时Parquet扫描性能对许多大型应用程序的影响巨大。在以前，Spark的Parquet读取器依赖于parquet-mr去读和解码Parquet文件。当我们在编写Spark应用程序时，需要花很多的时间在“记录装配（record assembly）”上，以使进程能够将Parquet列重建为数据记录。在Spark 1.6中，我们引入了新的Parquet读取器，它绕过parquert-mr的记录装配并使用更优化的代码路径以获取扁平模式（flat schemas）。在我们的基准测试当中，通过5列测试发现，该新的读取器扫描吞吐率可以从290万行/秒增加到450万行/秒，性能提升接近50%。

自动内存管理：Spark 1.6中另一方面的性能提升来源于更良好的内存管理，在Spark 1.6之前，Spark静态地将可用内存分为两个区域：执行内存和缓存内存。执行内存为用于排序、hashing和shuffling的区域，而缓存内存为用于缓存热点数据的区域。Spark 1.6引入一新的内存管理器，它可以自动调整不同内存区域的大小，在运行时根据执行程序的需要自动地增加或缩减相应内存区域的大小。对许多应用程序来说，它意味着在无需用户手动调整的情况下，在进行join和aggregration等操作时其可用内存将大量增加。

前述的两个性能提升对用户来说是透明的，使用时无需对代码进行修改，而下面的改进是一个新API能够保证更好性能的例子。

流式状态管理10倍性能提升：在流式应用程序当中，状态管理是一项重要的功能，常常用于维护aggregation或session信息。通过和许多用户的共同努力，我们对Spark Streaming中的状态管理API进行了重新设计，引入了一个新的mapWithState API，它可以根据更新的数量而非整个记录数进行线性扩展，也就是说通过跟踪“deltas”而非总是进行所有数据的全量扫描的方式更加高效。在许多工作负载中，这种实现方式可以获得一个数量级性能提升。我们创建了一个notebook以说明如何使用该新特性，不久后我们也将另外撰写相应的博文对这部分内容进行说明。
Dataset API
在今年较早的时候我们引入了DataFrames，它提供高级函数以使Spark能够更好地理解数据结构并执行计算，DataFrame中额外的信息可以使Catalyst optimizer和Tungsten执行引擎（Tungsten execution engine）自动加速实际应用场景中的大数据分析。

自从我们发布DataFrames，我们得到了大量反馈，其中缺乏编译时类型安全支持是诸多重要反馈中的一个，为解决这该问题，我们正在引入DataFrame API的类型扩展即Datasets。

Dataset API通过扩展DataFrame API以支持静态类型和用户定义函数以便能够直接运行于现有的Scala和Java类型基础上。通过我们与经典的RDD API间的比较，Dataset具有更好的内存管理和长任务运行性能。

请参考Spark Datasets入门这篇博文。

新数据科学函数
机器学习流水线持久化：许多机器学习应用利用Spark ML流水线特性构建学习流水线，在过去，如果程序想将流水线持久化到外部存储，需要用户自己实现对应的持久化代码，而在Spark 1.6当中，流水线API提供了相应的函数用于保存和重新加载前一状态的流水线，然后将前面构建的模型应用到后面新的数据上。例如，用户通过夜间作业训练了一个流水线，然后在生产作业中将其应用于生产数据。

新的算法和能力：本版本同时也增加了机器学习算法的范围，包括：
  • 单变量和双变量统计
  • 存活分析
  • 最小二乘法标准方程
  • 平分K均值聚类
  • 联机假设检验
  • ML流水线中的隐含狄利克雷分布（Latent Dirichlet Allocation，LDA)
  • 广义线性模型（General Liner Model，GLM）类R统计
  • R公式中的特征交互
  • GLM实例权重
  • DataFrames中的单变量和双变量统计
  • LIBSVM数据源
  • 非标准JSON数据

本博文只给出了本发布版本中的主要特性，我们也编译了一个更详细的发行说明集并附有可运行的例子。

在接下来的几周内，我们将陆续推出对这些新特性进行更详细说明的博文，请继承关注Databricks博客以便了解更多关于Spark 1.6的内容。如果你想试用这些新特性，Databricks可以让你在保留老版本Spark的同时使用Spark 1.6。注册以获取免费试用帐号。

若没有1000个源码贡献者，Spark现在不可能如此成功，我们也趁此机会对所有为Spark贡献过力量的人表示感谢。

原文地址：Announcing Spark 1.6（译者/牛亚真 审校/朱正贵 责编/仲浩）
  • 大小: 10.4 KB
3
顶
1
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Apache Spark 1.6发布(新特性介绍)

    Apache Spark 1.6发布 CSDN大数据 | 2016-01-06 17:34 今天我们非常高兴能够发布Apache Spark 1.6，通过该版本，Spark在社区开发中达到一个重要的里程碑：Spark源码贡献者的数据已经超过1000人，而在...

  • Spark 1.6发布：引入Dataset接口

    今天，Databricks宣布发布ApacheSpark1.6! 这也是开源社区开发的一个里程碑，2015年代码贡献者达到1000人，是2014一整年的两倍，见下图。\\\\接下来揭开Spark1.6新发布的功能。\\Spark1.6包含了超过1000个patches，...

  • Spark参数详解 （Spark1.6）

    Spark参数详解 （Spark1.6） 参考文档：Spark官网 在Spark的web UI在“Environment”选项卡中列出Spark属性。这是一个很有用的地方，可以检查以确保属性设置正确。注意，只有通过spark-defaults.conf, SparkConf, ...

  • spark1.6 编译_Spark1.6源码编译

    一、前言不论是spark还是hadoop...本文将中重点讲解apache版本和cdh版本下的spark编译。12二、环境介绍操作系统：centos6.5(建议内存4G以上)jdk：1.7.0_67spark版本：1.6.1hadoop版本：2.5.0或者cdh2.5.0maven版本：...

  • centos安装spark1.6

    spark1.6 jdk1.7 scala2.10 硬件环境 192.168.1.21(master,node21) 192.168.1.22(slave,node22) 192.168.1.23(slave,node23) 二.配置jdk、scala运行环境 jdk安装（我习惯用tar.gz包） tar -xzvf jdk1.7.tar.gz ...

  • Apache Spark 1.6 预览版：更简便的搜索

    除了可用性、可移植性等几个新的特性外，本次发布还提供了对尚未发布的Apache Spark 1.6预览。Databricks用户有机会在官方发布之前试用Spark 1.6的特性，包括在Databricks集成空间内轻松搜索Spark文档、点击几个按钮...

  • SparkStreaming+Kafka（spark 1.6）

    Note:spark1.6版本，kafka版本要是0.8.21 咳咳，pom文件自己去配 代码示例： def main(args:Array[String]):Uint={ val conf=new SparkConf().setAppName("test) //在集群中运行可以不指定master val sc=new ...

  • Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

    转载：... 一、 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2.安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen...

  • Spark 1.6 SparkSQL实践

    org.apache.spark.sql.SQLContext val sqlc = new SQLContext(sc) 第六步 将RDD对象先进行结构类解析，然后过滤掉未解析成功的数据行，将解析后的LogEntity进行模式匹配，转换成CDNLog，并最终将RDD...

  • spark1.6 编译_spark1.6转到spark2.3总结（依赖、版本、初始化问题）

    问题：pom里面不写spark版本(2.0.0)的话，可能会默认用spark1.6导致版本冲突异常——语法通过但无法编译运行问题(spark版本必须对应Scala版本)：参考...上面的spark和Scala混搭版本(不用理会hive版本)组合jar和pom写法...

  • Spark1.6基础知识笔记（含安装配置流程）

    1.Spark是用于大数据处理的集群计算框架，它不以MapReduce作为执行引擎，而是使用自己的分布式运行环境在集群上工作，可以在YARN上运行并与HDFS配合。Spark最突出的特点是能将作业与作业之间产生的大规模中间工作...

  • Spark 1.6发布的新功能

    2016年1月5日，Databricks宣布发布Apache Spark 1.6! 这也是开源社区开发的一个里程碑，2015年代码贡献者达到1000人，是2014一整年的两倍，见下图。 接下来揭开Spark 1.6新发布的功能。 Spark 1.6包含...

  • spark 1.6 MLlib 协同过滤

    简单介绍spark的协同过滤的矩阵分解采用ALS来计算，具体实现了算法以下参数 - numBlocks：数据划分为多少block进行并行计算，设置成-1时为自动配置 - rank：模型的潜在因子（主特征数目） - iterations：模型运行...

  • "H6逆变器拓扑：离网并网仿真模型研究，支持多模式功率调节与共模电流抑制",#H6逆变器拓扑并离网仿真模型 逆变器拓扑为：h6逆变器拓扑 仿真说明： 1.离网时支持非单位功率因数负载 2.并网时支

    "H6逆变器拓扑：离网并网仿真模型研究，支持多模式功率调节与共模电流抑制",#H6逆变器拓扑并离网仿真模型 逆变器拓扑为：h6逆变器拓扑。 仿真说明： 1.离网时支持非单位功率因数负载。 2.并网时支持功率因数调节。 3.具有共模电流抑制能力（共模电压稳定在Udc 2）。 4.有两种滤波器版本（LC LCL）。 5.LC版本下，参考电流20A时所对应的电流THD约为1%。 此外，采用PR单环控制，具有sogipll锁相环，lcl滤波器。 注：（V0001） Plecs版本4.7.3及以上 ,H6逆变器拓扑;离网仿真;并网仿真;非单位功率因数负载;功率因数调节;共模电流抑制;共模电压稳定;滤波器版本;LC LCL滤波器;PR单环控制;sogipll锁相环;Plecs版本4.7.3,H6逆变器拓扑的并离网仿真模型

  • 大厂PFC与全桥LLC集成变频控制的两相交错TCM图腾柱PWM代码实现方法及优化策略,大厂量产的两相交错TCM图腾柱变频控制PFC+全桥LLC源代码 PFC可通过变频控制实现软开关 ,两相交错TCM

    大厂PFC与全桥LLC集成变频控制的两相交错TCM图腾柱PWM代码实现方法及优化策略,大厂量产的两相交错TCM图腾柱变频控制PFC+全桥LLC源代码 PFC可通过变频控制实现软开关 ,两相交错TCM; 图腾柱变频控制; PFC; 全桥LLC; 软开关。,大厂高频两相交错TCM图腾柱PFC+全桥LLC变频控制源代码

  • 台达PLC高效自动追剪系统：自动计算，稳定运行，可靠编程的自动化解决方案,台达PLC追剪追剪追剪加＋剪切 ，编码器追踪送料速度和送料长度，程序可设置滚轮直径，编码器分辨率，电机分辨率及丝杠导程 根据

    台达PLC高效自动追剪系统：自动计算，稳定运行，可靠编程的自动化解决方案,台达PLC追剪追剪追剪加＋剪切 ，编码器追踪送料速度和送料长度，程序可设置滚轮直径，编码器分辨率，电机分辨率及丝杠导程。 根据输入参数自动计算。 程序带手动正反转，自动追剪切断，带手动复位及回原点，调节方便。 实用已在机床上稳定运行两年，程序成熟可靠，程序是我自己写的算法，时请认准我本人，其他人均为盗版，盗版需谨慎。 台达plc，触摸屏用中达一体机触摸屏。 ,核心关键词：台达PLC；追剪；编码器追踪；送料速度和送料长度；程序设置；滚轮直径；电机分辨率；丝杠导程；自动计算；手动正反转；自动追剪切断；手动复位；回原点；程序成熟可靠；中达一体机触摸屏。,"台达PLC自动化追剪系统：精确编码追踪与手动控制集成"

  • 毕业设计&课程设计&毕设&课设-java-个性化影片推荐系统

    项目均经过测试，可正常运行！ 环境说明： 开发语言：java JDK版本：jdk1.8 框架：springboot 数据库：mysql 5.7/8 数据库工具：navicat 开发软件：eclipse/idea

  • (源码)基于Arduino的BSides Cheltenham 2024 UFO徽章系统.zip

    # 基于Arduino的BSides Cheltenham 2024 UFO徽章系统 ## 项目简介 这是一个为BSides Cheltenham 2024定制的UFO徽章系统项目。项目包含电路板设计、Arduino代码以及配件清单等。通过此项目，参与者可以制作自己的专属徽章，体验科技与传统结合的乐趣。 ## 项目的主要特性和功能 1. 电路板设计使用Eagle工具设计的电路板，包括PCB文件和元件布局。 2. Arduino代码提供基于ATTiny402微控制器的Arduino代码，用于驱动徽章的硬件功能。 3. 定制设计文件上传了原始矢量设计文件，可根据需要进行修改和个性化定制。 4. 可定制化强可以通过简单的修改代码和更换硬件实现多种功能，比如加入LED灯显示效果、按键交互等。 ## 安装使用步骤 以下步骤假设用户已经下载了本项目的源码文件 1. 获取源码文件下载项目源码文件并解压。

  • 基于西门子S7-200 PLC与组态王软件的洗衣机控制系统设计优化方案 No.710,No.710 基于西门子S7-200 PLC和组态王组态洗衣机控制系统设计 ,基于西门子S7-200

    基于西门子S7-200 PLC与组态王软件的洗衣机控制系统设计优化方案 No.710,No.710 基于西门子S7-200 PLC和组态王组态洗衣机控制系统设计 ,基于西门子S7-200 PLC; 洗衣机控制系统设计; 组态王组态; 控制系统设计。,西门子PLC与组态王洗衣控制系统的设计与实施。

Global site tag (gtag.js) - Google Analytics