资讯频道 → 数据库
阅读更多

3顶
0踩

数据库

原创新闻 Spark 1.3更新概述：176个贡献者，1000+ patches

2015-03-18 09:31 by 副主编 mengyidan1988 评论(1) 有5982人浏览
Spark 大数据 机器学习

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

近日，Databricks正式发布Spark 1.3版本。在此版本中，除下之前我们报道过的DataFrame API，此次升级还覆盖Streaming、ML、SQL等多个组件。当下，1.3版本已在 Apache Spark页面提供下载，下面一起浏览 Patrick Wendell在Databricks Blog上对Spark 1.3版本的概括。
Spark SQL脱离Alpha版本

在1.3版本中，Spark SQL正式脱离Alpha版本，提供了更好的SQL标准兼容。同时，Spark SQL数据源API亦实现了与新组件DataFrame的交互，允许用户直接通过Hive表格、Parquet文件以及一些其他数据源生成DataFrame。用户可以在同一个数据集上混合使用SQL和data frame操作符。新版本提供了从JDBC读写表格的能力，可以更原生地支持Postgres、MySQL及其他RDBMS系统。同时，该API还为JDBC（或者其他方式）连接的数据源生成输出表格提供写入支持。 
> CREATE TEMPORARY TABLE impressions
USING org.apache.spark.sql.jdbc
OPTIONS (
url "jdbc:postgresql:dbserver",
dbtable "impressions"
)

> SELECT COUNT(*) FROM impressions

内置支持Spark Packages

在2014年底，我们着手为Spark建立一个新的社区项目目录站点——Spark Packages。当下，Spark Packages已经包含了开发者可以使用的45个社区项目，包括数据源集成、测试工具以及教程。为了更方便Spark用户使用，在Spark 1.3中，用户可以直接将已发布包导入Spark shell（或者拥有独立flag的程序中）。 
# Launching Spark shell with a package
./bin/spark-shell --packages databricks/spark-avro:0.2

Spark Packages 还为开发者建立了一个SBT插件来简化包的发布，并为发布包提供了自动地兼容性检查。

在Spark Streaming中提供了更低等级的Kafka支持

从过去发布的几个版本来看，Kafka已经成为Spark Streaming一个非常人气的输入源。Spark 1.3引入了一个新的Kakfa streaming source，它利用了Kafka的回放能力，在非预写日志配置下提供了一个更可靠的交付语义。同时，针对那些需求强一致性的应用程序，它还提供了实现了Exactly-Once Guarantees的原语。在Kafka的支持上，1.3版本还添加了一个Python API以及支持这个API的原语。

MLlib中的新算法

Spark 1.3还提供了大量的新算法。其中，Latent Dirichlet Allocation（LDA）成为了第一个出现在MLlib中的主题建模算法。在这之前，Spark的逻辑回归已经通过多元逻辑回归（multinomial logistic regression ）支持多类分类（multiclass classification）。而在这个版本中，聚类再次被提升，Gaussian Mixture Models和 Power Iteration Clustering被引入。并通过FP-growth扩展了频繁项集挖掘（FIM，Frequent Itemsets Mining）。最后，MLlib还为Distributed Linear Algebra引入了有效的块矩阵抽象。
3
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 YuHuang.Neil 2015-03-18 16:57
期待MLib的生产表现

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 非常SB的struts2.x异常（下篇）

    Line: 70 - org/apache/struts2/osgi/OsgiConfigurationProvider.java:70:-1  at org.apache.struts2.dispatcher.Dispatcher.init(Dispatcher.java:428)  at org.apache.struts2.dispatcher.ng.InitOperations...

  • 非常SB的struts2.x异常（上篇）

    学习struts2.2.1遭遇滑铁卢~~~~~好多异常~~~~~好多bug~~~~好多问题~~~~~~好多困难~~~好多肥羊~~~ 一、 Filter mapping specifies an unknown filter name ----filter标签在web.xml里的顺序    ...

  • Struts2之Session Token机制理解及使用

    源码都是前辈大牛的心血，无论是编码形式还是编码质量那都是相当的高，有这样一份珍贵的学习资料，你不看，你说你还看啥吧。 b)防止表单重复提交有很多方法，比如上一章的重定向就可以防止。不过在项目中一般我们有...

  • struts标签html:select,JSP_Struts标签 htmlselect option基本用法.doc

    Struts标签 htmlselect option基本用法验淹铂粤梁织辟莲劣吹琅腐啪瘦遣体紧恰谎川杭医憎蜂达郡排趟凄砧禄胃品携笆续粒宅捧观跌喷相氟翻鳞橇叁炮袜搐锑碧切磷锗辆捎巍麦柴煮安姜历趋墩末葛屠赤馁哥坊台褂凋裙诧曙聪诚...

  • struts

    struts 由于Struts框架在全球的广泛使用，学习它的人也非常之多，但是大部分人花费了太多不必要的时间和精力在一些不太重要的地方，导致学习代价高昂，成效也不是很好。我这里根据多年培训经验的总结，精心设计了...

  • 解析Struts中Result的配置

    Struts中，所有动作都需要配置结果

  • struts2 验证 类型转换问题

    struts2 学习旅程五: 这回开始讲输入校验. 以及使用Action里面写validate()方法.以及,全局和局部属性文件对错误提示信息的替换. 边整边说理论算了,一开始就讲,发现一下子记不到哪么多的说. 模拟一个用户注册信息...

  • Struts2 用拦截器实现最基本的登录权限认证。

    用struts2的interceptor做简单的访问权限验证。 struts配置文件方面嘛，两个文件： struts.xml <?xmlversion="1.0"encoding="UTF-8"?> <!DOCTYPEstrutsPUBLIC "-//...

  • struts2结合jquery的Ajax应用

    前言最近尝试在Google App Engine（GAE）平台上构建一个blog，目前进度已经完成将近50%，其中Css和DIV布局折腾得我够呛，对UI一向是个外行，色感拿捏实在没谱，只好仿造Wordpress了--_--||； 为何采用AJAX：回复是...

  • MyEclipse 8.0 GA 搭建 Struts2 + Spring2 + Hibernate3 （测试）

    听说MyEclipse 8.0 GA已经添加了对Struts2的支持，赶紧尝试一下！首先当然得创建个Web Project，一个空的Web Project就行然后是点鼠标左键6下：菜单栏“MyEclipse——Project Capabilities——Add Struts ...

  • struts2单元测试-2（使用EasyMock）

    1、之前我们的项目struts2版本是使用struts2.1.18，他使用struts2-junit-pugin-2.1.8.1.jar进行测试的时候完全可以，而且很方便，参考地址，http://gsdhaiji-cai.iteye.com/blog/1404230     2、坑爹的是，在一...

  • 老生长谈：B/S权限设计（基于Struts 2.*）

    现在的权限控制基本上都是基于RBAC的，在这里我是基于RBAC与Struts2.*，可能还有些没有完善的地方，提出来与大家讨论一下。   我们知道，权限一般分为操作权限跟数据权限，这里讨论的只是操作权限。其实与其说是...

  • Struts的心酸往事

    2002年初，Java服务器端技术正处于塑型阶段，MVC作为...关于Struts，还有点心酸往事……时值Struts 0.9版本发布之时，我正忙于设计公司新一代产品平台框架，期间也在参考Struts的设计思想（是时Struts尚未流行，各个

  • 脆弱水印技术在图像篡改检测中的应用与挑战,脆弱水印技术在图像篡改检测中的应用与挑战,脆弱水印的图像篡改检测 ,脆弱水印; 图像篡改; 检测; 图像处理,基于脆弱水印的图像篡改检测技术

    脆弱水印技术在图像篡改检测中的应用与挑战,脆弱水印技术在图像篡改检测中的应用与挑战,脆弱水印的图像篡改检测 ,脆弱水印; 图像篡改; 检测; 图像处理,基于脆弱水印的图像篡改检测技术

  • 高效Delta机械臂运动控制卡：前瞻轨迹规划，G代码编程，多维插补，激光切割与绘图，机器视觉集成，扩展坐标与旋转功能，一键脱机运行，大容量存储,基于前瞻运动轨迹规划的Delta机械臂运动控制卡：高效G

    高效Delta机械臂运动控制卡：前瞻轨迹规划，G代码编程，多维插补，激光切割与绘图，机器视觉集成，扩展坐标与旋转功能，一键脱机运行，大容量存储,基于前瞻运动轨迹规划的Delta机械臂运动控制卡：高效G代码编程，圆弧插补与激光切割功能，配合机器视觉实现精准操作。高效精准操作与管理工具的创新型机械运动控制解决方案。,delta机械臂，delta机器人，运动控制器，运动控制卡 本卡采用前瞻运动轨迹规划，运动采用G代码指令编程，具有G5三维空间的圆弧插补，空间直线插补功能，子程序编程功能，逻辑判断语句功能，示教编程功能(支持手柄)，变量位置编程功能，动态PWM激光输出功能(兼容舵机控制信号)，动态频率脉冲输出功能，通用输入输出功能。 可极简单的实现绘图雕刻，3维激光切割功能。 轨迹图形可xy平面整体旋转功能。 可利用变量位置，获取外部坐标要求，可轻松配合机器视觉。 支持探针功能，测平面，测外形等。 可设置4组平移工件坐标系，2组参考原点。 新增2组空间旋转工件坐标系，支持任意图形直接空间旋转。 卡上一键脱机RAM区运行功能。 2M程序容量。 断电后位置记忆，变量坐标位置记忆，计数器记忆。 伺服

  • 通用MySQL数据库备份系统.zip

    毕业设计

  • 大规模语言模型参数高效微调方法综述与分类：理论依据、实证对比和应用指南

    内容概要：随着模型参数量不断扩大，如从BERT到GPT-3，传统微调方法变得不可行。文章聚焦于参数高效微调（PEFT）策略，系统探讨了几十余种方法，包括加法型、选择型、重构型及其混合方法。文中详细介绍各类PEFT的具体操作（如引入额外参数、冻结部分权重等），并通过广泛实验验证其在大型预训练模型上的适用性和性能。特别指出，PEFT在保持高性能的同时极大减少了计算与内存成本，并针对十几亿乃至几十亿参数级别的模型展开测试与讨论。 适用人群：适用于从事大规模机器学习模型研究、开发的应用科学家和技术专家，尤其是那些希望通过减少资源消耗实现高效微调的技术团队成员。 使用场景及目标：该文章适用于希望在有限资源条件下优化大模型性能的人群。帮助研究人员理解不同类型PEFT的优点和局限，为实际项目中选择合适技术路线提供建议。其目的是为了指导开发者正确理解和应用先进的PEFT技术，从而提高系统的运行效率和服务质量。 其他说明：本文不仅提供了详尽的方法介绍和性能对比，而且为未来的研究指明方向，鼓励创新思维的发展，旨在推动参数有效调优领域的进步。同时提醒注意现有的挑战和未解决问题。

  • 磷酸铁锂体系电池COMSOL模型构建解析与实践指南,磷酸铁锂体系电池COMSOL建模分析与优化方案探讨,出一个磷酸铁锂体系电池comsol模型 ,建立磷酸铁锂体系电池; comsol模型; 电池模拟

    磷酸铁锂体系电池COMSOL模型构建解析与实践指南,磷酸铁锂体系电池COMSOL建模分析与优化方案探讨,出一个磷酸铁锂体系电池comsol模型 ,建立磷酸铁锂体系电池; comsol模型; 电池模拟; 模型构建; 锂离子电池。,构建磷酸铁锂体系电池Comsol模型，深入探索电池性能

  • 开关磁阻电机多维控制策略仿真研究（基于Matlab 2016b的精细化模型）,开关磁阻电机多策略控制仿真模型（matlab 2016b版本，含传统与智能控制策略及离线迭代算法）,开关磁阻电机控制仿真(

    开关磁阻电机多维控制策略仿真研究（基于Matlab 2016b的精细化模型）,开关磁阻电机多策略控制仿真模型（matlab 2016b版本，含传统与智能控制策略及离线迭代算法）,开关磁阻电机控制仿真(matlab 2016b版本仿真模型 自用) 模型包涵： 开关磁阻电机传统控制：电流斩波控制、电压PWM控制、角度位置控制。 智能控制：12 8三相开关磁阻电机有限元分析本体建模、转矩分配函数控制、模糊PID控制、模糊角度控制、神经网络在线自适应迭代控制。 部分离线迭代算法：遗传算法优化PID、粒子群算法优化PID。 biye研究生自用仿真模型 . ,核心关键词： 开关磁阻电机; 控制仿真; Matlab 2016b; 传统控制; 智能控制; 有限元分析; 转矩分配函数控制; 模糊PID控制; 神经网络在线自适应迭代控制; 遗传算法优化PID; 粒子群算法优化PID; 研究生自用仿真模型。,基于Matlab 2016b的开关磁阻电机控制模型研究与仿真优化研究生自用版

  • McgsPro-IoT驱动-V3.1.1.8

    McgsPro_IoT驱动_V3.1.1.8

Global site tag (gtag.js) - Google Analytics