在互联网的各种数据处理,分析中,经常要用到迭代式的计算;而相关的开源框架都还不大成熟,spark(
http://www.spark-project.org)还算是其中较为可行的方案之一,它在上周发布了0.6.0版本。
相对于0.5.0, 新版本的主要改进如下:
- 提供了一种新的部署方式,原先在部署运行时有本地模式和依赖于mesos的分布式模式两种,现在不依赖于mesos这种分布式集群管理框架也可以分布式运行了;
- 提供了一套JAVA API,可以使用java直接编写spark计算任务了,对于那些不想学写scala的是一种福音;但是相对的,任务代码要繁复一些了。不知道神码时候可以为c++程序员考虑下出个spark pipes
- 文档方面的完善,完善了 quick start guide, 部署,配置等文档
- 性能的提升,貌似要支持实时数据的处理了
分享到:
相关推荐
Spark 0.6.0源码分析 Spark是Apache软件基金会下的一个开源大数据处理框架,以其高效的内存计算和弹性分布式数据集(Resilient Distributed Datasets, RDDs)为核心特性,广泛应用于数据处理、机器学习和图形计算等...
ByWave-Setup-0.6.0
clickhouse-jdbc-0.6.0.jar
【标题】"IJkPlayerLibrary_k0.6.0" 是一个开源的视频播放器库,专注于Android平台,由哔哩哔哩(B站)开发并维护。这个特定的版本是k0.6.0,它包含了该播放器在特定时间点的全部源代码和资源,供开发者使用和定制。...
在“jsoncpp 0.6.0.rc2”这个版本中,用户遇到了一个问题,即当JSONCPP尝试解析包含中文字符或全角字符的数据时,可能会出现异常或无法正确显示。这通常是由于编码问题导致的,因为JSONCPP可能默认只支持ASCII编码,...
OpenNI2 SDK for ROS2奥比中光深度摄像头驱动安装
《深入理解JTAG技术:基于H-JTAG V0.6.0的应用指南》 JTAG(Joint Test Action Group)是一种国际标准测试协议,主要用于芯片和电路板级别的硬件调试与测试。它通过四条核心线——TCK(Test Clock)、TMS(Test ...
"jsoncpp-src-0.6.0-rc2"是JSONCPP的一个特定版本,代表着该库的源代码包,版本号为0.6.0的发布候选2(Release Candidate 2)。在软件开发中,发布候选版通常是在正式发布前的最后一个测试阶段,意味着它已经非常...
`spelling-0.6.0.tar.gz` 是一个在PyPI上发布的压缩包文件,遵循Python的打包标准,包含了`spelling`这个特定版本(0.6.0)的库。`.tar.gz`扩展名表明这是一个使用tar工具打包,并通过gzip进行压缩的文件,这是一种...
Cursor Setup 0.6.0-x64.exe
Spark的历史始于2009年伯克利大学的AMPLab,2010年通过BSD许可协议正式对外开源发布,2012年Spark第一篇论文发布,第一个正式版(Spark 0.6.0)发布,2013年Databricks公司成立并将Spark捐献给Apache软件基金会,...
Glog 是 Google 的开源日志系统,本质上是一个程序级记录日志信息的 C++ 库,编程使用方式与 C++ 的 stream 操作类似。...这里是编译好的 glog-0.6.0 静态库(64位)二进制文件并包含所有头文件,适用于 windows 平台。
在这个"jsoncpp-0.6.0-rc2_修改版"中,我们看到的是Jsoncpp的0.6.0发布候选版本2的一个定制修改版。 首先,我们要理解原版Jsoncpp库的功能。Jsoncpp提供了一套API,使得开发者能够方便地在C++程序中处理JSON对象。...
标题中的"PyPI 官网下载 | score.ctx-0.6.0.tar.gz"表明这是一个在Python Package Index(PyPI)官方渠道发布的软件包。PyPI是Python开发者发布和分享他们编写的Python库的地方,方便其他用户安装和使用。这个特定的...
Oracle 11.1.0.6.0 JDBC 驱动包是Oracle数据库与Java应用程序之间通信的重要组件,主要用于实现Java平台上的数据存取。JDBC(Java Database Connectivity)是Java语言中用来规范客户端程序如何连接和操作数据库的...
OpenCore-0.6.0-06-13编译版,用于普通电脑引导macOS启动,安装。一种新的引导方式!具有高效,简洁,易于维护等优势。OpenCore以更先进的方法注入第三方Kext,不破坏系统的SIP。OpenCore支持读取NVRAM等诸如选择...
OpenCore-0.6.0-06-27编译版,用于普通电脑引导macOS启动,安装。一种新的引导方式!具有高效,简洁,易于维护等优势。OpenCore以更先进的方法注入第三方Kext,不破坏系统的SIP。OpenCore支持读取NVRAM等诸如选择...