`

【转】Spark & Shark & Tachyon 简介 .

阅读更多

Spark是一个高效的分布式计算系统相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。

Shark类似“SQL on Spark”,是一个在Spark上数据仓库的实现,在兼容Hive的情况下,性能最高可以达到Hive的一百倍。 

Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。

 

 

原帖地址:http://blog.csdn.net/lijiajia81/article/details/17080715

分享到:
评论

相关推荐

    yahoo Analytics on Spark & Shark

    标题 "Yahoo Analytics on Spark & Shark" 提到的主题是关于如何使用Apache Spark和Shark进行大数据分析。Apache Spark是一个快速、通用且可扩展的数据处理引擎,而Shark是Spark早期的一个项目,它为Spark提供了SQL...

    spark-shark-cookbook:安装Apache Spark&Shark的厨师食谱

    介绍 本食谱将安装以下3个组件: ... 与Spark版本相同的shark scala版本2.10.4 ,发行版1 ,使Chef软件包版本为2.10.4-1 您可以使用构建以下软件包: fpm -s tar -t rpm -v 0.9.1 -n spark --prefix /u

    Spark DataFrame

    Apache Spark DataFrame是大数据处理领域的一项重要技术,它在分布式数据集(RDD)的基础上,提供了一个更加高效和易于使用的数据处理模型。Spark DataFrame不仅继承了Spark的强大计算能力,还融入了关系型处理的...

    wireless.shark.epub

    wireless.shark.epub

    Transforming Big Data with Spark and Shark

    Transforming Big Data with Spark and Shark,intel内部讲义

    Spark经典论文合集

    An Architecture for Fast and General Data Processing on Large Clusters.pdf Discretized Streams An ...Spark SQL Relational Data Processing in Spark.pdf spark.pdf 大型集群上的快速和通用数据处理架构.pdf

    Tim Tully:集成Spark/Shark到雅虎数据分析平台

    该文档来自Spark Summit 2013峰会上Yahoo高级...Tim Tully从Hadoop架构的问题出发,反思其中的不足,通过对比雅虎以往架构,解释雅虎未来的架构模式为什么集成Spark/Shark,以及Shark的硬件条件和物理部署等情况。

    @gs_1241_com.shark.jizhang_

    @gs_1241_com.shark.jizhang_

    canvas 游戏

    在这个“鲨鱼吃小鱼”的例子中,我们需要创建两个对象类:`Shark`和`Fish`,分别表示鲨鱼和小鱼。每个对象应包含位置(x,y坐标)和尺寸(宽度,高度)等属性。例如: ```javascript function Shark(x, y) { this....

    Tachyon_2013-05-09_Spark_Meetup

    Tachyon项目正是为了解决这一问题而设计的,通过使用Tachyon,框架如Spark和Shark可以使用Tachyon作为RDD(弹性分布式数据集)的存储,从而实现内存速度的文件共享和作业间故障隔离。 Tachyon系统架构中的谱系API是...

    开源的分布式内存文件系统 Tachyon.zip

     AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA...

    Michael Armbrust:Fast distributed query processing with Shark

    在这次由Michael Armbrust在2013年Spark Summit会议上所作的演讲中,我们了解到Shark项目背后的动机和实现细节。Shark是一个基于Spark的开源分布式查询引擎,能够运行Apache Hive的HiveQL语句。其目的是提供一个比...

    Catalyst:一个Spark和Shark的查询优化框架

    Databricks高级软件工程师Michael Armbrust,在此次峰会上就什么是查询优化、简捷的查询规划、优化执行、优先工作、Catalyst做了详细介绍,总之Catalyst是一个关系运算符的优化树架构。

    Real-Time Analytical Processing _RTAP_ using Spark and Shark Presentation

    ### 实时分析处理(RTAP):利用Spark与Shark实现 #### 一、项目概述 本演示文稿主要介绍了如何使用Spark堆栈进行实时分析处理(Real-Time Analytical Processing, RTAP)。该项目由加州大学伯克利分校的AMPLab...

    数据仓库系统Shark.zip

    Shark 是一个大型的数据仓库系统为 Spark 的设计与 Apache Hive 兼容。它处理 Hive QL 的性能比 Apache Hive 快 30 倍。支持 Hive 查询语言、元存储、序列化格式和用户自定义函数。 要求: Scala 2.10.3 AMPLab's...

    spark简介及使用

    后来,Shark 被 Spark SQL 取代,Spark SQL 直接集成到了 Spark 主体中,提供更强大的功能和更好的性能。 五、总结 Spark 是一种高性能、易用且灵活的大数据处理框架,尤其适合迭代计算和交互式查询。通过内存计算...

    jaws-spark-sql-rest.zip

    代号为 Jaws 的 jaws-spark-sql-rest 是一个 Spark SQL/Shark 队列的 RESTful 服务,基于 Spark ,提供 Mesos 和 Tachyon 支持。当前支持 Spark 0.9.x 和 Shark 作为后端框架。

Global site tag (gtag.js) - Google Analytics