今天老大谈到了Spark，说是计算速度比hadoop MapReduce快100倍,顿时惊讶，于是乎埋头google,主要想弄清楚两个问题 1 Spark怎么会那么快 2 Spark的适用场景。苦苦搜索，总得结果。
spark是对MapReduce计算模型的改进，可以说没有HDFS，MapReduce，就没有spark.尽管spark官网很少提到MapReduce.
Spark可用于迭代，主要思想是内存计算，即将数据存到内存中，以提高迭代效率。
（我认为就是通过缓存数据的方式减少IO的消耗，从而提高了性能）
Spark可以将过程数据存在内存中（从文件中读取，或经过map处理的数据），方便其他模块重复调用。
相比hadoop MapReduce 主要的改进：
1迭代运算，一次创建数据集。多次使用，减少了IO的开销。
2允许多种计算模型（包含map-reduce）
3 支持非OO式算法实现，对机器学习算法，图计算能力有很好的支持。
仔细研读下面的文章，就能理解我的总结
迭代式MapReduce框架介绍
http://dongxicheng.org/mapreduce/iterative-mapreduce-intro/
传统MapReduce框架
http://dongxicheng.org/mapreduce/traditional-mapreduce-framework/
选择Spark on Yarn的三个理由
[url] http://storage.it168.com/a2013/1123/1564/000001564111.shtml[/url]
注：迭代运算： 这里指对同一个数据集的多次使用
分享到：
相关推荐
9. **社区与生态**：简述Spark的开源社区，介绍社区贡献和获取帮助的方式，以及相关的扩展库和项目，如Spark MLlib（机器学习库）、Spark Streaming和GraphX。 综上，这份PPT是针对开发者和数据工程师的宝贵资源，...
Spark提供了多个模块，如SparkCore、SparkSQL、SparkStreaming、MLib和GraphX，用于支持不同的数据处理任务。其生态系统完备，覆盖了从批处理到实时处理的广泛场景。 5.3 运行架构 Spark的运行架构包括基本概念、...
### 大数据相关知识、数据集、...10. **如何使用Python和Spark进行文本分析？** 通过以上内容的学习，读者可以深入了解大数据领域的基础知识、技术栈和实际操作技巧，这将有助于提高在大数据开发和分析方面的能力。
K-means、DBSCAN和层次聚类是常见的聚类算法，本节会深入讲解它们的原理和适用场景。 第6节：分类与回归 本节将涵盖监督学习中的分类（如决策树、随机森林、SVM）和回归（如线性回归、逻辑回归、梯度提升机）算法，...
1. **Hadoop概述**：简述Hadoop的历史、设计理念和主要组件，如HDFS和MapReduce。 2. **HDFS架构**：详细介绍HDFS的节点角色（NameNode、DataNode）、数据块和副本策略。 3. **MapReduce原理**：解析Map和Reduce阶段...
1. 云计算的基本原理和类型：解释IaaS、PaaS和SaaS的区别及应用场景。 2. 云计算的商业价值：展示如何通过云计算提升效率和降低成本。 3. 大数据概述：定义大数据，介绍4V特征，并讨论其对商务的影响。 4. 大数据...
- **命令详解**：掌握常用的Linux高级命令如grep、awk、sed等的使用方法及其应用场景。 - **实践操作**：通过具体案例展示如何在实际工作中使用这些命令来解决问题。 ### 2. HDFS读写流程 - **HDFS架构**：理解HDFS...
2. 程序设计基础：讲解了程序的控制结构，如顺序、选择、循环，以及函数的使用和模块化编程的思想。 3. 数据结构与算法：深入探讨了数组、链表、栈、队列、树等数据结构，以及排序、查找等基本算法，强调了算法效率...
11. **NoSQL与大数据**：简述非关系型数据库（NoSQL）的类型和应用场景，以及在大数据环境下的数据库技术，如Hadoop和Spark。 12. **数据库应用系统**：讨论数据库在Web开发、企业信息系统等方面的应用，以及如何...
4. **大数据处理**：使用Hadoop、Spark等工具进行大数据分析和处理。 通过这些案例的学习和实践，不仅可以巩固理论知识，还能培养解决实际问题的能力，为将来从事Java相关工作打下坚实的基础。
### Yarn框架代码详细分析V0.3.pdf 知识点提炼 #### 一、Yarn框架概述 ...通过对各个模块及其功能的深入分析，我们可以更好地理解YARN的工作原理和应用场景，这对于开发和维护基于YARN的大规模分布式系统至关重要。
5. **Hadoop生态系统的组件**：涵盖Hadoop家族中的其他重要工具，如HBase（分布式数据库）、Hive（数据仓库工具）、Pig（数据流处理）、Spark（快速数据处理框架）等，以及它们在大数据处理中的应用场景。...
- **知识点梳理**：了解大数据处理的基本框架（如Hadoop、Spark等），熟悉分布式计算原理。 - **常见问题**：“简述MapReduce的工作流程”、“如何优化大数据处理任务”等。 - **答题技巧**：突出强调分布式环境下...
- **大规模数据分析**：讨论在处理大量数据时，SPSS如何与其他工具（如Hadoop、Spark）结合使用，提高数据处理效率。 - **云计算支持**：介绍SPSS在云平台上的部署方式及其优势，比如弹性伸缩能力、计算资源按需分配...