1.
RDD：Resilient Distributed Dataset 弹性分布数据集
http://developer.51cto.com/art/201309/410276_1.htm
2.spark-shell 的使用
./spark-shell --driver-library-path :/usr/local/hadoop-1.1.2/lib/native/Linux-i386-32:/usr/local/hadoop-1.1.2/lib/native/Linux-amd64-64:/usr/local/hadoop-1.1.2/lib/hadoop-lzo-0.4.17-SNAPSHOT.jar
3.
wordcount 程序
val file = sc.textFile("hdfs://192.168.100.99:9000/user/chaobo/test/tmp/2014/07/07/hive-site.xml.lzo")
val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_)
结果打印到屏幕count.collect()
结果写到hdfs count.saveAsTextFile("hdfs://192.168.100.99:9000/user/chaobo/result_20140707") 最后一级目录不能存在
4.启动主节点
../sbin/start-master.sh
5.启动子节点
../sbin/start-slave.sh --webui-port 8081
分享到：
相关推荐
以下是对Spark性能调优和个人总结的一些关键知识点： 1. **资源分配**： - 在Spark应用中，通过`spark-submit`脚本调整参数如`--num-executors`（executor数量）、`--executor-memory`（executor内存）和`--...
忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。spark的核心是RDD（弹性分布式数据集），一种通用的数据抽象，封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象...
Spark是一个高效的分布式计算系统，发源...Spark立足于内存计算，相比Hadoop MapReduce，Spark在性能上要高100倍，而且Spark提供了比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
spark学习总结-入门
Spark 生产优化总结 Spark 生产优化是企业中 Spark 作业的调优的总结，涉及 Spark 任务的详细解释、调度、资源分配等多方面的内容。本文将从三个方向考虑 Spark 生产优化：磁盘存储、CPU cores 和内存。 磁盘存储...
本文将基于“Spark学习总结-入门.rar”这份资料，对Spark的基础知识进行详细阐述，帮助读者深入理解Spark的核心概念和使用方法。 1. **Spark概述** Spark最初由加州大学伯克利分校AMPLab开发，后来成为Apache顶级...
Spark 安装与使用实验报告 本实验报告的目的是学习大数据分析引擎 Spark 的安装与使用。Spark 是一个基于内存的分布式计算框架，能够高效地处理大规模数据。 一、实验目的 本实验的目的是学习 Spark 的安装与使用...
"Spark期末复习题总结" Spark是Apache开源的大数据处理引擎，主要用于分布式计算和内存式计算。Spark可以实现多种形式的分布式计算，如内存式运算、机器学习、交互式查询、流式计算等。 1. Spark的核心组件包括...
总结来说，将IK分词器与Spark结合，可以充分利用Spark的并行计算能力，高效处理大量中文文本的分词任务。同时，通过与Hive和Elasticsearch的集成，我们可以将处理结果存储到适合查询和分析的系统中，实现完整的数据...
本示例将详细介绍如何使用 Spark 从 HBase 中读取数据，并通过 Spark SQL 将其存储到 MySQL 数据库中。 首先，让我们了解 Spark 与 HBase 的交互。Spark 提供了 `spark-hbase-connector` 库，允许我们方便地连接到 ...
Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)，总结的很全面。 Spark零基础思维导图(内含spark-core ，spark-streaming,spark-sql)。 Spark零基础思维导图(内含spark-core ，spark-streaming,...
例如，使用JavaSparkContext创建Spark上下文，使用JavaPairRDD处理键值对数据。 - DataFrame和Dataset：Spark SQL引入了DataFrame和Dataset，它们是类型安全的，且提供了更丰富的API。在Java中，可以通过...
总结来说，Spark的词频统计实践涵盖了从环境配置、Spark应用开发到实际执行的全过程。通过这一实践，不仅可以深入理解Scala编程，还能掌握Spark的核心机制和分布式计算的思想，为后续的大数据处理项目奠定坚实的基础...
Spark总结PPT介绍spark常用的方法，shuffle，优化方法等
下面是 Spark 安装使用教程 PDF 中的知识点总结： 1. Spark 概述 Spark 是一个开源的计算引擎，可以快速地处理大量数据。Spark 的核心是 SparkContext，它是 Spark 的主要入口点。SparkContext 负责管理作业的执行...
然而，在实际应用中，开发人员可能会遇到一个常见问题——Spark 无法直接使用 Hive 中定义的自定义函数（UDF）。本文将深入探讨这一问题，并提供解决方案。 #### 一、问题背景 当开发者尝试在 Spark 应用程序中...
总结，Spark上的时间序列预测结合ARIMA和Holt-Winters方法，提供了强大的分布式预测能力。通过Scala语言，我们可以灵活地构建和优化模型，处理大规模时间序列数据，实现高效、准确的预测。在实际应用中，还需要根据...