spark集群安装-Standalone

spark集群一共有三种工作方式，分别是：

Standalone Deploy Mode: simplest way to deploy Spark on a private cluster

Apache Mesos

Hadoop YARN

当然第一种安装最简单，当然要先来简单的。

 

1. 准备工作

三台centos：spark01/spark02/spark03

安装jdk 配置好JAVA_HOME

下载spark安装包：

https://mirror.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz

 

2. 解压

tar -xvf spark-2.1.0-bin-hadoop2.7.tgz

 

3. 启动

首先启动master（spark01）：

sbin/start-master.sh

然后启动slave（spark02和spark03）

sbin/start-slave.sh spark://spark01:7077

 

4.测试

提交一个测试任务到集群 使用自带的计算pi的示例，有两种方式：

# 这种方式会提交任务到集群 但是使用的客户端模式 也就是任务的输出会在控制台显示

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop01:7077 --executor-memory 1G --total-executor-cores 2 examples/jars/spark-examples_2.11-2.1.0.jar 1000

# 这种方式任务会提交到集群 输出要通过web ui查看，控制台看不到结果

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark01:7077 --deploy-mode cluster --supervise --executor-memory 1G --total-executor-cores 2 examples/jars/spark-examples_2.11-2.1.0.jar 1000