spark有三种部署方式:standalone,spark on mesos 和 spark on yarn. standalone用于开发; spark on mesos官方推荐, mesos调度更强大; 如何同时使用hadoop, 那么spark on yarn兼容更好。本文是在介绍第三种方式,需要先
安装hadoop-2.7.3(略)。
一、准备工作(scala & spark)
1.1 centOS6服务器3台
master 192.168.3.140 (master.hadoop.zjportdns.gov.cn)
node1 192.168.3.141 (node1.hadoop.zjportdns.gov.cn)
node2 192.168.3.142 (node2.hadoop.zjportdns.gov.cn)
1.2 下载安装包
scala-2.11.8.tgz
spark-2.1.0-bin-hadoop2.7.tgz
上传到三台服务器/usr/local/目录下
二、安装(三台机器执行相同操作)
2.1解压scala
cd /usr/local
tar -xvf scala-2.11.8.tgz
2.2设置环境变量
echo -e "export SCALA_HOME=/usr/local/scala-2.11.8" >> /etc/profile
echo -e "export PATH=$PATH:$SCALA_HOME/bin" >> /etc/profile
2.3解压spark
tar -xvf spark-2.1.0-bin-hadoop2.7.tgz
2.4设置环境变量
echo -e "export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7" >> /etc/profile
echo -e "export PATH=$PATH:$SPARK_HOME/bin" >> /etc/profile
2.5修改命令
cd spark-2.1.0-bin-hadoop2.7/conf
cp slaves.template slaves
echo -e "node1.hadoop.zjportdns.gov.cn\nnode2.hadoop.zjportdns.gov.cn" > slaves
cp spark-env.sh.template spark-env.sh
echo -e "export SCALA_HOME=/usr/local/scala-2.11.8" >> spark-env.sh
echo -e "export JAVA_HOME=/usr/local/jdk1.7.0_79" >> spark-env.sh
source /etc/profile
三、运行
3.1启动
$SPARK_HOME/sbin/start-all.sh
3.2验证
http://master.hadoop.zjportdns.gov.cn:8080/
3.3停止
$SPARK_HOME/sbin/stop-all.sh
- 大小: 37.2 KB
分享到:
相关推荐
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip 学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip 学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记...
云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-云的学习...
云计算大数据学习笔记,让你深入学习云计算大数据学习技术。
《大数据与机器学习-实践方法与行业案例》读书笔记&思维导图,看书时做的笔记,分章节写的,比较全,方便查找。
云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-云的学习...
内容概要:本文档涵盖了大数据领域的核心知识点,主要包括Hadoop生态系统、MapReduce、YARN、Spark、Zookeeper、Hbase、Hive等组件的技术介绍和原理剖析。文档详细解释了各个框架的功能和使用方法,探讨了HDFS、...
大数据学习笔记 本资源摘要信息涵盖了大数据领域中的多个方面,包括Hadoop、HBase、Sqoop、Spark和Hive等...大数据学习笔记涵盖了Hadoop、HBase、Sqoop、Spark和Hive等技术栈,提供了对大数据领域的深入了解和掌握。
BigData大数据学习笔记
在这个压缩包中,很可能是包含了相关的代码示例、课程笔记、项目文档等资源,帮助学习者深入理解和掌握大数据技术与Java EE平台的集成应用。 【描述】"大数据211&212-javaee项目实践.zip" 没有提供额外的信息,但...
- 环境变量配置:为了使用外部安装的 Spark,需要设置 `SPARK_HOME` 环境变量,指向 Spark 的安装路径。 - Spark 解释器配置:在 Zeppelin 中,需要配置 Spark 解释器,包括 `master` 地址,例如 `spark://10.3.32...
大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......