linux spark 安装
0.准备工作 hadoop 服务器
10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master sparkmaster 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 sparkwork1 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 hadoop3 slaver1 sparkwork2
1.安裝 scala
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz scp -r scala-2.11.7.tgz zkkafka@10.156.50.36:/home/zkkafka/ scp -r scala-2.11.7.tgz zkkafka@10.156.50.37:/home/zkkafka/ tar -zxvf scala-2.11.7.tgz mv scala-2.11.7 scala vim ~/.bash_profile export SCALA_HOME=/home/zkkafka/scala export PATH=$PATH:$SCALA_HOME/bin source ~/.bash_profile
2.scala 測試
scala -version [zkkafka@yanfabu2-37 ~]$ scala -version Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL
3.安裝 spark
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.6.tgz tar xf spark-2.3.3-bin-hadoop2.6.tgz scp -r spark-2.3.3-bin-hadoop2.6.tgz zkkafka@10.156.50.37:/home/zkkafka/ rm -rf spark-2.3.3-bin-hadoop2.6.tgz mv spark-2.3.3-bin-hadoop2.6 spark vim ~/.bash_profile export SPARK_HOME=/home/zkkafka/spark export PATH=$PATH:$SPARK_HOME/bin source ~/.bash_profile scp -r ~/.bash_profile zkkafka@10.156.50.37:/home/zkkafka/
PATH=$PATH:$HOME/.local/bin:$HOME/bin export PATH export LANG="zh_CN.utf8" export JAVA_HOME=/home/zkkafka/jdk1.8.0_151 export ZOOKEEPER_HOME=/home/zkkafka/zookeeper-3.4.6 export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar: export PATH=$JAVA_HOME/bin:$PATH export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf export KAFKA_HOME=/home/zkkafka/kafka_2.11-2.1.1 export PATH=$KAFKA_HOME/bin:$PATH export HADOOP_HOME=/home/zkkafka/hadoop export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH export HBASE_HOME=/home/zkkafka/hbase export PATH=$HBASE_HOME/bin:$PATH export HIVE_HOME=/home/zkkafka/hive export PATH=$HIVE_HOME/bin:$PATH export HIVE_CONF_DIR=$HIVE_HOME/conf export SQOOP_HOME=/home/zkkafka/sqoop export PATH=$PATH:$SQOOP_HOME/bin #export SQOOP_HOME=/home/zkkafka/sqoop2 #export PATH=$PATH:$SQOOP_HOME/bin #export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra #export CATALINA_BASE=$SQOOP_HOME/server #export LOGDIR=$SQOOP_HOME/logs/ export PIG_HOME=/home/zkkafka/pig export PATH=$PATH:$PIG_HOME/bin export SCALA_HOME=/home/zkkafka/scala export PATH=$PATH:$SCALA_HOME/bin export SPARK_HOME=/home/zkkafka/spark export PATH=$PATH:$SPARK_HOME/bin
4.修改配置文件
cp conf/spark-env.sh.template conf/spark-env.sh vim conf/spark-env.sh export JAVA_HOME=/home/zkkafka/jdk1.8.0_151 export SCALA_HOME=/home/zkkafka/scala export HADOOP_HOME=/home/zkkafka/hadoop export HADOOP_CONF_DIR=/home/zkkafka/hadoop/etc/hadoop export SPARK_MASTER_IP=sparkmaster export SPARK_WORKER_MEMORY=1g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 vim conf/slaves sparkwork1 sparkwork2
5.启动
sbin/start-all.sh 2>&1 >> /dev/null &
[zkkafka@yanfabu2-35 spark]$ jps 6880 JournalNode 95745 Master 59330 QuorumPeerMain 95815 Jps 56377 Kafka 7818 JobHistoryServer 7515 ResourceManager 7084 NameNode 7405 DFSZKFailoverController [zkkafka@yanfabu2-36 spark]$ jps 127409 NameNode 127123 JournalNode 54724 Jps 37365 QuorumPeerMain 54665 Worker 34571 Kafka 127293 DFSZKFailoverController [zkkafka@yanfabu2-37 ~]$ jps 28384 Worker 28433 Jps 129444 DataNode 42955 QuorumPeerMain 129370 JournalNode 40189 Kafka 129580 NodeManager
6. 访问 web-ui
http://10.156.50.35:8080/
捐助开发者
在兴趣的驱动下,写一个免费
的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(支持支付宝和微信 以及扣扣群),没钱捧个人场,谢谢各位。
个人主页:http://knight-black-bob.iteye.com/
谢谢您的赞助,我会做的更好!
相关推荐
spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...
### Linux中Scala和Spark安装教程 #### Scala安装步骤详解 在深入探讨如何在Linux系统上安装Scala和Spark之前,我们首先需要确保系统已正确安装了JDK,因为Scala和Spark都依赖于Java运行环境。 ##### 步骤1:安装...
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装,但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码,例如可以单机安装Spark,单机运行计算圆周率的Spark程序。...
在Linux环境下安装Spark能够充分利用其开源特性和高性能优势。本文将详细介绍如何在Linux环境中安装Spark,涵盖从系统准备、下载到配置和测试的全过程。 1. **系统准备** 在开始安装之前,确保你的Linux系统已经...
### Spark安装与开发环境搭建详解 #### 概述 随着大数据技术的发展,Apache Spark作为一款高性能的数据处理框架,被广泛应用于各种数据处理场景之中。本文将详细介绍如何在本地环境中搭建Spark开发环境,并通过一...
Spark 环境搭建 - Linux 本资源summary是关于在 Linux 上搭建 Spark 环境的详细教程。该教程从准备环境开始,到安装 JDK、Scala 和 Spark,最后设置 SSH 免密码登录,旨在帮助用户快速搭建 Spark 环境。 一、环境...
### Spark2.0安装教程与Spark1.3共存配置详解 #### 一、引言 随着大数据技术的发展,Apache Spark 已成为处理大规模数据集的重要工具之一。然而,在实际应用过程中,不同的项目可能需要使用不同版本的 Spark 来...
在Linux环境下搭建Spark开发环境,需要经历一系列的步骤,包括JDK、Scala、Hadoop的安装配置,以及Spark的下载、配置和启动。以下将详细介绍这个过程。 **一、JDK环境的安装与配置** 1. **下载JDK**:首先,你需要...
- 进入Spark安装目录下的`conf`目录。 - 重命名并编辑`spark-env.sh.template`文件,设置JDK路径、Master IP等配置项。 - 同样地,重命名并编辑`slaves.template`文件,添加Worker节点的信息。 5. **复制配置到...
这个“spark安装.zip”文件显然包含了针对大数据分析初学者的Spark安装教程,以及如何使用Python进行测试的步骤。下面将详细介绍Spark的安装过程,以及如何利用Python与Spark进行交互。 首先,安装Spark需要准备...
Linux环境下Hadoop与Spark安装配置手册知识点 1. JDK的安装与配置 - 在Linux环境下安装Java Development Kit(JDK)是运行Hadoop和Spark的前提。手册中提到使用的JDK版本为jdk-8u20-linux-i586.tar.gz,这是一个...
总结,Spark Standalone模式的安装部署是一个基础但重要的实践环节,它涉及到了Linux环境管理、文件配置以及分布式系统的基础操作。通过这次实验,可以深入理解Spark集群的工作原理,为后续的数据处理和分析打下坚实...
1. 下载Spark安装文件:用户可以访问Apache Spark的官方网站下载页面(***),选择合适的版本下载。例如,文件名"spark-1.3.0-bin-hadoop1.tgz"指的是Spark 1.3.0版本的安装包,它已经集成了对Hadoop 1的支持。除了...
在本文中,我们将深入探讨一个特定的问题:在Linux-spark版本的微信上,聊天窗口显示字体不全,提示缺少simsun.ttc和simsun.ttf字体文件。这两个文件是微软Windows系统中常用的宋体字库,主要用于支持简体中文的显示...
需要自己先安装jdk和Hadoop,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,https://download.csdn.net/download/weixin_44033210/12657738,这里有自动安装jdk和Hadoop的脚本
通过上述步骤,您可以成功地在Linux环境下安装和配置Scala与Spark,并启动Spark集群。这为后续使用Scala编写Spark应用程序打下了坚实的基础。在整个过程中,注意确保所有的配置文件都正确无误,避免出现环境问题导致...
#### Spark安装部署环境 ##### 环境部署 **软件需求** - **Spark**: 下载最新稳定版或指定版本。 - **Scala**: 与 Spark 版本兼容的 Scala 版本。 **安装步骤** 1. **下载并安装 Spark** - 下载 Spark 安装包。 -...
#### 三、Spark安装 **3.1 安装Spark** 1. 在所有节点上下载Spark安装包。 2. 解压并移动到 `/usr/local` 目录。 3. 设置权限给`hadoop`用户。 4. 修改 `/etc/profile` 文件,添加Spark环境变量。 5. 使更改生效。 ...