`
knight_black_bob
  • 浏览: 853188 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

linux spark 安装

阅读更多

linux spark 安装

 

0.准备工作 hadoop 服务器

10.156.50.35 yanfabu2-35.base.app.dev.yf zk1  hadoop1 master1 master sparkmaster
10.156.50.36 yanfabu2-36.base.app.dev.yf zk2  hadoop2 master2        sparkwork1
10.156.50.37 yanfabu2-37.base.app.dev.yf zk3  hadoop3 slaver1        sparkwork2

 

1.安裝 scala

 

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
scp -r scala-2.11.7.tgz  zkkafka@10.156.50.36:/home/zkkafka/
scp -r scala-2.11.7.tgz  zkkafka@10.156.50.37:/home/zkkafka/

tar -zxvf scala-2.11.7.tgz
mv  scala-2.11.7 scala

vim ~/.bash_profile

export SCALA_HOME=/home/zkkafka/scala
export PATH=$PATH:$SCALA_HOME/bin

source ~/.bash_profile

 

2.scala 測試

scala -version
[zkkafka@yanfabu2-37 ~]$ scala -version
Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL

 

 

3.安裝 spark

 

wget  https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.6.tgz
tar xf spark-2.3.3-bin-hadoop2.6.tgz
scp -r spark-2.3.3-bin-hadoop2.6.tgz  zkkafka@10.156.50.37:/home/zkkafka/
rm -rf spark-2.3.3-bin-hadoop2.6.tgz
mv spark-2.3.3-bin-hadoop2.6 spark


vim ~/.bash_profile

export SPARK_HOME=/home/zkkafka/spark
export PATH=$PATH:$SPARK_HOME/bin

source ~/.bash_profile

scp -r ~/.bash_profile  zkkafka@10.156.50.37:/home/zkkafka/

 

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH
export LANG="zh_CN.utf8"

export   JAVA_HOME=/home/zkkafka/jdk1.8.0_151
export   ZOOKEEPER_HOME=/home/zkkafka/zookeeper-3.4.6
export   CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:
export   PATH=$JAVA_HOME/bin:$PATH
export   PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

export KAFKA_HOME=/home/zkkafka/kafka_2.11-2.1.1
export PATH=$KAFKA_HOME/bin:$PATH

export HADOOP_HOME=/home/zkkafka/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH


export HBASE_HOME=/home/zkkafka/hbase
export PATH=$HBASE_HOME/bin:$PATH

export HIVE_HOME=/home/zkkafka/hive
export PATH=$HIVE_HOME/bin:$PATH
export HIVE_CONF_DIR=$HIVE_HOME/conf


export SQOOP_HOME=/home/zkkafka/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

#export SQOOP_HOME=/home/zkkafka/sqoop2
#export PATH=$PATH:$SQOOP_HOME/bin
#export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra
#export CATALINA_BASE=$SQOOP_HOME/server
#export LOGDIR=$SQOOP_HOME/logs/

export PIG_HOME=/home/zkkafka/pig
export PATH=$PATH:$PIG_HOME/bin

export SCALA_HOME=/home/zkkafka/scala
export PATH=$PATH:$SCALA_HOME/bin

export SPARK_HOME=/home/zkkafka/spark
export PATH=$PATH:$SPARK_HOME/bin

 

 

4.修改配置文件

cp conf/spark-env.sh.template  conf/spark-env.sh
vim  conf/spark-env.sh


export JAVA_HOME=/home/zkkafka/jdk1.8.0_151
export SCALA_HOME=/home/zkkafka/scala
export HADOOP_HOME=/home/zkkafka/hadoop
export HADOOP_CONF_DIR=/home/zkkafka/hadoop/etc/hadoop
export SPARK_MASTER_IP=sparkmaster
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1



vim conf/slaves
sparkwork1
sparkwork2

 

5.启动

sbin/start-all.sh 2>&1 >> /dev/null &

 

[zkkafka@yanfabu2-35 spark]$ jps
6880 JournalNode
95745 Master
59330 QuorumPeerMain
95815 Jps
56377 Kafka
7818 JobHistoryServer
7515 ResourceManager
7084 NameNode
7405 DFSZKFailoverController

[zkkafka@yanfabu2-36 spark]$ jps
127409 NameNode
127123 JournalNode
54724 Jps
37365 QuorumPeerMain
54665 Worker
34571 Kafka
127293 DFSZKFailoverController

[zkkafka@yanfabu2-37 ~]$ jps
28384 Worker
28433 Jps
129444 DataNode
42955 QuorumPeerMain
129370 JournalNode
40189 Kafka
129580 NodeManager

 

6. 访问 web-ui

http://10.156.50.35:8080/


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者 

在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(支持支付宝和微信 以及扣扣群),没钱捧个人场,谢谢各位。

 

个人主页http://knight-black-bob.iteye.com/



 
 
 谢谢您的赞助,我会做的更好!

0
0
分享到:
评论

相关推荐

    spark Linux 版本安装包

    spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...

    Linux中Scala和Spark安装

    ### Linux中Scala和Spark安装教程 #### Scala安装步骤详解 在深入探讨如何在Linux系统上安装Scala和Spark之前,我们首先需要确保系统已正确安装了JDK,因为Scala和Spark都依赖于Java运行环境。 ##### 步骤1:安装...

    Linux安装Spark集群

    Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装,但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码,例如可以单机安装Spark,单机运行计算圆周率的Spark程序。...

    基于Linux环境安装spark的全套资源包

    在Linux环境下安装Spark能够充分利用其开源特性和高性能优势。本文将详细介绍如何在Linux环境中安装Spark,涵盖从系统准备、下载到配置和测试的全过程。 1. **系统准备** 在开始安装之前,确保你的Linux系统已经...

    spark安装

    ### Spark安装与开发环境搭建详解 #### 概述 随着大数据技术的发展,Apache Spark作为一款高性能的数据处理框架,被广泛应用于各种数据处理场景之中。本文将详细介绍如何在本地环境中搭建Spark开发环境,并通过一...

    Spark环境搭建-Linux.pptx

    Spark 环境搭建 - Linux 本资源summary是关于在 Linux 上搭建 Spark 环境的详细教程。该教程从准备环境开始,到安装 JDK、Scala 和 Spark,最后设置 SSH 免密码登录,旨在帮助用户快速搭建 Spark 环境。 一、环境...

    spark2 安装教程

    ### Spark2.0安装教程与Spark1.3共存配置详解 #### 一、引言 随着大数据技术的发展,Apache Spark 已成为处理大规模数据集的重要工具之一。然而,在实际应用过程中,不同的项目可能需要使用不同版本的 Spark 来...

    Linux下搭建spark.docx

    在Linux环境下搭建Spark开发环境,需要经历一系列的步骤,包括JDK、Scala、Hadoop的安装配置,以及Spark的下载、配置和启动。以下将详细介绍这个过程。 **一、JDK环境的安装与配置** 1. **下载JDK**:首先,你需要...

    Spark安装文档以及介绍

    - 进入Spark安装目录下的`conf`目录。 - 重命名并编辑`spark-env.sh.template`文件,设置JDK路径、Master IP等配置项。 - 同样地,重命名并编辑`slaves.template`文件,添加Worker节点的信息。 5. **复制配置到...

    spark安装.zip

    这个“spark安装.zip”文件显然包含了针对大数据分析初学者的Spark安装教程,以及如何使用Python进行测试的步骤。下面将详细介绍Spark的安装过程,以及如何利用Python与Spark进行交互。 首先,安装Spark需要准备...

    Hadoop与Spark安装配置手册

    Linux环境下Hadoop与Spark安装配置手册知识点 1. JDK的安装与配置 - 在Linux环境下安装Java Development Kit(JDK)是运行Hadoop和Spark的前提。手册中提到使用的JDK版本为jdk-8u20-linux-i586.tar.gz,这是一个...

    Spark实验:Standalone模式安装部署(带答案)1

    总结,Spark Standalone模式的安装部署是一个基础但重要的实践环节,它涉及到了Linux环境管理、文件配置以及分布式系统的基础操作。通过这次实验,可以深入理解Spark集群的工作原理,为后续的数据处理和分析打下坚实...

    Ubuntu下安装spark.pdf

    1. 下载Spark安装文件:用户可以访问Apache Spark的官方网站下载页面(***),选择合适的版本下载。例如,文件名"spark-1.3.0-bin-hadoop1.tgz"指的是Spark 1.3.0版本的安装包,它已经集成了对Hadoop 1的支持。除了...

    linux-spark版微信聊天框内字体缺失simsun.ttc simsun.ttf

    在本文中,我们将深入探讨一个特定的问题:在Linux-spark版本的微信上,聊天窗口显示字体不全,提示缺少simsun.ttc和simsun.ttf字体文件。这两个文件是微软Windows系统中常用的宋体字库,主要用于支持简体中文的显示...

    Linux自动安装Spark(单机)(Shell脚本)

    需要自己先安装jdk和Hadoop,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,https://download.csdn.net/download/weixin_44033210/12657738,这里有自动安装jdk和Hadoop的脚本

    scala和spark的安装

    通过上述步骤,您可以成功地在Linux环境下安装和配置Scala与Spark,并启动Spark集群。这为后续使用Scala编写Spark应用程序打下了坚实的基础。在整个过程中,注意确保所有的配置文件都正确无误,避免出现环境问题导致...

    hdfs+spark安装指南

    #### Spark安装部署环境 ##### 环境部署 **软件需求** - **Spark**: 下载最新稳定版或指定版本。 - **Scala**: 与 Spark 版本兼容的 Scala 版本。 **安装步骤** 1. **下载并安装 Spark** - 下载 Spark 安装包。 -...

    spark2.1集群安装

    #### 三、Spark安装 **3.1 安装Spark** 1. 在所有节点上下载Spark安装包。 2. 解压并移动到 `/usr/local` 目录。 3. 设置权限给`hadoop`用户。 4. 修改 `/etc/profile` 文件,添加Spark环境变量。 5. 使更改生效。 ...

Global site tag (gtag.js) - Google Analytics