`
流氓阿飞
  • 浏览: 18629 次
社区版块
存档分类
最新评论

Spark2.x安装配置

阅读更多

1、安装Hadoop集群

 

    详情请看以下安装教程

    Hadoop配置与安装:http://liumangafei.iteye.com/blog/2303359

    Hadoop基于Quorum Journal Manager的高可用配置:http://liumangafei.iteye.com/blog/2322063

 

    因为安装hadoop的时候肯定要安装jdk,所以就不在这里赘述了

 

2、安装scala

    

    下载scala:http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

    放在指定安装目录下如:/usr/scala/scala-2.11.8/

    

vim  /etc/profile

 

   增加以下内容

    

export SCALA_HOME=/usr/scala/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

 

    保存增加内容并执行

 

 

source /etc/profile
 

 

    验证配置是否成功

 

 

scala -version
 

 

    同步配置到其他机器上

 

3、配置Spark

 

    主要配置文件有两个spark-env.sh和slaves

 

    拷贝spark-env.sh.template为spark-env.sh

    拷贝slaves.template为slaves

 

    spark-env.sh添加以下代码

export SCALA_HOME=/usr/scala/scala-2.11.8
export JAVA_HOME=/usr/java/jdk1.8.0_91
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.6.4/etc/hadoop

 

    slaves添加与hadoop中的slaves配置相同的内容

hadoop2
hadoop3
hadoop4
hadoop5
hadoop6

 

    拷贝spark安装文件到其他几台slave上

 

4、启动spark

 

sbin/start-all.sh

 

    访问hadoop1:8080端口,即可显示spark的管理界面了

分享到:
评论

相关推荐

    Apache Spark 2.x for Java Developers

    除了上述技术点,书中还可能涉及Spark的部署和安装,如何在不同的运行模式下配置Spark(本地模式、集群模式、云服务模式等),以及如何从头开始构建一个Spark应用。 在进行Spark编程时,Java开发者需要掌握如何创建...

    hive3.x编译spark3.x包

    2. **获取源码**:从Apache官网下载Hive和Spark的源代码。对于Hive,选择3.1.x系列的分支,对于Spark,选择3.0.0或3.1.3版本,这取决于你希望编译的Hive-Spark组合。 3. **应用补丁**:描述中提到的“补丁文件包”...

    基于Spark2.x新闻网大数据实时分析可视化系统项目.zip

    该项目是基于Spark 2.x构建的一个新闻网大数据实时分析与可视化的系统。Spark作为一个分布式计算框架,因其高效、灵活和易用的特点,在大数据处理领域广泛应用。Java作为编程语言,提供了丰富的库支持,使得开发者...

    spark2.x实战

    ### Spark2.x实战知识点梳理 #### 一、Spark概述 **1.1 Spark简介** - **定义**: Apache Spark 是一个开源的大规模数据处理框架。它提供了高性能的数据处理能力,并且支持多种编程语言如 Scala、Java 和 Python。...

    spark2.x集群搭建

    总结来说,Spark 2.x集群的搭建涉及多个步骤,包括环境准备、安装、配置、启动以及性能调优。每个环节都需要细致操作,以确保集群在生产环境中的稳定性和效率。理解并熟练掌握这些知识点,对于管理和维护大数据处理...

    Spark2.x快速入门教程-内含源码以及设计说明书(可以自己运行复现).zip

    《Spark2.x快速入门教程-内含源码以及设计说明书》是一个全面的教程,旨在帮助初学者快速掌握Spark2.x的核心特性和应用。本教程涵盖了多个关键知识点,包括Spark SQL、Structured Streaming、Hive on Spark以及多种...

    23:Spark2.3.x分布式集群安装部署.zip

    2. **配置Spark**:编辑`conf/spark-env.sh`或`conf/spark-env.cmd`(根据操作系统),设置SPARK_MASTER_IP、SPARK_WORKER_IP等相关环境变量。在Standalone模式下,还需要配置SPARK_MASTER_HOST和SPARK_WORKER_CORES...

    Spark2.x+Python大数据机器学习实战视频课程

    ### Spark2.x与Python在大数据机器学习中的应用 随着数据量的不断增长和技术的发展,大数据处理及分析成为了各个行业中不可或缺的一部分。《Spark2.x+Python大数据机器学习实战视频课程》正是针对这一趋势而设计的...

    Spark 2.x + Python 大数据机器学习实战

    《Spark 2.x + Python 大数据机器学习实战》是一门深入探讨如何利用Apache Spark 2.x和Python进行大数据分析和机器学习的课程。Spark作为分布式计算框架,因其高效的内存计算和灵活的数据处理能力,成为了大数据领域...

    Spark2.x企业级大数据项目实战(实时统计、离线分析和实时ETL)课程下载

    ### Spark2.x企业级大数据项目实战(实时统计、离线分析和实时ETL)课程知识点概览 #### 一、Spark2.x概述与环境搭建 - **Spark2.x简介**: - Apache Spark是一个开源的大数据处理框架,支持分布式数据处理、机器...

    CDH6.3.2之升级spark-3.3.1.doc

    - 将解压后的Spark目录复制到CDH的安装目录下:`cp -r spark-3.3.1-bin-3.0.0-cdh6.3.2 /opt/cloudera/parcels/CDH/lib/spark3` 3. **配置文件复制**: - **hive-site.xml**:`cp /etc/hive/conf/hive-site.xml /...

    Java基于Spark2.x新闻网大数据实时分析可视化系统项目源码.zip

    该项目是使用Java编程语言开发的,基于Spark 2.x版本的大数据实时分析和可视化系统。主要目的是处理和分析大量的新闻网站日志数据,提供实时的数据洞察,并通过可视化界面展示结果。下面将详细介绍其中涉及的关键...

    基于Spark2.X的新闻话题的实时统计分析系统源码+详细部署说明.zip

    基于Spark2.X的新闻话题的实时统计分析系统源码+详细部署说明.zip 一、业务需求分析 1.捕获用户浏览日志信息 2.实时分析前20名流量最高的新闻话题 3.实时统计当前线上已曝光的新闻话题 4.统计哪个时段用户浏览...

    spark安装.zip

    3. **配置环境变量**: 在系统环境变量中添加SPARK_HOME,指向Spark的安装目录。例如,如果Spark解压到了`/usr/local/spark`,则添加如下环境变量: - Windows: 在系统变量中新建`SPARK_HOME`,值为`C:\usr\local\...

    Spark2.8.3.exe

    `spark_2_8_3.exe` 是 Spark Windows 安装程序,用户可以通过这个文件在 Windows 系统上部署 Spark。安装后,可以通过 Scala、Java 或 Python 等编程语言编写 Spark 应用,并使用 Spark Shell 进行交互式测试。 **...

    Hadoop2.X集群安装与配置

    以上就是Hadoop 2.x集群的安装与配置过程,这是一个基础的大数据环境搭建,后续可以根据需要添加更多节点,或者集成其他大数据组件,如Hive、Spark等,构建更复杂的数据处理平台。在实际生产环境中,还需要考虑高...

    基于Java实现Spark2x新闻网大数据实时分析可视化系统项目【100012794】

    安装部署阶段包括配置和启动各个组件,如Spark集群、数据库、消息队列等。此外,还需要编写脚本自动化部署流程,确保系统的稳定运行。 整合继承与开发涵盖了将现有工具和技术集成到项目中的过程,例如使用Apache ...

    本地调试所需spark-x.x.x-bin-hadoop包

    在本地环境调试Spark应用时,你需要首先解压spark-x.x.x-bin-hadoop.rar,这将得到一个包含所有Spark可执行文件和配置文件的目录结构。然后,你可以设置SPARK_HOME环境变量指向这个目录,接着配置Spark的启动参数,...

    spark安装配置教程.docx

    ### Spark安装配置教程 #### 一、前提准备 在开始安装Spark之前,有几个重要的准备工作需要完成。 1. **确保Java已安装**: - Spark依赖于Java环境运行,因此需要确保系统上已经安装了JDK,并且正确设置了`JAVA_...

Global site tag (gtag.js) - Google Analytics