`

spark1.2.0版本搭建伪分布式环境

阅读更多

、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html

2、安装和配置scala:

第一步:上传scala安装包 并解压



第二步 配置SCALA_HOME环境变量到bash_profile


第三步 source 使配置环境变量生效:


第四步 验证scala:


3、下载spark 1.2.0,具体下载地址:http://spark.apache.org/downloads.html

4、安装和配置spark:

第一步  解压spark:



第二步 配置SPARK_HOME环境变量:


 

第三步 使用source生效:


 

进入spark的conf目录:

第四步 修改slaves文件,首先打开该文件:



slaves修改后:


第五步 配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh:


然后 打开“spark-env.sh”文件:


spark-env.sh文件修改后:


5、启动spark伪分布式帮查看信息:

第一步 先保证hadoop集群或者伪分布式启动成功,使用jps看下进程信息:


如果没有启动,进入hadoop的sbin目录执行 ./start-all.sh

第二步 启动spark:

进入spark的sbin目录下执行“start-all.sh”:


此刻 我们看到有新进程“Master” 和"Worker"

我们访问“http://master:8080/”,进如spark的web控制台页面:


从页面上可以看到一个Worker节点的信息。

 

我们进入spark的bin目录,使用“spark-shell”控制台:



通过访问"http://master:4040",进入spark-shell web控制台页面:


 

6、测试spark伪分布式:

我们使用之前上传到hdfs中的/data/test/README.txt文件进行mapreduce

取得hdfs文件:


对读取的文件进行一下操作:


 

使用collect命令提交并执行job:

readmeFile.collect


 

查看spark-shell web控制台:


 

states:


端口整理:

master端口是7077

master webui是8080

spark shell webui端口是4040

1
1
分享到:
评论

相关推荐

    spark 1.2.0 文档(spark-1.2.0-doc)

    spark-1.2.0 文档 api Spark Overview Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala and Python, and an optimized engine that supports ...

    TensorFlow1.2.0版本的Mac操作系统下载

    4. **分布式训练**:1.2.0版本支持多GPU训练以及跨机器分布式训练,增强了大规模训练的能力。 5. **新运算符和优化**:包括新的数学运算、张量操作以及优化器,提高了计算效率和模型性能。 6. **数据输入流水线**...

    openGemini-1.2.0版本

    openGemini-1.2.0版本

    TensorFlow1.2.0版本的Linux操作系统下载

    **TensorFlow 1.2.0 版本在 Linux 操作系统中的安装详解** TensorFlow 是 Google 开源的一款强大的机器学习框架,它被广泛应用于深度学习、神经网络和其他计算密集型任务。在 Linux 操作系统中,安装 TensorFlow ...

    简洁天气1.2.0版本

    《简洁天气1.2.0版本:优化与适配的深度解析》 在移动设备上,天气应用是不可或缺的一部分,它们为我们提供了实时的天气信息,帮助我们规划日常生活。"简洁天气1.2.0版本"作为一款备受用户喜爱的天气应用,此次更新...

    芒果霸屏源码1.2.0版本

    芒果霸屏源码1.2.0版本

    linux nacos-1.2.0 版本

    在Linux系统上安装Nacos 1.2.0版本是一个重要的任务,因为Nacos是一个阿里巴巴开源的分布式服务治理和配置中心。它提供了包括服务注册与发现、配置管理、元数据中心等核心功能,对于微服务架构的管理和运维具有重大...

    深入理解Spark+核心思想与源码分析.pdf

    《深入理解SPARK:核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析,旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。...

    Tiled-1.2.0-win64.zip

    7. **多语言支持**:1.2.0版本对多语言环境有良好的兼容性,方便全球用户使用。 8. **版本控制**:Tiled的文件格式TMX易于版本控制,使得团队协作变得简单,多人可以同时编辑地图而不会丢失任何更改。 9. **官方...

    nacos版本(1.2.0)

    这种模式简化了分布式环境中的服务调用,使得微服务之间的通信更加便捷。此外,Nacos支持健康检查,确保只有健康的实例被消费,增强了系统的稳定性和可靠性。 二、动态配置 配置管理是Nacos的核心功能之一。在1.2.0...

    reading-and-annotate-mesos-1.2.0:Apache开源分布式资源管理框架mesos原始代码注释分析,添加mesos_framework_demo,带详细注释

    阅读并注释mesos-1.2.0 Apache开源分布式资源管理框架mesos原始代码注释分析,添加mesos_framework_demo,带详细注释相关参考资料: LXC原始代码分析参考: docker源码注释分析参考:

    hyperledger fabric 1.2.0版本.rar

    Hyperledge fabric 环境搭建需要的2个二进制文件,1.2.0版本的(包含:hyperledger-fabric-linux-amd64-1.2.0.tar.gz 和 hyperledger-fabric-ca-linux-amd64-1.2.0.tar),官方下载,哇~~,真是慢的要死啦。...

    hbase-spark-1.2.0-cdh5.16.2.jar

    HBaseContext所需要的jar包。由于不知道为啥maven配置仓库地址不生效。所以手动下载了个。导入本地环境的maven仓库。

Global site tag (gtag.js) - Google Analytics