网上有很多配置Spark开发的文章,配置过程非常麻烦,配置通了之后其实也不是很复杂,但是对于初学者确实还是有些难度,我决定打包所有 jdk,scalaide,hadoop,spark 的包,做成一个一键开发Spark的IDE工具。并且上传一些例子,让开发者直接就可以学习如何开发spark应用。
现在我们发布了 windows 64 位系统下sparkide版本(并且自带wordcount例子,可以直接运行)。
,在使用sparkide有任何为题,请告诉我们,我们抓紧需改。
我们目的只有一个:搭建一键开发spark应用的IDE工具
下载地址: http://pan.baidu.com/s/1kUvqeEF(百度云盘)
sparkide网站地址 http://121.42.15.150/
sparkide 0.1.1版本是windows 64位版本,包含组件如下:
Java Development Kit 1.8(64)
Hadoop-2.6.0 windows(64)
Spark-1.6.0-bin-hadoop2.6
Scala-SDK-4.3.0-vfinal-2.11-win32.win32.x86_64
备注: 有任何问题,请联系 daofeng.he@gmail.com
QQ讨论群:336267114
相关推荐
* 提高开发效率:搭建好 Spark 开发环境后,开发者可以快速开发和测试 Spark 应用程序。 * 提高开发质量:搭建好 Spark 开发环境后,开发者可以更好地 debug 和优化 Spark 应用程序。 * 提高团队协作:搭建好 Spark ...
在大数据处理领域,Spark和Hadoop是两个至关重要的框架。Spark以其高效的内存计算和易用性,成为数据处理的新宠,而Hadoop作为分布式存储和计算的...通过不断的实践和调试,你将能熟练掌握这个环境的搭建和应用开发。
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展,Hadoop生态系统不断成熟与完善,其中Apache Hive作为数据仓库工具,支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
本Spark开发IDE模板项目基于Scala开发,包含22个文件,包括XML配置文件、GIT忽略文件、IDE模板文件、Scala源代码、LICENSE文件、MF文件、JAR文件、Properties配置文件。系统提供了Spark开发的IDEA模板项目,界面友好...
Eclipse搭建的spark开发环境,微云可下!Eclipse搭建的spark开发环境,微云可下!
### Spark集群及开发环境搭建(完整版) #### 一、软件及下载 本文档提供了详细的步骤来指导初学者搭建Spark集群及其开发环境。首先需要准备的软件包括: - **VirtualBox-5.1**:虚拟机软件,用于安装CentOS操作...
通过使用 Docker,可以快速的在本地搭建一套 Spark 环境,方便大家开发 Spark 应用,或者扩展到生产环境。下面这篇文章主要给大家介绍了使用docker快速搭建Spark集群的方法教程,需要的朋友可以参考借鉴,下面来一起...
以上步骤涵盖了 Spark Standalone 分布式集群的基本搭建方法及其核心概念,对于理解和应用 Spark 在分布式环境中至关重要。通过这些步骤,开发者可以快速搭建起一个可扩展且高效的 Spark 集群。
在提供的部分内容中,大量提到了IntelliJ IDEA的快捷键和功能,这表明文章在介绍Spark开发环境搭建的过程中,会以IntelliJ IDEA这一开发工具作为主要的开发环境,介绍相关的配置和使用方法。这可以包括但不限于代码...
在构建Spark开发环境时,首先需要确保你的计算机上安装了必要的软件,包括但不限于Linux操作系统、Java Development Kit (JDK)、Scala、Maven以及Git等工具。 **环境准备** - **操作系统:** 推荐使用CentOS、Red ...
初学者手册 一、 软件及下载 2 二、 集群环境信息 2 ...八、 Scala开发环境搭建 21 1、系统安装 21 2、安装jdk8 21 3、安装scala2.11 21 4、安装scala for eclipse 21 5、创建scala工程 21
IntelliJ IDEA是一款常用的Java IDE,也是Spark开发的首选工具。配置Spark开发环境包括安装Java、Scala、IntelliJ IDEA以及设置Spark和Hadoop的相关环境变量。同时,了解Scala编程语言是必不可少的,因为它是最常见...
总的来说,搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤,包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解,并熟悉Linux系统的操作。完成后,这个集群可以处理大量数据,支持实时查询和...
【Spark开发环境搭建在Windows10上的详细步骤】 在Windows10系统中搭建Spark开发环境,需要准备几个关键组件:JDK、Hadoop、Spark、Scala以及Maven。以下是详细的搭建过程: 1. **安装JDK** - 首先,下载与系统...