`
congli
  • 浏览: 15430 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Spark开发环境搭建(for Eclipse)

 
阅读更多
下载和安装Scala插件

Scala IDE(http://scala-ide.org/);或者在已有的Eclipse IDE里面安装Scala插件,选择插件安装时注意要选Scala worksheet功能,以方便在Eclipse里面直接测试一些代码片段。也要看清楚和对应版本的Eclipse,不然会有问题。

下载后,叫update-site.zip,将里面对应的jar拷贝到eclipse的plugin和features下。
然后再将页面上,绿色部分的地址拷贝,将其安装。




安装方法:

a 打开help菜单->install new software

b 绿色部分的地址拷贝,加入到work with的文本框中

c 选择select all,然后完成就开始安装)。



之后,重启Eclispe,在eclispe右上角会有scala,如果没有,请new一下,看看有没有scala相关的, 只要有就是安装成功。

Spark的依赖包

下面我们需要构建Spark的依赖包,需要先建立一个Scala的project,之后在环境变量的lib里,添加编译后的jar(我的是:spark-assembly-1.1.0-hadoop2.4.0.jar)。

添加后,可能有的版本不一致,会提示错误,



然后需要在build path里调整符合的Scala版本,即可。






至此,Spark已经可以跑了,让我们来试试吧。
  • 大小: 19.6 KB
  • 大小: 9.4 KB
  • 大小: 8.1 KB
  • 大小: 65.8 KB
  • 大小: 65.8 KB
  • 大小: 79 KB
分享到:
评论

相关推荐

    spark开发环境搭建(eclipse)

    Spark 开发环境搭建(Eclipse) Spark 开发环境搭建是指在 Eclipse 集成开发环境中设置和配置 Spark 开发环境的过程。Spark 是一个基于 Hadoop 的大数据处理框架,它提供了高效的数据处理能力。为了在 Eclipse 中...

    Spark集群及开发环境搭建

    初学者手册 一、 软件及下载 2 二、 集群环境信息 2 ...八、 Scala开发环境搭建 21 1、系统安装 21 2、安装jdk8 21 3、安装scala2.11 21 4、安装scala for eclipse 21 5、创建scala工程 21

    Linux环境下Hadoop搭建与Eclipse配置

    在Linux环境下搭建Hadoop并配置Eclipse开发环境是大数据处理工作中的重要步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。而Eclipse是一款强大的集成开发环境(IDE),通过特定的插件可以...

    windows 下搭建eclipse的hadoop开发环境.rar_SPARKK_blew1bh_manufacturingkf

    在Windows环境下搭建Eclipse的Hadoop开发环境是一个重要的步骤,对于大数据开发人员来说,这是进行Spark和Hadoop项目开发的基础。以下将详细讲解这个过程,以及如何利用ECLIPSE大数据开发插件来优化配置。 首先,...

    Spark简单测试案例

    1. **安装 Scala IDE for Eclipse**:这是一个集成 Scala 开发环境的 Eclipse 插件,适合进行 Scala 项目的开发。 2. **新建 Scala 工程**:打开 Scala IDE for Eclipse,选择 `New` -> `Scala Project`,在弹出的...

    kafka环境搭建

    本文将详细讲解如何搭建 Kafka 开发环境,包括 Scala 环境的配置、Eclipse 中的 Scala 开发环境安装以及依赖包的管理。 首先,你需要对 Kafka 的功能有基本的了解,理解其分布式工作原理。Kafka 通常作为日志系统...

    scala&spark;-v4.0

    #### Scala的安装与开发环境搭建 对于初学者来说,安装Scala开发环境是一个重要的步骤。下面介绍一种简单的安装方式: 1. **下载与安装ScalaShell**:ScalaShell是一个交互式的开发工具,可以帮助开发者快速测试...

    Spark 编程基础(Scala 版)-机房上机实验指南

    - **环境搭建**: - **安装Scala**:确保Scala版本与Spark兼容。 - **安装Spark**:下载并解压Spark二进制包,配置环境变量。 - **IDE支持**:推荐使用IntelliJ IDEA或Eclipse with the Scala plugin。 - **配置...

    Packt.Raspberry.Pi.3.Projects.for.Java.Programmers.2017

    这本书将帮助读者了解如何在Raspberry Pi上配置Java开发环境,包括安装JDK和设置IDE,如Eclipse或IntelliJ IDEA,以便于编写和调试Java代码。 书中涵盖的关键知识点包括: 1. **基础设置**:如何安装Raspbian操作...

    动力节点-Java基础视频教程

    2. **Java开发环境搭建** - JDK下载与安装 - JDK版本选择 - JDK安装步骤详解 - 配置环境变量 - JAVA_HOME设置 - Path路径配置 - 验证JDK安装 - 使用`java -version`命令验证 - 开发工具选择 - Eclipse简介...

    JAVA技术手册

    开发环境搭建 - **JDK安装**:下载并安装Java Development Kit,这是开发Java程序的基础。 - **IDE选择**:选择合适的集成开发环境(如Eclipse、IntelliJ IDEA等),提高开发效率。 - **配置环境变量**:设置JAVA_...

    java 基础,给不错的资源,看看

    Java开发环境搭建 - **JDK(Java Development Kit)安装**:这是开发Java程序的基础,包含了Java编译器、Java虚拟机(JVM)和Java类库。 - **IDE选择**:常用的Java集成开发环境有Eclipse、IntelliJ IDEA等,这些...

    Hadoop-2.8.5全面资料

    #### 三、Hadoop伪分布式环境搭建 伪分布式模式是指在一个单机系统中模拟一个完整的Hadoop集群环境,所有节点(NameNode、DataNode、JobTracker、TaskTracker等)都运行在同一台机器上。这种模式主要用于开发测试...

    Hadoop-Analyzing

    2. **Hadoop环境搭建**:在Eclipse中配置Hadoop环境首先需要安装Hadoop本地或伪分布式模式。这通常包括下载Hadoop发行版,配置环境变量(如HADOOP_HOME),以及修改配置文件(如core-site.xml, hdfs-site.xml)以...

    最好学的java教程,可以放在手机上随时学习

    ### 二、Java开发环境搭建 #### 1.3 安装JDK与配置环境变量 - **下载JDK**:访问Oracle官网或其他可信渠道下载最新版本的JDK。 - **安装JDK**:按照操作系统的指示完成安装过程。 - **配置环境变量**: - 设置`...

    Java程序设计(徐红)教学资源_云海大数据

    1. **Java环境搭建**:包括JDK(Java Development Kit)的安装、配置环境变量,以及设置Java开发环境如IDE(集成开发环境),例如Eclipse或IntelliJ IDEA。 2. **语法基础**:讲解Java的基本语法,如数据类型(基本...

    JAVA程序设计基础

    #### 二、Java开发环境搭建 - **JDK**: Java Development Kit,包含Java运行环境(JRE)、Java编译器、文档生成工具和其他工具。 - **IDE**: Integrated Development Environment,集成开发环境,常用的有Eclipse、...

    raspberry-978-1-7864-6212-1:面向 Java 程序员的 Raspberry Pi 3 项目

    接下来,书中可能会介绍如何在 Raspberry Pi 上搭建 Java 开发环境,如安装 OpenJDK 或 AdoptOpenJDK,并配置 Eclipse 或 IntelliJ IDEA 等 IDE,以进行 Java 应用程序的编写和调试。此外,读者还将了解如何使用 ...

Global site tag (gtag.js) - Google Analytics