基于eclipse的spark开发环境搭建-scala篇

 

 安装前说明:

根据我在配置过程中遇见的各种情况给出如下建议，仅供参考

1. 不建议在现有的eclipse的中安装scala IDE插件,建议使用scalaIDE官网提供的已经集成好的eclipse作为开发工具,这样避免在插件安装过程中遇到的各种稳定，而且集成的版本比较稳定。
2. 如果必须在现有的eclipse环境中安装scalaIDE,不建议采用离线安装的方式安装，建议采用在线安装的方式安装,而且需要根据eclipse的版本选择对应的scalaIDE进行安装，切不要随意选择版本进行安装。在http://scala-ide.org/download/prev-stable.html页面中选择eclipse版本对应的scalaIDE
3. 暂时不要奢望（等新版本的scalaIDE发布再看）在一个eclipse 开发环境上安装基于scala2.10和scala2.11两个版本的插件;即当前情况下不能再同一个eclipse中对项目选择不同的scala版本进行编译，必须准备两个eclipse,一个安装scala2.10的插件，另一个安装scala2.11的插件，虽然在当前最新版本的scalaIDE4.5.0的版本上官方说同时支持scala2.11和scala2.10，同时也官方声明这个支持较为脆弱，我测试下来在scala IDE 4.5.0上不能对项目选择scala2.10进行编译，而且尝试多种方式都没能解决这个问题。
4. 如上所述，我再这里推荐scala IDE官方集成的eclispe:
   1>scala-SDK-4.5.0-vfinal-2.11-win32.win32.x86_64自带scala2.11.8
       下载地址http://scala-ide.org/download/sdk.html
   2>scala-SDK-3.0.3-2.10-win32.win32.x86_64自带scala2.10.4
        下载地址http://downloads.typesafe.com/scalaide-pack/3.0.3.vfinal-210-20140327/scala-SDK-3.0.3-2.10-win32.win32.x86_64.zip

 打开eclipse进行创建工程

1. 设置maven,选择自己的本地版本库
   
   
    
   
    
2. 使用maven创建项目
   
   
   
   
    
    选择scala-archetype-simple作为创建项目的模板
   
   
    
   
    
3. 修改pom文件添加相关的spark的依赖