Spark的学习2-IDE

  当使用Maven构建好项目后，现在要开始学习Spark的设计及具体实现，就是源码了。
 
  在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。

下了一个ScalaIDE,它的Eclipse的Scala订制版(http://scala-ide.org/),把构建好的Spark maven项目导进去， 一直有错误，大概就是一些类找不到的错误，在工作区查了一下，都是一些.scala对应的类。我猜想可能的原因就是那些Scala文件没有正确被编译， 于是Google,最后有一个方案是把spark-assembly-1.1.0-hadoopXXX.jar添加进来（这个文件可以从Spark的预编译包里获取），试了一下，类找不到的问题就不见了，但是修改了一下scala文件,那个scala文件就显示一堆错误，无法编译了。搞了好久，无果。查了Google,说Scala语言太灵活，现在的IDE都不能很好的支持，说是IntelliJ Idea对Scala语言的支持要好点，所以果断换IntelliJ Idea试一下，现在的版本是13.1.

以前JBuilder时代，IntelliJ Idea就是其中的主要竞争者，不过以前试用了n次，每次都放弃。究其原因，可能有几个：
1. 操作习惯与JBuilder及Eclipse有很大的不同，总之不顺手，
2. 另外一个原因就是处理大的项目速度慢，完全没办法和JBuilder和Eclipse比。Eclipse虽然有时候也"发发脾气",但整体来说，还是比较好用的，不过现在的版本是又大又不好用。说远了，
3. 功能太过强大，这样也给用户带来太多的复杂性。

导入项目以后，还要添加Scala和SBT的支持，具体的方法是:
File -> Setttings -> Plugins -> Browse Repositories , 在查找框里输入Scala,找到Scala,点右边窗口的Install Plugin, 找到SBT,并安装它，这个是用来构建Scala的工具。

这样我们就大功告成了。因为没有使用过IntelliJ Idea,所以我要花一点时间用一下，同时Spark是用Scala写的，另外听说Scala的学习曲线很陡，所以要学习Spark源代码，学习Scala也是必不可少的了。后面我会两至三天写一篇关于Spark学习的文档，希望大家一起来学习，探讨。

IntelliJ Idea 关于Scala相关的参考:

http://confluence.jetbrains.com/display/IntelliJIDEA/Scala+Development

Scala Console 使用: .scala -> Ctrl + Shift + D  --> Ctrl + Enter执行

评论

1 楼 llhdf 2016-02-08  

现在我们发布了  windows 64 位系统下sparkide版本（并且自带wordcount例子，可以直接运行）。
，在使用sparkide有任何为题，请告诉我们，我们抓紧需改。



我们目的只有一个：搭建一键开发spark应用的IDE工具



下载地址： http://pan.baidu.com/s/1kUvqeEF（百度云盘）


sparkide网站地址 http://121.42.15.150/

sparkide 0.1.1版本是windows 64位版本，包含组件如下：



Java Development Kit 1.8(64)
Hadoop-2.6.0 windows(64)
Spark-1.6.0-bin-hadoop2.6
Scala-SDK-4.3.0-vfinal-2.11-win32.win32.x86_64



备注： 有任何问题，请联系 [e-mail]

QQ讨论群：336267114