spark安装笔记（ubuntu16）

强烈推荐：
安装Hadoop及Spark(Ubuntu 16.04)：http://www.cnblogs.com/bovenson/p/5760856.html


管理页面：
hadoop：localhost:50070
yarn：localhost:8088
spark：localhost:8080


这里仅作为补充：

1、通过ln命令创建软连接
这样不会剔除所安装文件的版本信息，方便升级

ln -s hadoop-2.7.3/ hadoop

2、ssh免密码登陆

• root用户下没问题。
• 普通用户没成功， 尝试了多个教程（修改文件夹权限什么的）

3、教程
官网的就很不错：
http://spark.apache.org/docs/latest/quick-start.html

注意：由于我们集成了hadoop，文件必须先上传到hadoop的hdfs文件系统
hadoop文件命令参见：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
着重注意 copyFromLocal命令

如果我们将README.md 上传到hadoop的根目录，则对应官网教程的创建RDD的命令为：

val lines=sc.textFile("/README.md")

4、打包为jar
安照官网的sbt教程来的，可以成功，但过程缓慢
sbt安装：http://www.scala-sbt.org/download.html

解压生成的jar包，里面也就是自己的几个.class文件而已（eclipse自动编译好的）， 就是普通的带main class的java 包，应该可以手动打包，，这部分没尝试

注意：官网教程的 spark-submit 那步， 需要先启动spark服务（运行安装教程中启动spark的脚本）； 另外我没指定master参数，不清楚上面教程的安装模式是什么