spark分布式安装

1.如果没安装  需要安装 scala,因为spark需要

    同时在 /etc/profile 增加

      export SCALA_HOME=/scal路径/scala-2.11.7

      export PATH=$SCALA_HOME/bin:$PATH

       执行   source /etc/profile 使配置文件生效

2.下载spark安装包

     wget  http://mirror.bit.edu.cn/apache/spark/spark-1.5.1/spark-1.5.1-bin-hadoop2.6.tgz

3. 解压安装包

   tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz

4.配置spark配置文件 

   1> 在 conf目录下重命名 spark-env.sh.template为  spark-env.sh并增加如下内容

      #JDK安装目录

      JAVA_HOME=/usr/java/default

      #Scala安装目录

      SCALA_HOME=/path/scala-2.11.7

      #spark 目录

      export SPARK_HOME=/data0/opt/spark-1.5.1-bin-hadoop2.6

      PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:

      SPARK_MASTER_IP=192.168.1.10    //masterIP

      export SPARK_WORKER_MEMORY=2g  //工作内存

   2> 在conf 目录下 重命名 slaves.template 为   slaves 并增加内容

        Master

        Slave1

        Slave2

   3>在 /etc/hosts配置

         192.168.1.10  Master

         192.168.1.11  Slave1

         192.168.1.12  Slave2

     4> 执行 source /etc/hosts 使配置生效

     拷贝配置好的spark 到11，12机器

    

     ./sbin/start-all.sh  启动 spark

   在WEB页面访问  http://192.168.1.10:8080可以看到配置的 worker

  启动客户端

   执行 ./bin/spark-shell