`
sillycat
  • 浏览: 2551671 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

Spark(7)Spark 1.0.2 on Mesos

 
阅读更多

Spark(7)Spark 1.0.2 on Mesos

Spark 1.0.2 is designed for use with Mesos 0.18.1

1. Install and Set up Mesos
Haha, I used to have problem based run spark on Mesos. Good luck this time.
>wget http://archive.apache.org/dist/mesos/0.18.1/mesos-0.18.1.tar.gz

Install the compile library
>sudo apt-get install build-essential
>sudo apt-get install python-dev
>sudo apt-get install libz-dev
>sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-dev
>sudo apt-get install libsasl2-dev

Configure the generate the make file
>./configure --with-python-headers=/usr/include/python2.7 --with-java-home=/usr/lib/jvm/java-7-oracle --with-java-headers=/usr/lib/jvm/java-7-oracle/include --with-webui --with-included-zookeeper --prefix=/home/carl/tool/mesos-0.18.1

>make

>make install

Link and place everything in PATH.

Check and Configure the Mesos configuration
>cp var/mesos/deploy/mesos-deploy-env.sh.template var/mesos/deploy/mesos-deploy-env.sh
>cp var/mesos/deploy/mesos-master-env.sh.template var/mesos/deploy/mesos-master-env.sh
Open the log configuration
>sudo mkdir /var/log/mesos
>sudo chmod 777 /var/log/mesos/

>cp var/mesos/deploy/mesos-slave-env.sh.template var/mesos/deploy/mesos-slave-env.sh
Set the configurations
export MESOS_master=ubuntu-master1:5050# Other options you're likely to want to set:export MESOS_log_dir=/var/log/mesosexport MESOS_work_dir=/var/run/mesosexport MESOS_isolation=cgroups

>sudo mkdir /var/run/mesos
>sudo chmod 777 /var/run/mesos

setting masters
>sudo vi var/mesos/deploy/masters
ubuntu-master1

setting slaves
>sudo vi var/mesos/deploy/slaves
ubuntu-slave1
ubuntu-slave2
ubuntu-slave3

Set the root ssh key access to ubuntu-master1, ubuntu-slave1, ubuntu-slave2, ubuntu-slave3. And then run the cluster of Mesos
>sudo sbin/mesos-start-cluster.sh

Visit the cluster UI
http://ubuntu-master1:5050/#/

2. Set up and Run Spark
Add the Mesos library to the conf
>vi conf/spark-env.sh
export MESOS_NATIVE_LIBRARY=/opt/mesos/lib/libmesos.so

Upload the Spark Package
place the file in http or s3 or hdfs.

Start HDFS
>sbin/start-dfs.sh

Download the binary file
>wget http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2-bin-hadoop2.tgz
>hdfs dfs -mkdir /user
>hdfs dfs -mkdir /user/sillycat
>hdfs dfs -put ./spark-1.0.2-bin-hadoop2.tgz /user/sillycat/


The framework runs great on Mesos.

>bin/spark-submit --class com.sillycat.spark.app.FindWordJob --master mesos://ubuntu-master1:5050 /home/carl/work/sillycat-spark/target/scala-2.10/sillycat-spark-assembly-1.0.jar book1 hdfs://ubuntu-master1:9000/user/sillycat/spark-1.0.2-bin-hadoop2.tgz


References:
http://spark.apache.org/docs/latest/running-on-mesos.html
http://sillycat.iteye.com/blog/2083194
http://mesos.apache.org/gettingstarted/

http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/

分享到:
评论

相关推荐

    Spark 1.0.2 API (Scala)

    - Spark支持YARN、Mesos和Standalone等资源管理器,方便在不同集群环境中部署和运行。 总结,Spark 1.0.2的Scala API提供了丰富的工具,用于构建高效的大数据处理应用。理解并熟练运用这些API,能够帮助开发者充分...

    Spark 1.0.2 API (Java)

    7. **存储级别(Storage Levels)**:Spark允许用户设置RDD的存储级别,如内存、磁盘、持久化到HDFS等,以便在内存不足时决定如何保存数据。 8. **错误恢复**:Spark通过检查点和容错机制保证数据处理的可靠性。...

    Spark-1.0.2安装配置

    Spark-1.0.2安装配置,简单的demo运行,包含vbox、jdk、Scala、SSH的安装配置

    PyPI 官网下载 | apache-airflow-providers-apache-spark-1.0.2.tar.gz

    《PyPI上的Apache Airflow Providers for Apache Spark 1.0.2详解》 Apache Airflow是一款强大的工作流管理系统,用于创建、调度和监控复杂的任务执行流程。它支持各种操作,如数据处理、ETL(提取、转换、加载)...

    openssl-1.0.2u + openssl-1.0.2k

    标题中的"openssl-1.0.2u + openssl-1.0.2k"指的是OpenSSL库的两个不同版本,1.0.2u和1.0.2k。OpenSSL是一个开源项目,提供安全套接层(SSL)和传输层安全(TLS)协议的实现,用于加密通信,确保网络数据传输的安全...

    moka7-full-1.0.2.zip_IntByRef_full_java plc_moka7连接效率_谁有moka连接

    连接profinet 的Java库,可连接plc设备

    openssl 1.0.2p源码

    7. X.509 证书处理:OpenSSL 可以处理 X.509 证书,这是 PKI 中广泛使用的标准格式,用于存储公钥和标识信息。 在 OpenSSL 1.0.2p 版本中,开发者可能关注的更新和修复包括: 1. 安全补丁:此版本通常会包含对已知...

    evasi0n7 win 1.0.2

    《evasi0n7 win 1.0.2:iOS 7 越狱工具详解》 在iOS设备的世界里,"越狱"这个词对于许多用户来说并不陌生。越狱意味着解除苹果对设备的软件限制,使得用户可以自定义系统、安装非App Store的应用程序等。本文将详细...

    Linux系统centos7环境下安装openssl1.0.2所需安装包及nginx离线安装所需全部依赖包,均可使用

    压缩包内包含openssl1.0.2的安装包及全部依赖环境,下载openssl最新版可到官网http://www.openssl.org/source/下载,然后安装此依赖包均可。没有设置下载积分,如果有积分一定是CSDN自己搞得鬼,也可在百度云盘上去...

    moka7-full-1.0.2.rar

    moka7-full-1.0.2是snap7的java版 Moka7是一个类库,为了方便起见,源文件包含在两个项目中,两个项目都包含一个演示程序。 一个名为moka7netbeans的netbeans4.7项目。 一个叫做moka7eclipse的Eclipse开普勒...

    题库工具VCE1.0.2

    【标题】"题库工具VCE1.0.2"是一款专为学习和备考各类IT认证考试设计的应用软件。VCE全称为Visual CertExam,它提供了模拟考试环境,让用户能够在一个真实的环境中练习和复习考试题目,提升应试能力。 【描述】...

    openssl-1.0.2k.zip

    `openssl-1.0.2k-16.el7.x86_64.rpm`则是一个针对Red Hat Enterprise Linux 7 (RHEL 7) 平台的OpenSSL软件包。RPM(Red Hat Package Manager)是一种软件包管理系统,广泛用于Linux发行版,用于安装、升级和管理软件...

    evasi0n7 mac 1.0.2.dmg

    evasi0n7 mac 1.0.2,最新版for MAC系统的,支持全系列 iOS 7.0 - 7.0.4 越狱。

    SunloginClientLite_1.0.2.exe

    SunloginClientLite_1.0.2.exe

    windowsOpenssl1.0.2和1.1.0

    **Windows OpenSSL 1.0.2与1.1.0详解** OpenSSL 是一个开源的密码学库,它包含了各种安全协议的实现,包括 SSL(Secure Socket Layer)和 TLS(Transport Layer Security)。这两个协议主要用于在互联网上建立安全...

    openssl-1.0.2k

    "openssl-1.0.2k"是OpenSSL的一个特定版本,发布于2017年1月26日,它是OpenSSL 1.0.2系列的一个稳定分支,为开发者和用户提供了一套安全可靠的加密工具。 **OpenSSL核心组件** 1. **SSL/TLS协议**:OpenSSL实现了...

    spark-streaming_2.10-1.0.2.jar

    Spark 项目流 org.apache.spark/spark-streaming_2.10/1.0.2/spark-streaming_2.10-1.0.2.jar

    openssl-1.0.2s.7z

    在这个特定的压缩包"openssl-1.0.2s.7z"中,我们讨论的是OpenSSL的1.0.2s版本。这个版本在发布时是一个稳定版,提供了许多安全性更新和改进。 首先,了解OpenSSL的重要性。它广泛应用于各种网络服务器,尤其是那些...

    OpenSSL 1.0.2 Windows 64位

    OpenSSL 1.0.2o是该库的一个特定发行版,它可能包含了一些安全修复和性能优化,与更早或更晚的版本相比,可能具有特定的特性或兼容性优势。 描述中提到的是官方下载的“openssl-1.0.2o”源码编译成功的二进制文件。...

    apache-seatunnel-web-1.0.2

    apache-seatunnel-web-1.0.2

Global site tag (gtag.js) - Google Analytics