mesos 是一个开源的集群管理软件,支持Docker, mapreduce, storm等.
今天学习一下mesos的安装
官网开始教程
http://mesos.apache.org/gettingstarted/
添加 wandisco yum repo
# cd /etc/yum.repos.d
# vim wandisco.com-svn.repo
[WandiscoSVN]
name=Wandisco SVN Repo
baseurl=http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/$basearch/
enabled=1
gpgcheck=0
接着安装编译 mesos的软件包
# yum groupinstall -y "Development Tools"
# yum install -y python-devel
# yum install -y java-1.7.0-openjdk-devel
# yum install -y zlib-devel
# yum install -y libcurl-devel
# yum install -y openssl-devel
# yum install -y cyrus-sasl-devel
# yum install -y cyrus-sasl-md5 # installed
# yum install -y apr-devel
# yum install -y subversion-devel
# yum -y install apr-util-devel # official use apr-utils-devel
官方使用apr-utils-devel 是不对的, 应该使用 apr-util-devel.
安装maven
# cd /opt/
# wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.1/binaries/apache-maven-3.3.1-bin.tar.gz
# mkdir apache
# tar -zxvf apache-maven-3.3.1-bin.tar.gz -C /opt/apache
# ln -s /opt/apache/apache-maven-3.3.1/bin/mvn /usr/bin/mvn
解压mesos并编译
# tar -zxvf /opt/mesos-0.22.0.tar.gz -C /opt/apache/
# cd /opt/apache/mesos-0.22.0/
# mkdir build
# cd build/
# ../configure
# make
# make check
其中make有个编译特别慢, 每次到这里都停顿
-fPIC -DPIC -o master/.libs/libmesos_no_3rdparty_la-master.o
一直等下午就行了, 也可能是我的电脑配置差
启动mesos master
# ./mesos-master.sh --ip=192.168.1.152 --work_dir=/var/lib/mesos
启动mesos slave
# ./mesos-slave.sh --master=192.168.1.152:5050
如果使用zookeeper, 需要先启动zookeeper, mesos命令时
# ./mesos-master.sh --ip=192.168.1.152 --work_dir=/var/lib/mesos/ --zk=zk://192.168.1.152:2181,/mesos022 --quorum=1
# ./mesos-slave.sh --master=zk://192.168.1.152:2181,/mesos022
mesos master启动后,开放防火墙5050端口就可以正常访问
http://192.168.1.152:5050/
不过 slave一直无启动, 提示
# Aborted (core dumped)
后来安装ambari需要配置
主机名ip映射和ssh免登录, 接着启动 slave就正常了.需要以后确认一下.
点击 slave节点 可以查看 http://192.168.1.152:5050/#/slaves
分享到:
相关推荐
### Centos7上Mesos和Marathon的安装与配置详解 #### 一、概述 Mesos和Marathon是两个在数据中心资源管理和应用部署方面非常重要的工具。Mesos提供了集群资源管理的功能,而Marathon则是在Mesos之上构建的一个高级...
本篇文档将详细介绍如何在 CentOS 环境下搭建 Mesos 集群,包括 Docker 的安装、Zookeeper、Mesos、Marathon、HAProxy 和 Bamboo 的配置。 ### 一、环境准备 首先,确保你的 CentOS 系统是 6.6 版本,且拥有足够的...
### Mesos安装部署知识点 #### 一、Mesos简介与应用场景 Mesos是Apache基金会下的一个开源项目,它提供了一个高效的资源管理系统,可以用于管理数据中心内的计算资源,并为上层应用提供统一的资源调度服务。Mesos...
mesos-deb-packaging, 用于 Debian,Ubuntu,CentOS,RHEL和Fedora的Mesos软件包 Mesos Debian封装构建脚本,用创建一个Mesos软件包,以便在集群中简单安装。Mesos是一个集群管理器,它可以跨分布式应用程序或者框架...
mesos集群在centos部署文档.doc
离线安装包,测试可用
6. **验证Spark安装**: 一旦Hadoop运行,你可以在master节点上启动Spark的master进程,然后在每个worker节点上启动worker进程。通过访问Spark的web UI(默认在`http://master:8080`)来验证安装是否成功,你应该能...
接着是在所有节点上进行Mesos的安装,包括在Master节点上的配置。这些步骤是实现Mesos集群和ZooKeeper集群成功运行的基础。 Marathon、Mesos和ZooKeeper三者结合使用,可构成一个强大的分布式计算平台。Marathon...
Mesos食谱 安装Mesos( )并配置mesos主服务器和从属服务器。 该食谱还支持通过源安装和软件包进行安装。 您可以使用node[:mesos][:type]属性( source或mesosphere )切换安装类型。平台当前仅支持ubuntu和centos ...
在 Ubuntu 14.04 LTS(首选)或 Centos/RHEL 6 上运行它。 以获得描述性概述。入门安装 ,版本 >= 1.7。 安装通过gem install librarian-ansible 运行librarian-ansible install 在你最喜欢的云提供商上启动一堆 ...
这包含用于构建 mesos 预安装映像的打包程序模板。 这也输出流浪盒。 Ubuntu 14.04 LTS(amd64) ubuntu-14.04_amd64.json :为virtualbox提供程序构建virtualbox映像( .ova )和流浪者框文件( .box )。 ubuntu...
其中大部分基于出色的,并进行了一些修改,以在Ubuntu虚拟机而不是CentOS上运行。用法此Vagrantfile使用Ansible来配置Mesos主服务器和Mesos代理虚拟机(VM)。 它在来宾操作系统中使用Ansible安装,因此除了Vagr
此存储库包含一些安装脚本,可帮助您使用我们的 alpha 质量 ZFS 后端在 CentOS 7 上快速开始基于 API 的 flocker 部署。 背景 在 ClusterHQ,我们一直致力于通过即将推出的 Docker 插件项目将 Flocker 的卷管理功能...
确保所有节点都安装了必要的软件,如CentOS 7.2、Hadoop 2.6.0、Hive 1.1.0、Spark 1.5.0、MySQL 5.6、JDK 1.8、Maven 3.3.3以及Scala 2.10。 2. **编译Spark源码**: 由于官方发布的Spark版本可能已经包含了Hive...
2. **配置YARN或Mesos**:如果你打算在YARN或Mesos上运行Spark,还需要在Hadoop或Mesos的配置文件中指定Spark的相关配置。 四、启动和管理Spark集群 1. **启动Master**:在Master节点上,执行`sbin/start-master....
1. Spark的安装:介绍如何安装Spark,并讨论基于YARN和Mesos两种不同的安装方式。 2. Hadoop与Spark的区别:对比Hadoop和Spark的核心区别,包括它们的设计哲学和适用场景。 CDH与TDH发行版本 1. CDH基于Centos和...
Spark 集群搭建的软件环境包括 Ubuntu 16.04 LTS、CentOS 7、Scala 2.10.6、Hadoop 2.7.2、Spark 1.6.1-bin-hadoop2.6、Java 1.8.0_77 等。 知识点9:Spark 集群搭建的硬件环境 Spark 集群搭建的硬件环境包括一个 ...
在Spark方面,介绍了基于YARN和Mesos的安装方法,以及Hadoop与Spark的区别。CDH和TDH发行版本的安装是基于不同操作系统(如Centos和Ubuntu)的实践。 数据采集与爬虫章节讨论了如何从各种数据源收集数据,这对于...