`
m635674608
  • 浏览: 5060072 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

mesos和Elasticsearch设计(Docker部署)(四)

 
阅读更多

这次用的版本是mesos-elasticsearch,基于Docker的安装及使用。

地址在http://mesos-elasticsearch.readthedocs.org/en/latest/

利用Docker安装,Docker hub里有两个images,一个是mesos/elasticsearch-scheduler,一个是mesos/elasticsearch-excutor

我的实验环境,是由三台虚拟机组成的mesos集群,ubuntu是master,两个debian是slave(debian和debian2)。

一、从Docker hub里pull下来mesos/elasticsearch-scheduler,mesos/elasticsearch-excutor两个镜像,打上tag后push到registry

二、在master上用marathon来部署elasticsearch的安装

      先写一个marathon.json文件

     { "id":"elasticsearch-mesos-scheduler",  

"container":{  

"docker":{  

"image":"ubuntu:5000/el-sc",  

"network":"HOST"  

}  

},  

"args":["--zookeeperMesosUrl","zk://ubuntu:2181/mesos","--executorImage","ubuntu:5000/el-ex","--executorForcePullImage","true"],  

"cpus":0.2, "mem":512.0,  

"env":{  

"JAVA_OPTS":"-Xms128m -Xmx256m"},  

"instances":1

}

解释一下,这里的instances为1是通过marathon安装scheduler一个,一般会装在master上,然后再通过scheduler安装excutor,默认不设参数的话是三个excutor。ubuntu是master的域名,ubuntu:5000/el-sc是我前面上传到registry的images,ubuntu:5000/el-ex是传到registry的images。

然后用curl提交的marathon

curl -k -XPOST -d @marathon.json -H "Content-Type: application/json" http://ubuntu:8080/v2/apps

3、在浏览器里输入localhost:31100就可以看见el的集群及搜索控制台。(注意:localhost:5050查看节点任务部署的情况,有时候不scheduler

不一定安装在master)

4、测试时利用curl上传json数据(注:上传得端口是31000)

 

$ curl -XPUT http://debian:31000/twitter/tweet/1-d '{
    "user": "kimchy",
    "post_date": "2009-11-15T13:12:00",
    "message": "Trying out elasticsearch, so far so good?"
}'

即可在el里查看了。

 

 

http://blog.csdn.net/joosonmao/article/details/49174229

分享到:
评论

相关推荐

    基于Mesos Docker的Elasticsearch容器化私有云.pdf

    【基于Mesos Docker的Elasticsearch容器化私有云】是一种高效的解决方案,旨在解决传统Elasticsearch部署和管理中遇到的问题。在传统的Elasticsearch环境中,通常采用KVM虚拟机或物理机作为节点,这导致了申请过程...

    藏经阁-基于Mesos_Docker构建数据处理平台.pdf

    ELK是指Elasticsearch、Logstash和Kibana三个组件,都是流行的数据处理和分析工具。通过将ELK部署在Mesos上,可以创建一个高效的数据处理和分析平台。 知识点4:Streaming Jobs on Mesos Streaming Jobs是指通过...

    领科云基于Mesos和Docker的企业级移动应用实践分享.zip

    4. **监控和日志管理**:为了保证移动应用的稳定运行,领科云可能会集成监控和日志管理系统,如Prometheus和ELK Stack(Elasticsearch, Logstash, Kibana),实时监控容器状态,收集和分析应用日志,及时发现并解决...

    Elasticsearch容器化私有云实践.docx

    为解决这些问题,去哪儿网的OPS团队采用Mesos资源管理平台和Docker容器技术,构建了一个Elasticsearch容器化的私有云平台。 1. **背景与现状** - 随着业务发展,ES集群管理变得复杂,需要快速扩容和高效运维。 - ...

    以Mesos Docker为基础的Elasticsearch容器化私有云.pdf

    目录: 1 背景与现状 2 技术实现 3 配置与部署 4 监控与报警

    Mesos是云计算下一个热点,云运维与PaaS有刚需.pdf

    它能够帮助构建和部署分布式应用程序,例如Hadoop、Spark、Cassandra、Elasticsearch等,极大地简化了PaaS应用的部署和升级流程。Mesos通过为PaaS提供统一的资源管理,简化了企业级应用的部署和运维流程,提高了整个...

    Mesos中文手册

    这包括但不限于Hadoop、Spark、Kafka、Elasticsearch等多种分布式系统。 接下来,文档内容介绍了Mesos的基础知识,包括其架构。Mesos架构采用了典型的主从(Master-Slave)模型,其中主节点称为Master,负责资源的...

    云平台架构与部署指南

    - 可以考虑采用ELK(Elasticsearch、Logstash、Kibana)等工具来构建集中化的日志管理系统,便于日志的收集、存储和分析。 #### 总结 通过上述介绍,我们可以看出,基于Docker的云平台不仅能够有效提升资源利用率...

    logstash-mesos:用于Logstash的Mesos框架

    :check_box_with_check: 共享性能测试并与开发-设置mesos-elasticsearch , mesos-kibana :check_box_with_check: 外部LogStash配置(配置文件从主服务器传播到从服务器) :check_box_with_check: 支持输出到...

    高洪涛:当当基于 Mesos 的 DevOps 实践.pdf

    6. **监控与报警**:介绍如何利用Prometheus、ELK Stack(Elasticsearch、Logstash、Kibana)等工具,配合Mesos实现全面的性能监控和问题报警。 7. **实战经验与挑战**:分享在实际操作中遇到的问题,如资源调度...

    应用性能分析系统SkyWalking的安装及使用详解

    这款工具主要针对微服务、云原生架构以及容器化技术(如Docker、Kubernetes和Mesos)进行了优化设计,旨在为用户提供一套完整的分布式系统应用程序性能监控方案。 **核心功能**: - **分布式追踪**:能够追踪跨多个...

    谷粒商城电商项目 ( 大型分布式基础+高级、高可用集群部署)(全栈开发篇)

    - **日志收集与分析**:使用ELK(Elasticsearch, Logstash, Kibana)堆栈进行日志管理和分析,以便快速定位问题。 - **性能监控**:集成Prometheus和Grafana,实时监控系统指标,预防性能瓶颈。 5. **持续集成/...

    springcloud模块化-高可用部署

    - **监控与日志**:集成Prometheus和Grafana进行性能监控,ELK Stack(Elasticsearch、Logstash、Kibana)收集和分析日志,及时发现和解决问题。 4. **最佳实践**: - **服务接口设计**:遵循RESTful原则,保证...

    Mahaweli:Ansible角色来设置Mesos + Marathon堆栈

    4. **监控和日志记录**:为了确保堆栈的可观察性和故障排查能力,Mahaweli可能集成了监控和日志记录工具,如Prometheus和Grafana用于性能监控,以及Elasticsearch、Logstash和Kibana(ELK栈)用于日志聚合和分析。...

    flink-1.7-中文文档(官网英文翻译过来).pdf

    4. **连接器和库**:Flink通过各种连接器支持与外部系统的集成,例如消息队列Kafka、数据库Cassandra、搜索引擎Elasticsearch、分布式文件系统HDFS,以及其他数据处理系统RabbitMQ、NiFi等。这些连接器让Flink能够...

    程序员基础简历模板,简洁风

    在项目经验上,他参与的分布式系统架构项目包括基于dubbo和spring cloud的微服务设计,以及MongoDB、ElasticSearch和Kafka的集成应用。他还处理了分布式事务、session共享、分布式锁等问题。在海量数据架构中,他...

    南京计算机软件行业Java架构师(微服务)岗位介绍JD模板.pdf

    2. **大数据领域**:由于处理高并发和大数据量的需求,Java架构师需要了解大数据处理框架,如Hadoop、Spark或Flink,以及数据存储解决方案,如HBase、Cassandra或Elasticsearch。 3. **系统设计和架构设计**:这是...

Global site tag (gtag.js) - Google Analytics