这次用的版本是mesos-elasticsearch,基于Docker的安装及使用。
地址在http://mesos-elasticsearch.readthedocs.org/en/latest/
利用Docker安装,Docker hub里有两个images,一个是mesos/elasticsearch-scheduler,一个是mesos/elasticsearch-excutor
我的实验环境,是由三台虚拟机组成的mesos集群,ubuntu是master,两个debian是slave(debian和debian2)。
一、从Docker hub里pull下来mesos/elasticsearch-scheduler,mesos/elasticsearch-excutor两个镜像,打上tag后push到registry
二、在master上用marathon来部署elasticsearch的安装
先写一个marathon.json文件
{ "id":"elasticsearch-mesos-scheduler",
"container":{
"docker":{
"image":"ubuntu:5000/el-sc",
"network":"HOST"
}
},
"args":["--zookeeperMesosUrl","zk://ubuntu:2181/mesos","--executorImage","ubuntu:5000/el-ex","--executorForcePullImage","true"],
"cpus":0.2, "mem":512.0,
"env":{
"JAVA_OPTS":"-Xms128m -Xmx256m"},
"instances":1
}
解释一下,这里的instances为1是通过marathon安装scheduler一个,一般会装在master上,然后再通过scheduler安装excutor,默认不设参数的话是三个excutor。ubuntu是master的域名,ubuntu:5000/el-sc是我前面上传到registry的images,ubuntu:5000/el-ex是传到registry的images。
然后用curl提交的marathon
curl -k -XPOST -d @marathon.json -H "Content-Type: application/json" http://ubuntu:8080/v2/apps
3、在浏览器里输入localhost:31100就可以看见el的集群及搜索控制台。(注意:localhost:5050查看节点任务部署的情况,有时候不scheduler
不一定安装在master)
4、测试时利用curl上传json数据(注:上传得端口是31000)
$ curl -XPUT http://debian:31000/twitter/tweet/1-d '{ "user": "kimchy", "post_date": "2009-11-15T13:12:00", "message": "Trying out elasticsearch, so far so good?" }'
即可在el里查看了。
http://blog.csdn.net/joosonmao/article/details/49174229
相关推荐
【基于Mesos Docker的Elasticsearch容器化私有云】是一种高效的解决方案,旨在解决传统Elasticsearch部署和管理中遇到的问题。在传统的Elasticsearch环境中,通常采用KVM虚拟机或物理机作为节点,这导致了申请过程...
ELK是指Elasticsearch、Logstash和Kibana三个组件,都是流行的数据处理和分析工具。通过将ELK部署在Mesos上,可以创建一个高效的数据处理和分析平台。 知识点4:Streaming Jobs on Mesos Streaming Jobs是指通过...
4. **监控和日志管理**:为了保证移动应用的稳定运行,领科云可能会集成监控和日志管理系统,如Prometheus和ELK Stack(Elasticsearch, Logstash, Kibana),实时监控容器状态,收集和分析应用日志,及时发现并解决...
为解决这些问题,去哪儿网的OPS团队采用Mesos资源管理平台和Docker容器技术,构建了一个Elasticsearch容器化的私有云平台。 1. **背景与现状** - 随着业务发展,ES集群管理变得复杂,需要快速扩容和高效运维。 - ...
目录: 1 背景与现状 2 技术实现 3 配置与部署 4 监控与报警
它能够帮助构建和部署分布式应用程序,例如Hadoop、Spark、Cassandra、Elasticsearch等,极大地简化了PaaS应用的部署和升级流程。Mesos通过为PaaS提供统一的资源管理,简化了企业级应用的部署和运维流程,提高了整个...
这包括但不限于Hadoop、Spark、Kafka、Elasticsearch等多种分布式系统。 接下来,文档内容介绍了Mesos的基础知识,包括其架构。Mesos架构采用了典型的主从(Master-Slave)模型,其中主节点称为Master,负责资源的...
- 可以考虑采用ELK(Elasticsearch、Logstash、Kibana)等工具来构建集中化的日志管理系统,便于日志的收集、存储和分析。 #### 总结 通过上述介绍,我们可以看出,基于Docker的云平台不仅能够有效提升资源利用率...
:check_box_with_check: 共享性能测试并与开发-设置mesos-elasticsearch , mesos-kibana :check_box_with_check: 外部LogStash配置(配置文件从主服务器传播到从服务器) :check_box_with_check: 支持输出到...
6. **监控与报警**:介绍如何利用Prometheus、ELK Stack(Elasticsearch、Logstash、Kibana)等工具,配合Mesos实现全面的性能监控和问题报警。 7. **实战经验与挑战**:分享在实际操作中遇到的问题,如资源调度...
这款工具主要针对微服务、云原生架构以及容器化技术(如Docker、Kubernetes和Mesos)进行了优化设计,旨在为用户提供一套完整的分布式系统应用程序性能监控方案。 **核心功能**: - **分布式追踪**:能够追踪跨多个...
- **日志收集与分析**:使用ELK(Elasticsearch, Logstash, Kibana)堆栈进行日志管理和分析,以便快速定位问题。 - **性能监控**:集成Prometheus和Grafana,实时监控系统指标,预防性能瓶颈。 5. **持续集成/...
- **监控与日志**:集成Prometheus和Grafana进行性能监控,ELK Stack(Elasticsearch、Logstash、Kibana)收集和分析日志,及时发现和解决问题。 4. **最佳实践**: - **服务接口设计**:遵循RESTful原则,保证...
4. **监控和日志记录**:为了确保堆栈的可观察性和故障排查能力,Mahaweli可能集成了监控和日志记录工具,如Prometheus和Grafana用于性能监控,以及Elasticsearch、Logstash和Kibana(ELK栈)用于日志聚合和分析。...
4. **连接器和库**:Flink通过各种连接器支持与外部系统的集成,例如消息队列Kafka、数据库Cassandra、搜索引擎Elasticsearch、分布式文件系统HDFS,以及其他数据处理系统RabbitMQ、NiFi等。这些连接器让Flink能够...
在项目经验上,他参与的分布式系统架构项目包括基于dubbo和spring cloud的微服务设计,以及MongoDB、ElasticSearch和Kafka的集成应用。他还处理了分布式事务、session共享、分布式锁等问题。在海量数据架构中,他...
2. **大数据领域**:由于处理高并发和大数据量的需求,Java架构师需要了解大数据处理框架,如Hadoop、Spark或Flink,以及数据存储解决方案,如HBase、Cassandra或Elasticsearch。 3. **系统设计和架构设计**:这是...