-
-
ELK修真
收藏针对ELK等相关组件的使用，安装，集成，测试，调优，开发，定制的一系列文章，也算是自己学习的同时与大伙一起交流的方式，共同进步，一起向上。
分享到：
最近更新文章
Logstash与Kafka集成
在ELKK的架构中，各个框架的角色分工如下：
ElasticSearch1.7.2：数据存储+全文检索+聚合计算+服务端
Logstasch2.2.2：日志收集与分发推送
Kafka0.9.0.0：分布式高可靠消息队列+数据中转存储（失效期默认7天，可配置时间或大小来控制删除策略）
Kibana4.1.2：全文检索+查询+图形化页面展示+客户端
拓扑架构如下：
本篇主要讲logsta ...
ElasticSearch2.1的java api批量建索引方法
es里面提供了两种批量建索引的方法：
1，使用 Bulk Api 特点是：使用比较简单，但控制不够灵活
2，使用Bulk Processor 特点是：使用稍麻烦，控制非常灵活
至于为什么要批量建索引，相信大伙已经不陌生了，为的就是提高写入效率，效率，效率！
数量大的情况下，10ms性能的提升，都有可能带来巨大的优化效果，所以时时刻刻考虑系统的性能无疑是
一个优秀的工程师必须 ...
ElasticSearch的Mapping之字段类型
es支持大多数java里面的数据类型：
（一）核心数据类型：
（1）string： 默认会被分词，一个完整示例如下
"status": {
"type": &q ...
Elasticsearch的Mapping之元数据类型
在es中，mapping的存在类似数据库的表结构定义或者solr里面的schemal文件，它里面定义了每个添加的doc的处理方式。
mapping type定义了不同的逻辑上组隔离 ...
ElasticSearch中分词器组件配置详解
首先要明确一点，ElasticSearch是基于Lucene的，它的很多基础性组件，都是由Apache Lucene提供的，而es则提供了更高层次的封装以及分布式方面的增强与扩展。
所以要想熟练的掌握的关于es中分词方面的知识，一定得先从Lucene抓起，否则只会是丈二和尚摸不着头脑，当然我们大多数开发者只关注于怎么用，偏底层的东东，也没有太多时间去深究，这也有情可原，遇到问题再去探究，也何尝不是 ...
ElasticSerach基本概念
基本概念：
学习es必须得了解一些它的基本概念，对学会学好es起着至关重要的作用。
近实时：
es是一个近实时的搜索引擎，这意味着它会有轻微的延迟（正常情况上是1秒），从你添加一个文档知道它
能被搜索出来，这是由它的底层框架Lucene决定的。
集群：
一个集群通常由1台或多台节点组成，它们一起协作，横跨所有的节点，提供了统一的索引和搜索能力
一个集群必须有一个唯一的名字，默认是elas ...
分布式日志收集之Logstash 笔记（二）
今天是2015年11月06日，早上起床，北京天气竟然下起了大雪，不错，最近几年已经很少见到雪了，想起小时候冬天的样子，回忆的影子还是历历在目。
进入正题吧，上篇介绍了Logstash的基础知识和入门demo，本篇介绍几个比较常用的命令和案例
通过上篇介绍，我们大体知道了整个logstash处理日志的流程：
input => filter => output
除了上面几个基础命令， ...
分布式日志收集之Logstash 笔记（一）
（一）logstash是什么？
logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。
当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa ...
海量可视化日志分析平台之ELK搭建
ELK是什么？
E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。
L=LogStash ， 一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元
K=Kibana ， 一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作，并拥有漂亮的 ...
ElasticSearch入门之风花雪月（五）
以前经常有人问散仙，如何学好搜索？ 其实这个问题很具有代表性，你可以归纳为一类问题？ 其实，散仙在以前博客的中，也有总结过，大家可以点击这个链接再看一下。
本篇散仙要介绍的内容，是关于如何用Luke查看ElasticSearch的索引，那么为什么会写如此一篇文章呢？
相信学过或了解过全文检索的朋友们，都知道，搜索的核心的就是倒排索引，之所以我们能够使用Google在互联网的海量的数据中，通过 ...
ElasticSearch入门之彼行我释（四）
散仙在上篇文章中，介绍了关于ElasticSearch基本的增删改查的基本粒子，本篇呢，我们来学下稍微高级一点的知识：
（1）如何在ElasticSearch中批量提交索引 ？
（2）如何使用高级查询（包括，检索，排序，过滤，分页） ？
（3）如何组合多个查询 ？
（4）如何使用翻页深度查询 ？
（5）如何使用基本的聚合查询 ？
（一）首先，我们思考下，为什么要使用批量添加，这个毫无 ...
ElasticSearch入门之花落红尘（三）
上篇文章散仙介绍了ElasticSearch的入门安装和使用，那么本篇我们来看下，如何使用java api来和ElasticSearch进行交互，简单点说，就是实现一个增删改查，来找找入门的感觉。
在这里散仙解释一下，为啥选择使用Java api来作为一个入门的例子，主要原因如下：
（1）Java在大中小型企业级应用非常广泛，而且ES本身就是包装了使用java编写的Apache Lucene。
（ ...
ElasticSearch入门介绍之安装部署（二）
散仙，在上篇文章对ElasticSearch整体入门作了个介绍，那么本篇我们来看下，如何安装，部署es，以及如何安装es的几个比较常用的插件.
es的安装和部署，是非常简单方便的，至少这一点散仙在es和solr之间，能够很明显的体现出来，solr的安装是需要依赖servlet容器，比如jetty，或者tomcat等，在下载完毕后，需要拷贝solr的安装部分到web容器里，然后稍作配置，即可启动访问 ...
ElasticSearch入门介绍之会当凌绝顶（一）
ElasticSearch也是一款非常优秀的开源的全文检索框架，以大名鼎鼎的Apache Lucene为基础，高度封装了更丰富，易用的API，同时与Apache Solr一样，提供了非常强大的分布式集群功能！
有不懂ElasticSearch（下文简称es）是干啥的朋友，可以点此链接在百科上先大致了解下。
下面进入正题，本篇散仙先从宏观上介绍es的一些概念和特性，让大家能够对es整体有个认识， ...