本月博客排行
-
第1名
宏天软件 -
第2名
kaizi1992 -
第3名
vipbooks - wallimn
- arpenker
- daizj
- xpenxpen
- zhangjijun
- sunnylocus
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
wy_19921005 - gashero
- gengyun12
- robotmen
- vipbooks
- fantaxy025025
- 大家都说我很棒
- wallimn
- hbxflihua
- qepwqnp
- e_e
- 解宜然
- ranbuijj
- javashop
- zw7534313
- ssydxa219
- jickcai
- sam123456gz
- gdpglc
- zysnba
- sichunli_030
- tanling8334
- appalese
- benladeng5225
- gaojingsong
- wiseboyloves
- zhangyi0618
- xpenxpen
- jh108020
- luxurioust
- xyuma
- nychen2000
- 龙哥IT
- arpenker
- wjianwei666
- wangchen.ily
- jbosscn
- lzyfn123
- kaizi1992
- 狂盗一枝梅
- Jameslyy
- java-007
- hanbaohong
- xiangjie88
- mengjichen
- silverend
- ajinn
- zxq_2017
最新文章列表
2.ElasticSearch预警服务-Watcher详解
Watcher的核心组成部分:1.Trigger:决定何时触发,必须对每个Watcher指定2.Input:将数据加载到Context中3.Condition:根据条件决定师傅执行Action操作,如不设置,默认总是执行4.Transform:可选传输设置:处理及数据Load过程设置5.Actions:动作:零个或者多个执行动作设定完整的案例:
PUT _watcher/watch/log_e ...
ElasticSearch预警服务-Watcher安装指南及案例介绍
本文将介绍如何安装Watcher服务,并介绍相关的功能特征。
1.Watcher服务的安装
目前Watcher服务处于Beta阶段,使用者可以申请最新的beta-key,然后通过插件的方式进行安装
bin/plugin -i elasticsearch/watcher/<watcher-beta-key>
2.验证服务
ElasticSearch警报和通知产品 Watcher功能介绍
ElasticSearch警报和通知产品 Watcher(守望者)即将发布:
(官方地址:https://www.elastic.co/products/watcher)
Watcher:
Watcher是即将发布的警报和通知产品,基于Elasticsearch的数据预警衍生产品。简单地定义一个条件,一个时间计划,触发指定条件后Watcher会执行相关的警报和通知。
几大功能特 ...
ElasticDump的安装使用
ElasticDump是一个ElasticSearch的数据导入导出开源工具包,方便使用。
官方地址:官方地址:https://github.com/taskrabbit/elasticsearch-dump
安装方式如下:安装NodeJS下载源码:wget http://nodejs.org/dist/v0.10.32/node-v0.10.32-linux-x64.tar ...
elasticsearch 笔记
https://ruby-china.org/topics/32428
界面工具: http://localhost:9200/_plugin/head/
es 中 指定某个字段为空 必须用missing
\"must_not\":[{\"missing\":{\"field\":\"gongqiu.ta ...
Elasticsearch拆分java api生成restful json代码
项目中用到ElasticSearch 1.4.2,但多个项目生产环境使用的jdk版本不一致,大部分都是1.6。
折中方案使用restful api,但query json写起来比较麻烦,想用java api的方式写代码,最终生成restful json。
看了几个开源项目,如jest,还是需要RD自己写json,或者用ES提供的类SearchSourceBuilder。
比较蛋疼的是,Elastic ...
Java分布式中文分词组件word分词v1.2发布
word分词是一个Java实现的分布式的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。能准确识别英文、数字,以及日期、时间等数量词,能识别人名、地名、组织机构名等未登录词。同时提供了Lucene、Solr、ElasticSearch、Luke插件。
自1.0之后,在1.1和1.2中,word分词有了重大改进,优化了分词算法、利用多线程提升分词速度、支持分布式、 ...
ElasticSearch入门之彼行我释(四)
散仙在上篇文章中,介绍了关于ElasticSearch基本的增删改查的基本粒子,本篇呢,我们来学下稍微高级一点的知识:
(1)如何在ElasticSearch中批量提交索引 ?
(2)如何使用高级查询(包括,检索,排序,过滤,分页) ?
(3)如何组合多个查询 ?
(4)如何使用翻页深度查询 ?
(5)如何使用基本的聚合查询 ?
(一)首先,我们思考下,为什么要使用批量添加,这个毫无 ...
ElasticSearch入门之花落红尘(三)
上篇文章散仙介绍了ElasticSearch的入门安装和使用,那么本篇我们来看下,如何使用java api来和ElasticSearch进行交互,简单点说,就是实现一个增删改查,来找找入门的感觉。
在这里散仙解释一下,为啥选择使用Java api来作为一个入门的例子,主要原因如下:
(1)Java在大中小型企业级应用非常广泛,而且ES本身就是包装了使用java编写的Apache Lucene。
( ...
Elasticsearch refresh vs. flush
refresh操作有效地对Lucene index reader调用了reopen,使得在数据的那个时间快照进行了更新。这是Lucene拥有的近实时搜索api的特性。
ES refresh让文档可以搜索到,但是不保证这些信息被写入disk进入一个永久的存储状态,因为它并没有调用fsync,这就不能保证持久性了。让你数据获得持久性的是Lucene commit,这个操作代价比较大。
elasticSearch源码分析之索引映射
在搜索引擎中,我们需要将对应的文档数据转变成可处理的规则数据,就需要我们在这个流程中加一个映射,这就是搜索引擎中的Mapping。
具体操作就是对索引库中索引的字段名及其数据类型进行定义,类似于关系数据库中表建立时要定义字段名及其数据类型那样,区别在于es的 mapping比数据库灵活很多,它可以动态添加字段。即使不指定mapping也可以,因为es会自动根据数据格式定义它的类型,如 ...
elasticSearch源码分析之集群连接方式
elasticsearch提供两种方式连接到集群,一种是通过在你的程序中创建一个嵌入es节点(Node),使之成为es集群的一部分,然后通过这个节点来与es集群通信;另一种则是用TransportClient这个接口和es集群通信。
首先,我们尝试嵌入节点的方式,有如下三种方式(区别如下注释):
@Test
public void testDefaultNode(){
...
ElasticSearch中文分词ik安装
http://www.elasticsearch.org/overview/elkdownloads/
下载编译好的安装包,解压缩就可以直接使用
如果是自己编译的版本在安装插件时可能会出现一些问题,比如安装elasticsearch-head,虽然安装成功,但是插件运行不正常,能够查看索引,但是节点的相关状态信息无法显示,所以在熟悉elasticsearch的细节后再自编译版本比较合适,如果学习使用 ...
ElasticSearch入门介绍之安装部署(二)
散仙,在上篇文章对ElasticSearch整体入门作了个介绍,那么本篇我们来看下,如何安装,部署es,以及如何安装es的几个比较常用的插件.
es的安装和部署,是非常简单方便的,至少这一点散仙在es和solr之间,能够很明显的体现出来,solr的安装是需要依赖servlet容器,比如jetty,或者tomcat等,在下载完毕后,需要拷贝solr的安装部分到web容器里,然后稍作配置,即可启动访问 ...
ElasticSearch入门介绍之会当凌绝顶(一)
ElasticSearch也是一款非常优秀的开源的全文检索框架,以大名鼎鼎的Apache Lucene为基础,高度封装了更丰富,易用的API,同时与Apache Solr一样,提供了非常强大的分布式集群功能!
有不懂ElasticSearch(下文简称es)是干啥的朋友,可以点此链接在百科上先大致了解下。
下面进入正题,本篇散仙先从宏观上介绍es的一些概念和特性,让大家能够对es整体有个认识, ...
ElasticSearch索引优化
ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展,而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第一优化:“index.translog.flush_threshold_ops”: “100000″“index.refresh_interval”: “-1″,这两个参数第一是到tranlog数据达到多少条进行平衡,默认为5000, ...
Elasticsearch Aggregations限制内存使用
限制内存使用
为了让聚集(或者任何需要访问字段值的请求)能够快点,访问fielddata一定会快些, 这就是为什么它加载到内存的原因。但是加载太多的数据到内存会导致垃圾回收缓慢, 因为JVM试着发现堆里面的额外空间,甚至导致OutOfMemory异常。
可能让你吃惊的是,你会发现Elaticsearch不是只把符合你的查询的值加载到fielddata. 而是把index里的所有do ...
elasticsearch filter bitset
关于elasticsearch filter bitset的全部
在使用ES进行查询时,你常常会发现自己深深地陷入了过滤器的各种复合中。假设你需要过滤满足下面要求的用户:
bitset
首先需要看看bitset如何工作的。基本上,bitset是一个表示状态的列表。每个位置非0即1.
过滤器不对文档打分——仅仅是包含或者拒绝。如果文档匹配了一个过滤器,则在bitset中会置成1;否则置为0. ...
使用elasticsearch+simple_flow搭建实时日志搜索系统
在实际的系统中,我们经常会进行分布式的系统部署,但是这样会导致一个问题,系统日志也被分散开了,导致根据日志进行错误定位不太方便,所以,利用simple_flow实时流的特点,再配合elasticsearch建立索引,搭配构建一个实时日志搜索系统.具体流程图如下:
具体实现如下:
1.启动elasticsearch, 这个参考官方文档 http://www.elasticsear ...