本月博客排行
-
第1名
宏天软件 -
第2名
kaizi1992 -
第3名
vipbooks - wallimn
- arpenker
- daizj
- xpenxpen
- zhangjijun
- sunnylocus
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
wy_19921005 - gashero
- gengyun12
- robotmen
- vipbooks
- fantaxy025025
- 大家都说我很棒
- wallimn
- hbxflihua
- qepwqnp
- e_e
- 解宜然
- ranbuijj
- javashop
- zw7534313
- ssydxa219
- jickcai
- sam123456gz
- gdpglc
- zysnba
- sichunli_030
- tanling8334
- appalese
- benladeng5225
- gaojingsong
- wiseboyloves
- zhangyi0618
- xpenxpen
- jh108020
- luxurioust
- xyuma
- nychen2000
- 龙哥IT
- arpenker
- wjianwei666
- wangchen.ily
- jbosscn
- lzyfn123
- kaizi1992
- 狂盗一枝梅
- Jameslyy
- java-007
- hanbaohong
- xiangjie88
- mengjichen
- silverend
- ajinn
- zxq_2017
最新文章列表
Elasticsearch模块功能之-索引分片分配(Index shard allocation)
Elasticsearch模块功能之-索引分片分配(Index shard allocation)
1、分片分配
包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:
设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node ...
ElasticSearch优化
1. 多线程程序插入,可以根据服务器情况开启多个线程index
速度可以提高n倍, n>=2
2. 如果有多台机器,可以以每台设置n个shards的方式,根据业务情况,可以考虑取消replias
curl -XPUT 'http://10.1.*.*:9200/dw-search/' -d '{
"settings" : {
" ...
Elasticsearch模块功能之-快照和恢复(snapshot and restore)
Elasticsearch模块功能之-快照和恢复(snapshot and restore)
快照和恢复模块可以将单个索引或者整个集群做一个快照并存放到远程仓库上。目前支持共享文件系统仓库和官方通过插件方式提供的其他仓库。
1、仓库注册
在创建或恢复仓库数据之前,首先需要到ElasticSearch里进行注册,如下命令用my_backup注册一个共享文件系统,快 ...
ElasticSearch集群的安装和配置
ElasticSearch集群的安装和配置
说明:这里只介绍在Linux下ElasticSearch的安装配置,windows下的使用跟Linux很类似
一、前期准备
Elasticsearch 需要Java 7的支持,推荐使用Oracle JDK version 1.7.0_60,根据所选用平台在这里下载安装,完成
Elasticsearch模块功能之-自动发现(Discovery)
Elasticsearch模块功能之-自动发现(Discovery)
自动发现(Disovery)
该模块主要负责集群中节点的自动发现和Master节点的选举。节点之间使用p2p的方式进行直接通信,不存在单点故障的问题。Elasticsearch中,Master节点维护集群的全局状态,比如节点加入和离开时进行shard的重新分配。
自动发现机制在目前版本(1.3.1)提供了四种选择, ...
Elasticsearch——Templates 模板
Elasticsearch——Templates 模板
刚开始的时候,每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活!当然最主要的,还是调节里面的properties设定,合理的控制store和analyze了。 template设定也有多种方法。最简单的就是和存储数据一样POS ...
Elasticsearch-索引优化
Elasticsearch-索引优化
ES索引优化篇主要从两个方面解决问题,一是索引数据过程;二是检索过程。(本文主要介绍)索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据,但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展,而这ES主要是用tranlog进行各节点之间的 ...
ElasticSearch的各种服务的URL
ElasticSearch的各种服务的URL
1.curl192.168.106.58:9200/_cat/health?v 集群健康查看
epoch timestamp cluster status node.total node.data shards pri relo init unassign 1400639131 10:25:31 elas ...
elasticsearch java api——客户端 org.elasticsearch.client
elasticsearch java api——客户端 org.elasticsearch.client
在elasticsearch源代码中,进入到org.elasticsearch.client,你会发现下图所示的类:
我们从最外层开始。
1 org.elasticsearch.client.AdminClient接口
AdminClient下有两个方法:1) clu ...
Elasticsearch java api——节点实例化
Elasticsearch java api——节点实例化
要连接到集群,首先要告诉集群:你是谁,你有什么特征。在es中体现为实例化节点。
es通过org.elasticsearch.node.NodeBuilder的build()或者node()方法实例化节点,build()创建节点而不启动,而node()方法等价于build().start(),即创建并启动。
首先实例化Node ...
Kibana+Logstash+Elasticsearch 日志查询系统
Kibana+Logstash+Elasticsearch 日志查询系统
搭建该平台的目的就是为了运维、研发很方便的进行日志的查询。Kibana一个免费的web壳;Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具;Elasticsearch一个开源的搜索引擎框架(支持群集架构方式)。
1 安装需求
1.1 理论拓扑
1.2 安装环境
...
Elasticsearch Java虚拟机配置详解
Elasticsearch Java虚拟机配置详解
引言:
今天,事情终于发生了。Java6(Mustang),是2006年早些时候出来的,至今仍然应用在众多生产环境中,现在终于走到了尽头。已经没有什么理由阻止迁移到Java7(Dolphin)上了。
这也促使我想写一篇关于在ElasticSearch上配置Java6和7的细微差异的博文。
Elasticsearch对Java ...
Elasticsearch源码分析之二------索引过程源码概要分析
Elasticsearch源码分析之二------索引过程源码概要分析
索引逻辑简单分析,这里只是理清主要的脉络,一些细节方面以后的文章或会阐述。
假如通过java api来调用es的索引接口,先是构造成一个json串(es里表示为XContent,是对要处理的内容进行抽象),在IndexRequest里面指定要索引文档到那个索引库(index)、其类型(type)还有文档 ...
elasticsearch------索引修复
elasticsearch------索引修复
在使用基于lucene的各类搜索引擎(如:elasticsearch、solr)时,有可能出现类似如下的错误:
Caused by: java.io.EOFException: read past EOF: NIOFSIndexInput(path="/usr/local/sas/escluster/data/cluster ...
Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统
Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统
elasticsearch使用google开源的依赖注入框架guice,这个项目号称比spring快100倍,具体性能没有测试过,不过由于其代码比较简洁,比spring快很有可能,是不是快那么多就不知道了。先介绍下guice的基本使用方法。
elasticsearch是直接把guice的源码放到自己的包 ...
elasticsearch高级配置之线程池设置
elasticsearch高级配置之线程池设置
一个Elasticsearch节点会有多个线程池,但重要的是下面四个:索引(index):主要是索引数据和删除数据操作(默认是cached类型)搜索(search):主要是获取,统计和搜索操作(默认是cached类型)批量操作(bulk):主要是对索引的批量操作(默认是cached类型)更新(refresh):主要是更新操作(默认是c ...
elasticsearch java API ------使用More like this实现基于内容的推荐
elasticsearch java API ------使用More like this实现基于内容的推荐
基于内容的推荐通常是给定一篇文档信息,然后给用户推荐与该文档相识的文档。Lucene的api中有实现查询文章相似度的接口,叫MoreLikeThis。Elasticsearch封装了该接口,通过Elasticsearch的More like this查询接口,我们可以非常方 ...
elasticsearch高级配置之分片分布
elasticsearch高级配置之分片分布
分片分布是把索引分片分布到节点的过程。这个操作会在初次启动集群,副本分配,负载均衡,或增加删除节点时进行。下面是一些与分片分布相关的设置:cluster.routing.allocation.allow_rebalance设置根据集群中机器的状态来重新分配分片,可以设置为always, indices_primaries_active和ind ...
elasticsearch集群监控工具bigdesk
elasticsearch集群监控工具bigdesk
bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。项目git地址: https://github.com/lukas-vlcek/bigdesk。和head一样,它也是个独立的网页程序,使用方式和head一样。
插件安装运 ...