最新文章列表

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

Elasticsearch模块功能之-索引分片分配(Index shard allocation)   1、分片分配            包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:            设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node ...
aoyouzi 评论(0) 有5943人浏览 2014-10-18 19:56

ElasticSearch优化

1. 多线程程序插入,可以根据服务器情况开启多个线程index 速度可以提高n倍, n>=2 2. 如果有多台机器,可以以每台设置n个shards的方式,根据业务情况,可以考虑取消replias curl -XPUT 'http://10.1.*.*:9200/dw-search/' -d '{     "settings" : {         " ...
slamyangbiao 评论(0) 有334人浏览 2014-10-16 16:04

Elasticsearch模块功能之-快照和恢复(snapshot and restore)

Elasticsearch模块功能之-快照和恢复(snapshot and restore)     快照和恢复模块可以将单个索引或者整个集群做一个快照并存放到远程仓库上。目前支持共享文件系统仓库和官方通过插件方式提供的其他仓库。 1、仓库注册          在创建或恢复仓库数据之前,首先需要到ElasticSearch里进行注册,如下命令用my_backup注册一个共享文件系统,快 ...
aoyouzi 评论(0) 有3154人浏览 2014-10-15 15:44

ElasticSearch集群的安装和配置

ElasticSearch集群的安装和配置   说明:这里只介绍在Linux下ElasticSearch的安装配置,windows下的使用跟Linux很类似   一、前期准备     Elasticsearch 需要Java 7的支持,推荐使用Oracle JDK version 1.7.0_60,根据所选用平台在这里下载安装,完成
aoyouzi 评论(0) 有4495人浏览 2014-10-15 15:41

Elasticsearch模块功能之-自动发现(Discovery)

Elasticsearch模块功能之-自动发现(Discovery)   自动发现(Disovery) 该模块主要负责集群中节点的自动发现和Master节点的选举。节点之间使用p2p的方式进行直接通信,不存在单点故障的问题。Elasticsearch中,Master节点维护集群的全局状态,比如节点加入和离开时进行shard的重新分配。  自动发现机制在目前版本(1.3.1)提供了四种选择, ...
aoyouzi 评论(0) 有4676人浏览 2014-10-15 15:38

Elasticsearch——Templates 模板

Elasticsearch——Templates 模板   刚开始的时候,每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活!当然最主要的,还是调节里面的properties设定,合理的控制store和analyze了。 template设定也有多种方法。最简单的就是和存储数据一样POS ...
aoyouzi 评论(0) 有3361人浏览 2014-10-13 12:41

Elasticsearch-索引优化

Elasticsearch-索引优化       ES索引优化篇主要从两个方面解决问题,一是索引数据过程;二是检索过程。(本文主要介绍)索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据,但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展,而这ES主要是用tranlog进行各节点之间的 ...
aoyouzi 评论(1) 有3872人浏览 2014-10-13 12:41

ElasticSearch的各种服务的URL

ElasticSearch的各种服务的URL     1.curl192.168.106.58:9200/_cat/health?v 集群健康查看 epoch      timestamp cluster       status node.total node.data shards pri relo init unassign 1400639131 10:25:31  elas ...
aoyouzi 评论(0) 有1956人浏览 2014-10-12 14:09

elasticsearch java api——客户端 org.elasticsearch.client

elasticsearch java api——客户端 org.elasticsearch.client     在elasticsearch源代码中,进入到org.elasticsearch.client,你会发现下图所示的类: 我们从最外层开始。 1 org.elasticsearch.client.AdminClient接口 AdminClient下有两个方法:1) clu ...
aoyouzi 评论(0) 有3386人浏览 2014-10-12 14:09

Elasticsearch java api——节点实例化

Elasticsearch java api——节点实例化   要连接到集群,首先要告诉集群:你是谁,你有什么特征。在es中体现为实例化节点。 es通过org.elasticsearch.node.NodeBuilder的build()或者node()方法实例化节点,build()创建节点而不启动,而node()方法等价于build().start(),即创建并启动。 首先实例化Node ...
aoyouzi 评论(0) 有2689人浏览 2014-10-12 14:09

Kibana+Logstash+Elasticsearch 日志查询系统

Kibana+Logstash+Elasticsearch 日志查询系统     搭建该平台的目的就是为了运维、研发很方便的进行日志的查询。Kibana一个免费的web壳;Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具;Elasticsearch一个开源的搜索引擎框架(支持群集架构方式)。   1 安装需求 1.1 理论拓扑   1.2 安装环境 ...
aoyouzi 评论(0) 有2115人浏览 2014-10-11 12:26

Elasticsearch Java虚拟机配置详解

Elasticsearch Java虚拟机配置详解     引言: 今天,事情终于发生了。Java6(Mustang),是2006年早些时候出来的,至今仍然应用在众多生产环境中,现在终于走到了尽头。已经没有什么理由阻止迁移到Java7(Dolphin)上了。 这也促使我想写一篇关于在ElasticSearch上配置Java6和7的细微差异的博文。 Elasticsearch对Java ...
aoyouzi 评论(0) 有2470人浏览 2014-10-11 12:26

Elasticsearch源码分析之二------索引过程源码概要分析

Elasticsearch源码分析之二------索引过程源码概要分析     索引逻辑简单分析,这里只是理清主要的脉络,一些细节方面以后的文章或会阐述。   假如通过java api来调用es的索引接口,先是构造成一个json串(es里表示为XContent,是对要处理的内容进行抽象),在IndexRequest里面指定要索引文档到那个索引库(index)、其类型(type)还有文档 ...
aoyouzi 评论(0) 有1959人浏览 2014-10-11 12:25

elasticsearch------索引修复

elasticsearch------索引修复   在使用基于lucene的各类搜索引擎(如:elasticsearch、solr)时,有可能出现类似如下的错误: Caused by: java.io.EOFException: read past EOF: NIOFSIndexInput(path="/usr/local/sas/escluster/data/cluster ...
aoyouzi 评论(0) 有2894人浏览 2014-10-11 12:25

elasticsearch遇到的一些问题以及解决方法

elasticsearch遇到的一些问题以及解决方法     1.由gc引起节点脱离集群      因为gc时会使jvm停止工作,如果某个节点gc时间过长,master ping3次(zen disc ...
aoyouzi 评论(0) 有3588人浏览 2014-10-11 12:25

Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统

Elasticsearch源码分析之一——使用Guice进行依赖注入与模块化系统   elasticsearch使用google开源的依赖注入框架guice,这个项目号称比spring快100倍,具体性能没有测试过,不过由于其代码比较简洁,比spring快很有可能,是不是快那么多就不知道了。先介绍下guice的基本使用方法。 elasticsearch是直接把guice的源码放到自己的包 ...
aoyouzi 评论(0) 有1307人浏览 2014-10-10 12:55

elasticsearch高级配置之线程池设置

elasticsearch高级配置之线程池设置     一个Elasticsearch节点会有多个线程池,但重要的是下面四个:索引(index):主要是索引数据和删除数据操作(默认是cached类型)搜索(search):主要是获取,统计和搜索操作(默认是cached类型)批量操作(bulk):主要是对索引的批量操作(默认是cached类型)更新(refresh):主要是更新操作(默认是c ...
aoyouzi 评论(0) 有2361人浏览 2014-10-10 12:55

elasticsearch java API ------使用More like this实现基于内容的推荐

elasticsearch java API ------使用More like this实现基于内容的推荐     基于内容的推荐通常是给定一篇文档信息,然后给用户推荐与该文档相识的文档。Lucene的api中有实现查询文章相似度的接口,叫MoreLikeThis。Elasticsearch封装了该接口,通过Elasticsearch的More like this查询接口,我们可以非常方 ...
aoyouzi 评论(0) 有2246人浏览 2014-10-10 12:54

elasticsearch高级配置之分片分布

elasticsearch高级配置之分片分布   分片分布是把索引分片分布到节点的过程。这个操作会在初次启动集群,副本分配,负载均衡,或增加删除节点时进行。下面是一些与分片分布相关的设置:cluster.routing.allocation.allow_rebalance设置根据集群中机器的状态来重新分配分片,可以设置为always, indices_primaries_active和ind ...
aoyouzi 评论(0) 有4122人浏览 2014-10-10 12:54

elasticsearch集群监控工具bigdesk

elasticsearch集群监控工具bigdesk   bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。项目git地址: https://github.com/lukas-vlcek/bigdesk。和head一样,它也是个独立的网页程序,使用方式和head一样。 插件安装运 ...
aoyouzi 评论(0) 有1934人浏览 2014-10-09 10:59

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics