本月博客排行
-
第1名
宏天软件 -
第2名
kaizi1992 -
第3名
vipbooks - wallimn
- arpenker
- daizj
- xpenxpen
- zhangjijun
- sunnylocus
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
wy_19921005 - gashero
- gengyun12
- robotmen
- vipbooks
- fantaxy025025
- 大家都说我很棒
- wallimn
- hbxflihua
- qepwqnp
- e_e
- 解宜然
- ranbuijj
- javashop
- zw7534313
- ssydxa219
- jickcai
- sam123456gz
- gdpglc
- zysnba
- sichunli_030
- tanling8334
- appalese
- benladeng5225
- gaojingsong
- wiseboyloves
- zhangyi0618
- xpenxpen
- jh108020
- luxurioust
- xyuma
- nychen2000
- 龙哥IT
- arpenker
- wjianwei666
- wangchen.ily
- jbosscn
- lzyfn123
- 狂盗一枝梅
- kaizi1992
- java-007
- Jameslyy
- hanbaohong
- xiangjie88
- mengjichen
- silverend
- ajinn
- zxq_2017
最新文章列表
ElasticSearch安装与基本使用
【零】简介
Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎,分布式,十分高效。
主要的特点:
分布式的实时文件存储,每个字段都被索引并可被搜索
分布式的实时分析搜索引擎
可以扩展到上百台服务器,处理PB级结构化或非结构化数据
【一】下载、安装、启动、安装插件
sudo wget https://download.elasti ...
使用 Elasticsearch2.1 实现博客站内搜索
一直以来,为了优化本博客站内搜索效果和速度,我使用 bing 的 site: 站内搜索做为数据源,在服务端获取、解析、处理并缓存搜索结果,直接输出 HTML。这个方案唯一的问题是时效性难以保证,尽管我可以在发布和修改文章时主动告诉 bing,但它什么时候更新索引则完全不受我控制。
本着不折腾就浑身不自在的原则,我最终还是使用 Elasticsearch 搭建了自己的搜索服务。Elasticsea ...
elasticsearch 快照备份数据
本节我们讲下elasticsearch备份数据
我们采用linux 的NFS(网络文件系统)方式做快照备份。
假设我们现在有三台机器 A B C
A 和 B 分别是我们集群的两个节点,C 是我们要备份数据的磁盘。
先查看我们的机器是否安装了NFS
rpm -qa | grep nfs
如果出现类似下面:
nfs-utils- ...
elasticsearch2.0源码在开发环境eclipse中启动的问题及解决方案
原文转自:http://blog.csdn.net/jianjun200607/article/details/49821813
为了学习用,如有侵权,请尽快联系本人删除,感谢
es2.0跟1.6或者1.7有所不同,1.6或者1.7直接运行就可以启动,不需要任何的配置,2.0不同,如果不配置一些东东是无法正常在eclipse中启动调试的
1.异常:
Exception in thread &qu ...
elasticsearch安装教程汇总
最近项目用到了elasticsearch,因为是新接触,没人指导,走了不少弯路,记录下使用教程,以供其他人学习和参考。
elasticsearch官网:https://github.com/elastic/elasticsearch
一、安装教程
1、一步一步教你elasticsearch在windows下的安装:
http://www.cnblogs.com/zhangchenliang/p ...
ElasticSearch 服务安装
1.准备 JAVA Jdk 环境
新版本的 ElasticSearch 需要的 Jdk 版本较高.公司默认提供现在最新能到1.7.45版本因此需要升级 Jdk 具体升级 Jdk.见dev 环境 Jdk 升级备忘
2.安装 ElasticSearch
2.1 下载安装包(归档包)
官网:https://www.elastic.co/downloads/elasticsearch
下载地 ...
elasticsearch的安装和使用
原文转自:
http://www.cnblogs.com/huangfox/p/3541300.html
一)安装
1)下载elasticsearch-0.90.10,解压,运行\bin\elasticsearch.bat (windwos)
2)进入http://localhost:9200/ 如下图
安装成功!
二)插件——head
elasticsearch-head是一个el ...
ElasticSearch2.1的java api批量建索引方法
es里面提供了两种批量建索引的方法:
1,使用 Bulk Api 特点是:使用比较简单,但控制不够灵活
2,使用Bulk Processor 特点是:使用稍麻烦,控制非常灵活
至于为什么要批量建索引,相信大伙已经不陌生了,为的就是提高写入效率,效率,效率!
数量大的情况下,10ms性能的提升,都有可能带来巨大的优化效果,所以时时刻刻考虑系统的性能无疑是
一个优秀的工程师必须 ...
ElasticSearch中分词器组件配置详解
首先要明确一点,ElasticSearch是基于Lucene的,它的很多基础性组件,都是由Apache Lucene提供的,而es则提供了更高层次的封装以及分布式方面的增强与扩展。
所以要想熟练的掌握的关于es中分词方面的知识,一定得先从Lucene抓起,否则只会是丈二和尚摸不着头脑,当然我们大多数开发者只关注于怎么用,偏底层的东东,也没有太多时间去深究,这也有情可原,遇到问题再去探究,也何尝不是 ...
Solr如何避免查询条件过多异常
今天,需要查询一个东西,在q里面大概有900左右参数,使用solr查询,报异常,看log提示:
Jetty HttpParser Full
从上面的原因不难分析出事jetty的问题,上stackoverflow查了下,果然是jetty的问题,jetty默认对GET请求有限制,所以在请求的时候换成POST请求,至此可以查询了。
jetty出错信息,可以参考http://www.w3.org/Pro ...
Elasticsearch配置内存
原生ES,只需要在启动时加上'-Xmx1g -Xms1g'
Elasticsearch Docker,参数为 '-eES_MIN_MEM=1g-eES_MAX_MEM=1g'
注意:
1. mx和ms最好设为一样,避免GC
2. 为了保证最大效率,ES内存设为预留内存的一半,另外一半留给Lucene。
Elasticsearch删除所有数据
项目中碰到一个elasticsearch的purge需求,就是说在不删除index和type的前提下,清除其中的所有数据。
用es的delete by query api可以做到,尽管官方声明deprecated in 1.5.3,但是经过测试1.8还是可以用的(真不敢想象要是不能用了怎么办。。。连个purge的api都没有。。),语法如下:
DELETE /<index&g ...
分布式日志收集之Logstash 笔记(一)
(一)logstash是什么?
logstash是一种分布式日志收集框架,开发语言是JRuby,当然是为了与Java平台对接,不过与Ruby语法兼容良好,非常简洁强大,经常与ElasticSearch,Kibana配置,组成著名的ELK技术栈,非常适合用来做日志数据的分析。
当然它可以单独出现,作为日志收集软件,你可以收集日志到多种存储系统或临时中转系统,如MySQL,redis,kakfa ...
海量可视化日志分析平台之ELK搭建
ELK是什么?
E=ElasticSearch ,一款基于的Lucene的分布式搜索引擎,我们熟悉的github,就是由ElastiSearch提供的搜索,据传已经有10TB+的数据量。
L=LogStash , 一款分布式日志收集系统,支持多输入源,并内置一些过滤操作,支持多输入元
K=Kibana , 一款配合ElasticSearch的web可视化界面,内置非常各种查询,聚合操作,并拥有漂亮的 ...
Elasticsearch Bulk API
Elasticsearch Bulk API允许批量提交index和delete请求。
BulkRequestBuilder bulkRequest = client.prepareBulk();
bulkRequest.add(client.prepareIndex("index1", "type1", "id1").setS ...
Elasticsearch 学习之旅 <二> 插件安装
插件安装分为两种方式
这里以安装 elasticsearch-head 为示例
1. 在线安装
cd bin
./plugin -install mobz/elasticsearch-head
将会自动下载插件并安装,适用于网络连接正常的情况.
2. 离线安装
因为在我机器上无法连接github, 所以我采用了这种方式
先在局域网另一台机器192.168.0.84 ...
Elasticsearch 学习之旅 <一> 初体验
1. 安装
Elasticsearch 安装非常简单, 下载, 解压, 启动, 搞定
wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.zip
unzip elasticsearch-1.7.1.zip
cd elasticsearch-1.7.1/bin
./elastic ...
ElasticSearch强制重置未分配的分片
强制重置脚本,请留意,可能会造成数据丢失。
NODE="YOUR NODE NAME"
IFS=$'\n'
for line in $(curl -s 'localhost:9200/_cat/shards' | fgrep UNASSIGNED); do
INDEX=$(echo $line | (awk '{print $1}'))
SHARD=$( ...