本月博客排行
-
第1名
宏天软件 -
第2名
kaizi1992 -
第3名
vipbooks - wallimn
- arpenker
- daizj
- xpenxpen
- zhangjijun
- sunnylocus
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
wy_19921005 - gashero
- gengyun12
- robotmen
- vipbooks
- fantaxy025025
- 大家都说我很棒
- wallimn
- hbxflihua
- qepwqnp
- e_e
- 解宜然
- ranbuijj
- javashop
- zw7534313
- ssydxa219
- jickcai
- sam123456gz
- gdpglc
- zysnba
- sichunli_030
- tanling8334
- appalese
- benladeng5225
- gaojingsong
- wiseboyloves
- zhangyi0618
- xpenxpen
- jh108020
- luxurioust
- xyuma
- 龙哥IT
- nychen2000
- arpenker
- wjianwei666
- wangchen.ily
- jbosscn
- lzyfn123
- kaizi1992
- 狂盗一枝梅
- java-007
- Jameslyy
- hanbaohong
- xiangjie88
- mengjichen
- silverend
- ajinn
- zxq_2017
最新文章列表
elasticsearch linux 安装与IK分词配置
(一)部署
下载es到linux
如在/softs/elasticsearch-1.71.tar.gz
解压:cd /softs
tar -zxvfelasticsearch-1.71.tar.gz (解压)
mv elasticsearch-1.71 /usr/local/elastics ...
Windows下ElasticSearch及相关插件的安装
(1)在官网下载ElasticSearch压缩包,这里我下载的是elasticsearch-1.7.1(下载地址:https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.zip)。
(2)选择电脑上的某个位置进行解压,这里我是放在了D:\elasticsearch-1.7.1。
(3)进入bin目 ...
30天了解30种技术系列---(10)面向Cloud的搜索引擎 ElasticSearch
什么是Lucene
Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎
基本上绝大多数的企业搜索框架目前都是集中使用Lucene。
什么是ElasticSearch
Elasticsearch学习总结(四)
ES搜索
我们通过HTTP方法GET来检索文档,同样的,我们可以使用DELETE方法删除文档,使用HEAD方法检查某文档是否存在。如果想更新已存在的文档,我们只需再PUT一次。
例如:GET /megacorp/employee/1
一、简单搜索
GET请求非常简单——你能轻松获取你想要的文档。让我们来进一步尝试一些东西,比如简单的搜索!
我们尝 ...
Elasticsearch学习总结(一)
1.Elasticsearch是什么
Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。
它不仅仅是Lucene和全文搜索,我们还能这样去描述它:
分布式的实时文件存储,每个字段都被索引并可被搜索
分布式的实时分析搜索引擎
可以扩展到上百台服务器,处理PB级结构化或非结构化数据
2.Elasticsearch的安装
第一步: ...
elasticsearch logstash kibana日志分析监控套件部署使用
ELK简介
ELK似乎是当前最为流行的日志收集-存储-分析的全套解决方案.
Elasticsearch Logstash and Kibana can be used to gather and visualize the syslogs of your systems in a centralized location. Logstash is an open source tool ...
elk+redis 搭建nginx日志分析平台
elk+redis 搭建nginx日志分析平台
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队 列,redis的list结构正好可以作为队列使用。然后分析使用elasticsearch就可以进行分析和查询了。
我们 ...
How HipChat Stores And Indexes Billions Of Messages Using ElasticSearch & Redis
This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams.
HipChat started in an unusual space, one you might not think would hav ...
Elasticsearch 介绍
1.简介
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
ElasticSearch是一个开源 ...
3.Logstash 入门教程 -配置案例
3.Logstash 入门教程 -配置案例
介绍一个详细案例,讲述如何配置读取Apache日志,Syslog并根据自定义条件进行过滤和输出。
手工输入并解析数据
LS中可以通过Filter针对数据进行切片切块等操作,解析,装换,组装等等。。
input { stdin { } } #控制台输入
filter {
grok { #通过GROK来自动解析APACHE日志格式
...
2.Logstash入门教程 - 启动命令行参数及插件安装
2.Logstash入门教程 - 启动命令行参数
Logstash的启动脚本中有比较多的命令行参数:
-f :用于指定配置文件
使用文件,目录,或者通配符加载配置信息,如果指定为目录或者通配符,按字母顺序加载。
-e: 用于指定字符串输入
默认输入为,stdin { type => stdin }
默认输出为:stdout { codec => ruby ...
1.LogStash入门教程
首先Logstash需要依赖JDK 1.7+版本,请确认服务器是否安装了正确的JDK并配置了ClassPath。
Logstash提供了一个启动脚本,通过该脚本启动服务。
可以在该文件中配置JAVA_OPTS和LS_JAVA_OPTS配置JVM,JMS(如果想通过JMS监控的话)相关的参数。
下载并启动服务
curl -O https://download.elasticsea ...
10.ElasticSearch预警服务-Watcher详解-管理Watcher服务
ElasticSearch预警服务-Watcher详解-管理Watcher服务1.监听Watcher相关的数据存储在.watches索引中,该索引具有只读权限,必须通过API来创建,更新和删除。
GET .watches/_search
{
"fields" : [],
"query" : {"match_ ...
9.ElasticSearch预警服务-Watcher详解-监控时间线数据
来看个小例子:固定周期采集数据,并设置数据预警机制采集数据配置,拉取RSS数据并存储到ElasticSearch中.1.下载并安装最新的logstash1.5版本
地址:https://www.elastic.co/products/logstash
2.安装rss插件
cd logstash-1.5.0
bin/plugin install logstash-input-rss
...
8.ElasticSearch预警服务-Watcher详解-监控Marvel数据
8.ElasticSearch预警服务-Watcher详解-监控Marvel数据如果ElasticSearch集群部署了Marvel相关的服务,那么就可以安装Watcher来监控异常情况的产生并发送预警。例如可以在以下情况下配置Watch Action动作.1.集群监控状态监控2.高内存使用率3.高CPU使用率4.高文件目录空间5.高FieldData 缓存使用6.节点加入或者脱离集群使用Watc ...
7.ElasticSearch预警服务-Watcher详解-Action设置
ElasticSearch预警服务-Watcher详解-Action设置Watcher中的Action指配置指定的预警动作,在满足触发条件且不节流的情况下执行。每个Action动作执行一次,Action之间相互独立。执行过程中,发生任何错误都会记录结果,可以在历史记录中查看。Action可以访问Context中的内容。Watcher支持的Action类型有四种:EMail(邮件),Webhook( ...
6.ElasticSearch预警服务-Watcher详解-Transform设置
ElasticSearch预警服务-Watcher详解-Transform设置Transform(数据转换),在Watcher服务的Action执行前执行。可以执行Transform的位置有两次,分别是:1.全局定义(Watch Level),将对所有的Watch动作生效2.局部定义(Action Level),只对指定的Watch动作生效设置案例:
{
"trigger&quo ...
5.ElasticSearch预警服务-Watcher详解-Condition设置
ElasticSearch预警服务-Watcher详解-Condition设置
Condition用于在Watcher触发后决定是否去执行Action动作.目前支持的类型有4种,分别是always,never,script,compare.如果没有进行设置,则默认为always类型。当Condition执行时,可以访问Context中的数据,即Script和Compare可以使用其中的数据来决定 ...
4.ElasticSearch预警服务-Watcher详解-Input配置
Watcher的Input设置用于加载数据到执行Context中,目前支持三种模式设置,分别为simple,search,http。1.Simple简单输入
可以设定一些静态数据,供Watcher后续阶段进行计算,存储等。 这里可以定义静态数据作为一个字符串(STR),数值(NUM),或一个对象(Object)
{
"input" : {
...
3.ElasticSearch预警服务-Watcher详解-Schedule配置
Watcher服务详解-定时器的设定 关于Schedule配置选择,Watcher提供了丰富的时间语法支持,采用UTC时间,来我们一起看下如何设置: 支持的设置方式: hourly:按小时周期设置 daily:按天周期设置 weekly:按周周期设置 monthly:按月周期设置 yearly:按年周期设置 cron: ...