来看个小例子:固定周期采集数据,并设置数据预警机制
采集数据配置,拉取RSS数据并存储到ElasticSearch中.
1.下载并安装最新的logstash1.5版本
地址:https://www.elastic.co/products/logstash
2.安装rss插件
cd logstash-1.5.0 bin/plugin install logstash-input-rss
3.配置数据采集脚本
input { rss { url => "http://stackoverflow.com/feeds/tag/elasticsearch+or+logstash+or+kibana" interval => 3600 } } output { elasticsearch { protocol => "http" host => "localhost" } stdout { } }
4.启动logstash
nohup bin/logstash -f rss.conf > logs/rss.log&
5.验证ElasticSearch数据流是否正常
可以通过API,或者Kopf,Head等插件进行验证。
Watcher预警配置
1.首先定义Script文件,采用Groovy语法,将文件放置到$ES_HOME/config/Scripts目录下。
$ES_HOME/config/scripts/threshold_hits.groovy 编辑内容为: return ctx.payload.hits.total > threshold
2.设置Watcher:
PUT _watcher/watch/rss_watch { "trigger" : { "schedule" : { "daily" : { "at" : "12:00" } #每天12点执行 } }, "input" : { "search" : { "request" : { "indices" : [ "logstash*" ],#指定查询索引 "body" : { "query" : { "filtered" : { "query" : {"match" : {"message": "error problem"}}, #查询条件 "filter" : {"range" : {"@timestamp" : {"gte" : "now-1d"}}} } } } } } }, "condition" : { "script" : { "file" : "threshold_hits",#脚本文件名称 "params" : { "threshold" : 0 #参数 } } }, "actions" : { "send_email" : { #请注意ElasticSearch.yml中的邮件服务器配置信息,可参考之前的文章介绍 "email" : { "to" : "corejava2008@163.com", "subject" : "Somebody needs help with ELK", "body" : "The attached Stack Overflow posts were tagged with Elasticsearch, Logstash, or Kibana and mentioned an error or problem.", "attach_data" : true } } } }
3.调试Watcher配,通过以下API可以,立刻执行配置的Watcher
POST _watcher/watch/rss_watch/_execute { "trigger_event" : { "schedule" : { "triggered_time": "now", "scheduled_time": "now" } }, "ignore_throttle" : true, "simulated_actions" : "_all", "record_execution" : true }
4.验证是否可以收到预警邮件。
相关推荐
《Elasticsearch全文检索插件IK分析器7.17.0详解》 Elasticsearch是一种流行的开源全文搜索引擎,广泛应用于大数据和big data环境中的数据检索与分析。它以其高效、灵活和可扩展性赢得了业界的青睐。在Elastic...
用于elasticsearch7.17.3这个版本的ik中文分词器,考虑到官网有时网络不稳定下载不下来,这里特意上传,方便大家使用; 目录结构如下: config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
《Elasticsearch分词器:elasticsearch-analysis-ik-7.16.2深度解析》 在信息爆炸的时代,搜索引擎的效能成为了数据检索的关键。Elasticsearch作为一款强大的开源搜索引擎,其灵活性和可扩展性备受青睐。而在中文...
Elasticsearch-Head插件通常用Node.js开发,利用其非阻塞I/O模型和事件驱动特性,可以高效地处理来自Elasticsearch集群的数据流。开发者可以使用Node.js来编写插件的服务器端逻辑,并与Elasticsearch进行通信。 ...
《Elasticsearch Analysis IK插件7.9.3详解》 Elasticsearch作为一个强大的全文搜索引擎,其灵活性和可扩展性深受开发者喜爱。然而,对于中文处理,Elasticsearch原生支持并不理想,这时就需要借助于插件来实现,...
Elasticsearch是一个开源的全文搜索引擎,它基于Lucene构建,被广泛用于数据分析和日志管理。在Linux平台上,Elasticsearch提供了高度可扩展性和实时性能。版本7.13.4是Elasticsearch的一个更新版本,它包含了各种...
Elasticsearch、Kibana和Logstash是 Elastic Stack(前称为 ELK Stack)的重要组成部分,这是一个流行的开源数据处理和分析工具链。这三个组件在大数据、日志管理和实时分析领域广泛应用。 1. **Elasticsearch**:...
《Elasticsearch中文分词器IK插件详解》 Elasticsearch(ES)作为一个强大的全文搜索引擎,其在处理中文文档时,对中文分词的准确性和效率有着至关重要的作用。"elasticsearch-analysis-ik"是ES中最受欢迎的中文...
《Elasticsearch Analysis IK插件详解与7.17.6版本特性》 Elasticsearch是一种流行的开源全文搜索引擎,以其高效、灵活和可扩展性深受开发者喜爱。在处理中文分词方面,Elasticsearch-analysis-ik插件是不可或缺的...
在现代大数据分析和搜索引擎领域,Elasticsearch(ES)因其高效、灵活的全文检索能力而备受青睐。然而,对于中文这样的多字节语言,如何准确地进行分词是关键。这时,我们就需要引入专门的中文分词器。本文将详细...
Elasticsearch Analysis IK 是一个为 Elasticsearch 设计的强大中文分词插件,它的最新版本是 8.5.1。这个插件的主要目的是优化中文文本的检索效率和精度,通过提供高效的分词算法来提升 Elasticsearch 在处理中文...
此外,Elasticsearch还广泛应用于监控、安全分析、物联网(IoT)数据处理等领域。 总的来说,"windows elasticsearch-7.15.2-windows-x86_64.zip"是一个强大的搜索引擎平台,适用于Windows环境。通过理解和掌握...
9. **Kibana集成**: Kibana是Elasticsearch的数据可视化工具,通常与之配合使用。同样也有Windows版本,你可以下载并安装Kibana-7.17.6-windows-x86_64.zip,配置好连接Elasticsearch的地址,实现数据的可视化分析。...
Elasticsearch(elasticsearch-7.17.0-linux-aarch64.tar.gz适用于Linux x86_64 Arm芯片)是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有...
《Elasticsearch IK 分析器插件7.12.0版详解》 Elasticsearch是一种流行的开源全文搜索引擎,以其强大的搜索能力和灵活的数据处理能力深受开发者喜爱。在处理中文文本时,选择合适的分析器至关重要,而`elastic...
9. **X-Pack插件**:Elastic公司提供的X-Pack插件,包括监控、警报、安全管理、机器学习等功能,为Elasticsearch提供了更全面的企业级特性。 10. **安装与配置**:解压"elasticsearch-7.17.7"文件后,用户需按照...
解压完成后,进入解压后的目录,启动Elasticsearch服务,通常执行`bin/elasticsearch`脚本即可。 **配置** Elasticsearch的配置文件位于`config/elasticsearch.yml`。你可以根据需求调整设置,比如更改默认端口、...
Elasticsearch(elasticsearch-7.17.0-linux-x86_64.tar.gz适用于Linux x86_64 )是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索...
"elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件,它的主要功能是提供高效、精准的中文分词能力,使得Elasticsearch能够更好地理解和处理中文文本数据。 在Elasticsearch 7.10.0版本中,...
elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4...