`
corejava2008
  • 浏览: 295554 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

9.ElasticSearch预警服务-Watcher详解-监控时间线数据

阅读更多

来看个小例子:固定周期采集数据,并设置数据预警机制

采集数据配置,拉取RSS数据并存储到ElasticSearch中.
1.下载并安装最新的logstash1.5版本

地址:https://www.elastic.co/products/logstash

 

2.安装rss插件

cd logstash-1.5.0
bin/plugin install logstash-input-rss

 

3.配置数据采集脚本

input {
  rss {
    url => "http://stackoverflow.com/feeds/tag/elasticsearch+or+logstash+or+kibana"
    interval => 3600 
  }
}
output {
  elasticsearch {
    protocol => "http"
    host => "localhost" 
  }
  stdout { }
}

 

4.启动logstash

nohup bin/logstash -f rss.conf > logs/rss.log&

 

5.验证ElasticSearch数据流是否正常
可以通过API,或者Kopf,Head等插件进行验证。

 

Watcher预警配置

1.首先定义Script文件,采用Groovy语法,将文件放置到$ES_HOME/config/Scripts目录下。

$ES_HOME/config/scripts/threshold_hits.groovy
编辑内容为:
return ctx.payload.hits.total > threshold

2.设置Watcher:

PUT _watcher/watch/rss_watch
{
  "trigger" : {
      "schedule" : {
        "daily" : { "at" : "12:00" } #每天12点执行
    }
  },
  "input" : {
    "search" : {
      "request" : {
        "indices" : [ "logstash*" ],#指定查询索引
        "body" : {
          "query" : {
            "filtered" : {
              "query" : {"match" : {"message": "error problem"}}, #查询条件
              "filter" : {"range" : {"@timestamp" : {"gte" : "now-1d"}}}
            }
          }
        }
      }
    }
  },
  "condition" : {
    "script" : {
      "file" : "threshold_hits",#脚本文件名称
      "params" : {
        "threshold" : 0 #参数
      }
    }
  },
  "actions" : {
    "send_email" : { #请注意ElasticSearch.yml中的邮件服务器配置信息,可参考之前的文章介绍
      "email" : {
        "to" : "corejava2008@163.com",  
        "subject" : "Somebody needs help with ELK",
        "body" : "The attached Stack Overflow posts were tagged with Elasticsearch, Logstash, or Kibana and mentioned an error or problem.",
        "attach_data" : true
      }
    }
  }
}

 

3.调试Watcher配,通过以下API可以,立刻执行配置的Watcher

POST _watcher/watch/rss_watch/_execute
{
  "trigger_event" : {
    "schedule" : {
      "triggered_time": "now",
      "scheduled_time": "now"
    }
  },
  "ignore_throttle" : true,
  "simulated_actions" : "_all",
  "record_execution" : true
}

 4.验证是否可以收到预警邮件。

 

2
1
分享到:
评论

相关推荐

    elasticsearch-analysis-ik-7.17.0

    《Elasticsearch全文检索插件IK分析器7.17.0详解》 Elasticsearch是一种流行的开源全文搜索引擎,广泛应用于大数据和big data环境中的数据检索与分析。它以其高效、灵活和可扩展性赢得了业界的青睐。在Elastic...

    windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip

    用于elasticsearch7.17.3这个版本的ik中文分词器,考虑到官网有时网络不稳定下载不下来,这里特意上传,方便大家使用; 目录结构如下: config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...

    elasticsearch-analysis-ik-7.16.2.zip

    《Elasticsearch分词器:elasticsearch-analysis-ik-7.16.2深度解析》 在信息爆炸的时代,搜索引擎的效能成为了数据检索的关键。Elasticsearch作为一款强大的开源搜索引擎,其灵活性和可扩展性备受青睐。而在中文...

    elasticsearch-head-compile-after.tar.gz+node-v8.1.2-linux-x64.ta

    Elasticsearch-Head插件通常用Node.js开发,利用其非阻塞I/O模型和事件驱动特性,可以高效地处理来自Elasticsearch集群的数据流。开发者可以使用Node.js来编写插件的服务器端逻辑,并与Elasticsearch进行通信。 ...

    最新版 elasticsearch-analysis-ik-7.9.3.zip

    《Elasticsearch Analysis IK插件7.9.3详解》 Elasticsearch作为一个强大的全文搜索引擎,其灵活性和可扩展性深受开发者喜爱。然而,对于中文处理,Elasticsearch原生支持并不理想,这时就需要借助于插件来实现,...

    最新版linux elasticsearch-7.13.4-linux-x86_64.tar.gz

    Elasticsearch是一个开源的全文搜索引擎,它基于Lucene构建,被广泛用于数据分析和日志管理。在Linux平台上,Elasticsearch提供了高度可扩展性和实时性能。版本7.13.4是Elasticsearch的一个更新版本,它包含了各种...

    elasticsearch-7.8.0-x86_64.rpm + kibana-7.8.0-x86_64.rpm + logstash-7.8.0.rpm

    Elasticsearch、Kibana和Logstash是 Elastic Stack(前称为 ELK Stack)的重要组成部分,这是一个流行的开源数据处理和分析工具链。这三个组件在大数据、日志管理和实时分析领域广泛应用。 1. **Elasticsearch**:...

    elasticsearch-analysis-ik-7.3.2.zip

    《Elasticsearch中文分词器IK插件详解》 Elasticsearch(ES)作为一个强大的全文搜索引擎,其在处理中文文档时,对中文分词的准确性和效率有着至关重要的作用。"elasticsearch-analysis-ik"是ES中最受欢迎的中文...

    最新版 elasticsearch-analysis-ik-7.17.6.zip

    《Elasticsearch Analysis IK插件详解与7.17.6版本特性》 Elasticsearch是一种流行的开源全文搜索引擎,以其高效、灵活和可扩展性深受开发者喜爱。在处理中文分词方面,Elasticsearch-analysis-ik插件是不可或缺的...

    elasticsearch-analysis-ik-7.16.3.zip

    在现代大数据分析和搜索引擎领域,Elasticsearch(ES)因其高效、灵活的全文检索能力而备受青睐。然而,对于中文这样的多字节语言,如何准确地进行分词是关键。这时,我们就需要引入专门的中文分词器。本文将详细...

    最新版 elasticsearch-analysis-ik-8.5.1.zip

    Elasticsearch Analysis IK 是一个为 Elasticsearch 设计的强大中文分词插件,它的最新版本是 8.5.1。这个插件的主要目的是优化中文文本的检索效率和精度,通过提供高效的分词算法来提升 Elasticsearch 在处理中文...

    最新版windows elasticsearch-7.15.2-windows-x86_64.zip

    此外,Elasticsearch还广泛应用于监控、安全分析、物联网(IoT)数据处理等领域。 总的来说,"windows elasticsearch-7.15.2-windows-x86_64.zip"是一个强大的搜索引擎平台,适用于Windows环境。通过理解和掌握...

    最新版windows elasticsearch-7.17.6-windows-x86_64.zip

    9. **Kibana集成**: Kibana是Elasticsearch的数据可视化工具,通常与之配合使用。同样也有Windows版本,你可以下载并安装Kibana-7.17.6-windows-x86_64.zip,配置好连接Elasticsearch的地址,实现数据的可视化分析。...

    Elasticsearch(elasticsearch-7.17.0-linux-aarch64.tar.gz)

    Elasticsearch(elasticsearch-7.17.0-linux-aarch64.tar.gz适用于Linux x86_64 Arm芯片)是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有...

    elasticsearch-analysis-ik-7.12.0.zip

    《Elasticsearch IK 分析器插件7.12.0版详解》 Elasticsearch是一种流行的开源全文搜索引擎,以其强大的搜索能力和灵活的数据处理能力深受开发者喜爱。在处理中文文本时,选择合适的分析器至关重要,而`elastic...

    elasticsearch-7.17.7-windows-x86-64.zip

    9. **X-Pack插件**:Elastic公司提供的X-Pack插件,包括监控、警报、安全管理、机器学习等功能,为Elasticsearch提供了更全面的企业级特性。 10. **安装与配置**:解压"elasticsearch-7.17.7"文件后,用户需按照...

    elasticsearch-7.13.2-darwin-x86_64.tar.gz

    解压完成后,进入解压后的目录,启动Elasticsearch服务,通常执行`bin/elasticsearch`脚本即可。 **配置** Elasticsearch的配置文件位于`config/elasticsearch.yml`。你可以根据需求调整设置,比如更改默认端口、...

    Elasticsearch(elasticsearch-7.17.0-linux-x86_64.tar.gz)

    Elasticsearch(elasticsearch-7.17.0-linux-x86_64.tar.gz适用于Linux x86_64 )是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索...

    elasticsearch-analysis-ik-7.10.0.zip下载

    "elasticsearch-analysis-ik"是针对Elasticsearch的一个中文分词插件,它的主要功能是提供高效、精准的中文分词能力,使得Elasticsearch能够更好地理解和处理中文文本数据。 在Elasticsearch 7.10.0版本中,...

    elasticsearch-7.17.4-x86-64.rpm文件(分享给需要的同学)

    elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4-x86_64.rpm文件 elasticsearch-7.17.4...

Global site tag (gtag.js) - Google Analytics