`
ljz0898
  • 浏览: 228479 次
  • 性别: Icon_minigender_1
  • 来自: 海南海口
社区版块
存档分类
最新评论

ELK redis配置logstash

    博客分类:
  • ELK
 
阅读更多
input {
   
     file {
        path => "/srv/web/a/logs/a.*"
        start_position => "beginning"
        type => "a"
          
     }

      file {
        path => "/srv/web/b/logs/b.*"
        start_position => "beginning"
        type => "b"
          
     }

     redis {

    host => "120.70.35.123"

    port => "6379"

    data_type => "list"

    type => "c"

    key => "c:redis"

    password => "c"

     }
     redis {

     host => "120.70.35.123"

    port => "6379"

    data_type => "list"

    key => "d:redis"

    type => "d"

    password => "d"

       }

redis {

      host => "120.70.35.123"

    port => "6379"

    data_type => "list"

    key => "e:redis"

    type => "e"

    password => "redis123"

}

redis {

      host => "120.70.35.123"

    port => "6379"

    data_type => "list"

    key => "f:redis"

    type => "f"

    password => "f"

}

redis {

     host => "120.70.35.123"

    port => "6379"

    data_type => "list"

    key => "g:redis"

    type => "g"

    password => "g"

}
}
output {
    if "_grokparsefailure" in [tags] {
    }else{

      if [type] == "a"{
                elasticsearch {
                         hosts => ["http://localhost:9200"]
                         index => "a-%{+YYYY.MM.dd}"
                }
       }

          if [type] == "b"{
                elasticsearch {
                         hosts => ["http://localhost:9200"]
                         index => "b-%{+YYYY.MM.dd}"
                }
       }


        if [type] == "c"{
                elasticsearch {
                         hosts => ["http://localhost:9200"]
                         index => "c-%{+YYYY.MM.dd}"
                }
       }
   
    
         if [type] == "d"{
                elasticsearch {
                         hosts => ["http://localhost:9200"]
                         index => "d-%{+YYYY.MM.dd}"
                }
       }
         if [type] == "f"{
                elasticsearch {
                         hosts => ["http://localhost:9200"]
                         index => "f-%{+YYYY.MM.dd}"
                }
       }
       
  if [type] == "g"{
                elasticsearch {
                         hosts => ["http://localhost:9200"]
                         index => "g-%{+YYYY.MM.dd}"
                }
       }

      

    }  
}
分享到:
评论

相关推荐

    logstash-jdbc-input 同步数据到es的多任务配置

    Logstash配置由三个主要部分组成:输入(input)、过滤(filter)和输出(output)。在这个特定的配置中,`logstashconf`可能包含以下内容: 1. **输入(input)配置**:使用`jdbc`插件定义数据库连接参数,如数据库...

    ELK+Redis 收集tomcat日志文件

    ### ELK+Redis收集Tomcat日志文件 #### 背景与问题 在现代IT环境中,特别是对于大型系统或数据中心来说,日志文件管理变得越来越复杂。传统的手动登录每台服务器查阅日志的方式不仅效率低下,而且难以满足大规模...

    基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统

    基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530

    elk完整配置指南

    4. **Logstash配置**:编写Logstash的配置文件,定义输入、过滤器和输出规则。 5. **Elasticsearch集群配置**:根据实际情况配置Elasticsearch集群,包括节点配置、索引管理策略等。 6. **Kibana部署与配置**:...

    redis-elk:带有redis输入的ELK

    redis-elk 带有redis输入的ELK用法默认启动命令: docker run -d -p 80:80 -p 3333:3333 -p 9200:9200 -p 6379:6379 leorowe/redis-elk默认命令将在 docker 中启动 ELK 和 redis-server。 80 Kibana 3333 Logstash ...

    ELK日志收集系统.docx

    ELK(Elasticsearch, Logstash, Kibana)日志收集系统是一种广泛使用的日志管理和分析解决方案。它由三个核心组件组成,分别是Elasticsearch(一个强大的分布式搜索引擎),Logstash(一个数据处理管道),以及...

    elk指南.zip

    《ELK指南》压缩包包含了全面介绍Elasticsearch、Kibana、Beats以及Logstash这四个关键组件的详尽资料,总计647页,是深入理解和掌握ELK堆栈的重要资源。ELK(Elasticsearch、Logstash、Kibana)是大数据日志分析...

    基于Golang+Kratos+MySQL+Redis+Kafka+elk+Opentracing实现的微服务项目

    6. **ELK Stack**:ELK是Elasticsearch、Logstash和Kibana的组合,提供了一个强大的日志分析和可视化解决方案。Elasticsearch用于存储和搜索日志,Logstash收集、处理和转发日志,Kibana则用于日志的可视化展示和...

    elk.tar.gz_elk

    在Logstash配置文件中指定Redis服务器的连接参数。 5. **部署和测试**: 启动所有服务,通过Logstash发送测试日志到Redis,然后观察Elasticsearch是否成功接收并存储,最后在Kibana中创建数据视图,验证日志数据的...

    docker-for-symfony:用于Symfony 4的Docker堆栈-NGINX PHP7-FPM MySQL ELK Redis RabbitMQ

    它整合了一系列Docker容器,包括NGINX作为Web服务器、PHP7-FPM处理PHP脚本、MySQL用于数据库存储、ELK(Elasticsearch、Logstash、Kibana)日志管理和分析系统、Redis作为内存数据存储以及RabbitMQ作为消息队列。...

    logstash-7.3.2.tar.gz

    Logstash以其强大的输入、过滤和输出插件著称,能够接收来自各种源的数据(如syslog、JMX、HTTP、文件等),对数据进行清洗、转换和标准化,然后将处理后的数据发送到各种目标,如Elasticsearch、Kafka、Redis等。...

    第四章:项目:ELK+Filebeat+Redis部署海量日志分析平台1

    在这个项目中,我们将构建一个基于ELK (Elasticsearch, Logstash, Kibana)的海量日志分析平台,并结合Filebeat和Redis来处理和存储大量服务器日志。以下是各个组件的功能和部署步骤的详细说明: 1. **Filebeat**: ...

    Centos7下搭建ELK日志分析系统

    - 在Logstash配置文件中指定Elasticsearch的地址和端口,确保Logstash能将数据推送到Elasticsearch。 - 配置Kibana以连接到运行的Elasticsearch实例。 6. **启动与测试** - 分别启动Elasticsearch、Logstash、...

    docker-symfony:面向Docker Symfony SOA的NGINX,PHP7-FPM,MySQL,Redis,ELK(Elasticsearch Logstash和Kibana),Varnish和CouchDB

    6. **ELK日志处理**: ELK Stack(Elasticsearch, Logstash, Kibana)是一套强大的日志管理和分析工具,能够实时收集、解析和展示各种日志数据,对系统监控和故障排查非常有帮助。 7. **Varnish缓存**: Varnish作为...

    Logstash的介绍、原理、优缺点、使用、持久化到磁盘、性能测试1

    输入阶段,Logstash可以从多种来源接收数据,如文件(file input)、syslog输入、Redis输入以及Beats(如Filebeat、Packetbeat、Winlogbeat)等。过滤阶段,Logstash提供了丰富的过滤器,如grok用于解析非结构化日志...

    logstash-7.0.1.tar.gz

    Elastic Stack,原名为 ELK Stack,由 Elasticsearch、Logstash 和 Kibana 三个组件组成。它们协同工作,提供了一个强大的日志管理和分析解决方案。 - **Elasticsearch**:是一个分布式、RESTful 风格的搜索和分析...

    elk-rtf:elk(Elasticsearch、Logstash 和 Kibana)准备起飞

    这是一个带有简单配置的elk仓库,已经为elasticsearch安装了一些需要用到的插件,并带有一个以redis为input的logstash配置,可用于快速创建、测试、部署elk。 各组件版本 elasticsearch: 1.4.4 logstash: 1.5.0 ...

    CentOS7零基础部署ELK(7.2.0)集群步骤并监控日志告警

    ELK大致工作流程:Filebeat → Redis → Logstash → Elasticsearch → Kibana,Elastalert定时查询Elasticsearch保存的数据,当数据符合设定的规则时触发告警,发送 短信、微信、邮件通知。 ELK相关软件的版本都是...

Global site tag (gtag.js) - Google Analytics