`

Logstash安装部署配置

阅读更多

       为了实现各业务平台日志信息采集到大数据平台hdfs上。之前的定技术栈是 flume->kafka->storm->hdfs. 其中通过storm需要写代码,稳定性,可扩展性,维护性不好。
从kafka到hdfs,有专门的日志工具logstash可以解决这个问题.  目前已经在我们的开发环境稳定的运行了一个礼拜(http://192.168.23.31:50070/explorer.html#/data/logstash)。
现请部署到生产环境。

logstash安装配置如下:
1. logstash下载安装, 下载比较慢的话,可以传给你。
wget -c https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm
rpm -ivh logstash-2.3.4-1.noarch.rpm

2. logstash hdfs插件下载安装
git clone  https://github.com/heqin5136/logstash-output-webhdfs-discontinued.git
cd logstash-output-webhdfs-discontinued
/opt/logstash/bin/plugin install logstash-output-webhdfs

3.logstash配置
vim /etc/logstash/conf.d/logstash.conf

input {
  kafka {
    zk_connect =>"192.168.1.50:2181,192.168.1.51:2181,192.168.1.52:2181"   #kafka的zk集群地址,请改为生产环境
    group_id => "hdfs"                     #消费者组,不要和ELK上的消费者一样
    topic_id => "flume_kafka_channel_topic"       #kafka topic,改为生产环境
    consumer_id => "logstash-consumer-192.168.23.31"   #消费者id,自定义
    consumer_threads => 1
    queue_size => 200
    codec => plain{ charset => "UTF-8" }
    auto_offset_reset => "smallest"
  }
}

filter {
     grok {
       match => { "message" =>
        #"%{TIMESTAMP_ISO8601:date} (?<thread_name>.+?\bhost\b.+?)(?<thread>.+?\bu001Cbi\b)(?<action>.+?\baction\b)(?<type>.+?\btype\b)(?<content>.*)"
        "(?<thread>.+?\bu001Cbi\b)(?<action>.+?\baction\b)(?<type>.+?\btype\b)(?<content>.*)"
       }
    }
}

output {
#如果你一个topic中会有好几种日志,可以提取出来分开存储在hdfs上。
if [action] == "-action" and [type] == "-type"  {
    webhdfs {
           workers => 2
           host => "192.168.23.31"        #hdfs的namenode地址,改为生产环境
           port => 50070              #webhdfs端口
           user => "root"             #hdfs运行的用户啊,以这个用户的权限去写hdfs。
           path => "/data/logstash/log-%{+YYYY}-%{+MM}/apiLog-%{+YYYY}-%{+MM}-%{+dd}.log"  #按月建目录,按天建log文件。          
           flush_size => 500
           #compression => "snappy"             #压缩格式,可以不压缩
          idle_flush_time => 10
          retry_interval => 0.5
          codec => plain{ charset => "UTF-8" }
    }
}
}


4. logstash 配置检查,启动,停止
/etc/init.d/logstash   configtest       start    stop
分享到:
评论

相关推荐

    FIlebeat和Logstash部署步骤

    Filebeat和Logstash部署步骤 Filebeat和Logstash是ELK栈中的两个重要组件,分别负责日志收集和日志处理。下面是Filebeat和Logstash的部署步骤。 Filebeat部署步骤: 1. 下载Filebeat:...

    logstash安装部署手册

    本安装部署手册将详细介绍如何在不同的操作系统上安装和配置 Logstash。 1. **系统要求**: - 在安装 Logstash 之前,确保你的系统满足最低硬件和软件需求,包括足够的内存、磁盘空间以及兼容的操作系统(如 ...

    logstash配置文件

    logstach的exe.conf配置文件............................................................................................................

    19-课程索引-Logstash创建索引-安装配置.zip

    此外,对于大型部署,你可能要考虑Logstash的集群配置,以及使用Logstash-forwarder或Filebeat作为数据收集代理,以分发负载和提高可扩展性。同时,使用JVM参数调整可以优化Logstash的性能,例如调整堆内存大小、...

    logstash配置文件.rar

    在实际部署时,需要根据具体业务需求调整这些配置,并确保与其他ELK组件的兼容性。通过监控Logstash的日志和Elasticsearch的索引状态,可以持续优化配置,提高数据处理效率和分析准确性。总的来说,Logstash的配置...

    suricata+elk+kibana+logstash安装手册.docx

    - 安装 Logstash 通常涉及下载软件包,配置输入插件(如 Suricata 的 eve.json 输出格式),以及输出插件指向 Elasticsearch。 4. **Kibana 安装**: - Kibana 用于数据可视化,通过网页界面展示 Suricata 检测到...

    常用中间件安装部署手册

    《常用中间件安装部署手册》V2.0 版本提供了详尽的步骤与指导,旨在帮助运维人员高效地在服务器上安装和配置各种中间件,以满足不同业务需求。以下将逐一阐述其中涉及的关键知识点。 1. **注意事项**: 在开始安装...

    最新版windows logstash-7.17.6-windows-x86_64.zip

    - 自动化部署:可以结合自动化工具如 Ansible 或 Chef 实现 Logstash 配置的版本控制和自动化部署。 7. **安全性与最佳实践**: - 安全配置:考虑到 Logstash 处理的数据可能涉及敏感信息,确保使用 TLS/SSL 加密...

    ELK(Elastic+Logstash+Kibana)部署+配置操作文档.docx

    ### ELK(Elasticsearch + Logstash + Kibana)部署与配置操作指南 #### 一、概述 ELK Stack是一套开源工具集合,由Elasticsearch、Logstash和Kibana三个主要组件组成,主要用于收集、存储、分析和可视化大规模...

    最新版linux logstash-7.9.3.tar.gz

    配置Logstash涉及编写配置文件,定义输入、过滤和输出插件,以及它们的参数。启动Logstash通常使用如下命令: ```bash cd logstash-7.9.3 ./bin/logstash -f path/to/config/file.conf ``` 在使用过程中,记得定期...

    logstash5.6.1向es导入oracle数据库数据

    1. **Logstash配置**:首先,你需要配置Logstash的`input`、`filter`和`output`三个部分。在`input`阶段,设置Oracle JDBC 驱动,定义连接Oracle数据库的参数,如数据库URL、用户名、密码等。例如,使用jdbc输入插件...

    logstash-7.17.7-windows-x86-64.zip

    在安装和配置 Logstash 7.17.7 版本时,用户需要解压 `logstash-7.17.7.zip` 压缩包,然后根据需求配置相应的输入、过滤和输出插件。Logstash 使用 JSON 格式的配置文件,每个插件都以独立的块定义,方便管理和扩展...

    最新版linux logstash-8.3.1-linux-x86_64.tar.gz

    3. **安装依赖**:根据配置文件中使用的插件,可能需要额外安装Java运行环境或其他依赖库。 4. **启动Logstash**:使用`bin/logstash`命令启动服务。 5. **监控和日志**:观察`logs/logstash.stdout`和`logs/...

    ES+Logstash+Kibana+filebeat (ELK)单点部署文档

    ELK单点部署文档 本文档旨在指导用户在单点环境中...本文档详细介绍了ELK单点部署的过程,包括环境准备、Elasticsearch、Logstash和Kibana的安装、配置和启动。按照本文档的步骤,用户可以轻松地部署ELK日志分析系统。

    logstash-5.6.8.zip

    在部署Logstash时,通常会将其与Elasticsearch和Kibana一起使用,构建ELK(Elasticsearch, Logstash, Kibana)堆栈,实现日志管理的全生命周期解决方案。用户可以通过Kibana界面直观地查看和分析由Logstash处理后的...

    最新版windows logstash-8.1.1-windows-x86_64.zip

    7. README:包含有关如何安装、配置和使用Logstash的指南。 安装和使用Logstash的步骤通常包括: 1. 解压下载的zip文件至指定目录。 2. 配置Logstash的主配置文件logstash.yml(如设置路径、日志级别等)。 3. 编写...

    logstash6.2.3 zip包

    这个"Logstash 6.2.3 zip 包"包含了一个完整的 Logstash 版本,适用于在各种环境中安装和部署。Logstash 的强大之处在于它的灵活性和可扩展性,能够处理来自不同来源的数据,并将这些数据转换为结构化的格式,以便于...

    elk部署需要的工具logstash

    现在我们将详细讨论Logstash及其在部署过程中的作用、配置和使用。 1. **Logstash架构与功能** - 输入插件:Logstash 提供了丰富的输入插件,如 file input、syslog input、 beats input 等,用于从各种数据源(如...

    logstash-7.4.2.tar.gz.zip

    2. **config** 目录:存放Logstash的配置文件,例如`logstash.yml`是主配置文件,`pipelines.yml`用于定义处理管道,以及各种插件的配置文件,如input、filter和output插件的配置。 3. **lib** 目录:包含Logstash...

Global site tag (gtag.js) - Google Analytics