- 浏览: 25415 次
- 性别:
- 来自: 深圳
文章分类
最新评论
为了实现各业务平台日志信息采集到大数据平台hdfs上。之前的定技术栈是 flume->kafka->storm->hdfs. 其中通过storm需要写代码,稳定性,可扩展性,维护性不好。
从kafka到hdfs,有专门的日志工具logstash可以解决这个问题. 目前已经在我们的开发环境稳定的运行了一个礼拜(http://192.168.23.31:50070/explorer.html#/data/logstash)。
现请部署到生产环境。
logstash安装配置如下:
1. logstash下载安装, 下载比较慢的话,可以传给你。
wget -c https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.4-1.noarch.rpm
rpm -ivh logstash-2.3.4-1.noarch.rpm
2. logstash hdfs插件下载安装
git clone https://github.com/heqin5136/logstash-output-webhdfs-discontinued.git
cd logstash-output-webhdfs-discontinued
/opt/logstash/bin/plugin install logstash-output-webhdfs
3.logstash配置
vim /etc/logstash/conf.d/logstash.conf
input {
kafka {
zk_connect =>"192.168.1.50:2181,192.168.1.51:2181,192.168.1.52:2181" #kafka的zk集群地址,请改为生产环境
group_id => "hdfs" #消费者组,不要和ELK上的消费者一样
topic_id => "flume_kafka_channel_topic" #kafka topic,改为生产环境
consumer_id => "logstash-consumer-192.168.23.31" #消费者id,自定义
consumer_threads => 1
queue_size => 200
codec => plain{ charset => "UTF-8" }
auto_offset_reset => "smallest"
}
}
filter {
grok {
match => { "message" =>
#"%{TIMESTAMP_ISO8601:date} (?<thread_name>.+?\bhost\b.+?)(?<thread>.+?\bu001Cbi\b)(?<action>.+?\baction\b)(?<type>.+?\btype\b)(?<content>.*)"
"(?<thread>.+?\bu001Cbi\b)(?<action>.+?\baction\b)(?<type>.+?\btype\b)(?<content>.*)"
}
}
}
output {
#如果你一个topic中会有好几种日志,可以提取出来分开存储在hdfs上。
if [action] == "-action" and [type] == "-type" {
webhdfs {
workers => 2
host => "192.168.23.31" #hdfs的namenode地址,改为生产环境
port => 50070 #webhdfs端口
user => "root" #hdfs运行的用户啊,以这个用户的权限去写hdfs。
path => "/data/logstash/log-%{+YYYY}-%{+MM}/apiLog-%{+YYYY}-%{+MM}-%{+dd}.log" #按月建目录,按天建log文件。
flush_size => 500
#compression => "snappy" #压缩格式,可以不压缩
idle_flush_time => 10
retry_interval => 0.5
codec => plain{ charset => "UTF-8" }
}
}
}
4. logstash 配置检查,启动,停止
/etc/init.d/logstash configtest start stop
发表评论
-
Canal相关理解
2017-12-29 16:18 459转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 7191.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 858设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 458一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 441一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 897导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 361一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 905一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
KYKIN安装
2017-09-30 17:40 3591. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
HBASE API
2017-04-18 11:01 471package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 466#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4141.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1352一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 351192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 391物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 439public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1016将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1654当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3051.java.net.UnknownHostException ...
相关推荐
Filebeat和Logstash部署步骤 Filebeat和Logstash是ELK栈中的两个重要组件,分别负责日志收集和日志处理。下面是Filebeat和Logstash的部署步骤。 Filebeat部署步骤: 1. 下载Filebeat:...
本安装部署手册将详细介绍如何在不同的操作系统上安装和配置 Logstash。 1. **系统要求**: - 在安装 Logstash 之前,确保你的系统满足最低硬件和软件需求,包括足够的内存、磁盘空间以及兼容的操作系统(如 ...
logstach的exe.conf配置文件............................................................................................................
此外,对于大型部署,你可能要考虑Logstash的集群配置,以及使用Logstash-forwarder或Filebeat作为数据收集代理,以分发负载和提高可扩展性。同时,使用JVM参数调整可以优化Logstash的性能,例如调整堆内存大小、...
在实际部署时,需要根据具体业务需求调整这些配置,并确保与其他ELK组件的兼容性。通过监控Logstash的日志和Elasticsearch的索引状态,可以持续优化配置,提高数据处理效率和分析准确性。总的来说,Logstash的配置...
- 安装 Logstash 通常涉及下载软件包,配置输入插件(如 Suricata 的 eve.json 输出格式),以及输出插件指向 Elasticsearch。 4. **Kibana 安装**: - Kibana 用于数据可视化,通过网页界面展示 Suricata 检测到...
《常用中间件安装部署手册》V2.0 版本提供了详尽的步骤与指导,旨在帮助运维人员高效地在服务器上安装和配置各种中间件,以满足不同业务需求。以下将逐一阐述其中涉及的关键知识点。 1. **注意事项**: 在开始安装...
- 自动化部署:可以结合自动化工具如 Ansible 或 Chef 实现 Logstash 配置的版本控制和自动化部署。 7. **安全性与最佳实践**: - 安全配置:考虑到 Logstash 处理的数据可能涉及敏感信息,确保使用 TLS/SSL 加密...
### ELK(Elasticsearch + Logstash + Kibana)部署与配置操作指南 #### 一、概述 ELK Stack是一套开源工具集合,由Elasticsearch、Logstash和Kibana三个主要组件组成,主要用于收集、存储、分析和可视化大规模...
配置Logstash涉及编写配置文件,定义输入、过滤和输出插件,以及它们的参数。启动Logstash通常使用如下命令: ```bash cd logstash-7.9.3 ./bin/logstash -f path/to/config/file.conf ``` 在使用过程中,记得定期...
1. **Logstash配置**:首先,你需要配置Logstash的`input`、`filter`和`output`三个部分。在`input`阶段,设置Oracle JDBC 驱动,定义连接Oracle数据库的参数,如数据库URL、用户名、密码等。例如,使用jdbc输入插件...
在安装和配置 Logstash 7.17.7 版本时,用户需要解压 `logstash-7.17.7.zip` 压缩包,然后根据需求配置相应的输入、过滤和输出插件。Logstash 使用 JSON 格式的配置文件,每个插件都以独立的块定义,方便管理和扩展...
3. **安装依赖**:根据配置文件中使用的插件,可能需要额外安装Java运行环境或其他依赖库。 4. **启动Logstash**:使用`bin/logstash`命令启动服务。 5. **监控和日志**:观察`logs/logstash.stdout`和`logs/...
ELK单点部署文档 本文档旨在指导用户在单点环境中...本文档详细介绍了ELK单点部署的过程,包括环境准备、Elasticsearch、Logstash和Kibana的安装、配置和启动。按照本文档的步骤,用户可以轻松地部署ELK日志分析系统。
在部署Logstash时,通常会将其与Elasticsearch和Kibana一起使用,构建ELK(Elasticsearch, Logstash, Kibana)堆栈,实现日志管理的全生命周期解决方案。用户可以通过Kibana界面直观地查看和分析由Logstash处理后的...
7. README:包含有关如何安装、配置和使用Logstash的指南。 安装和使用Logstash的步骤通常包括: 1. 解压下载的zip文件至指定目录。 2. 配置Logstash的主配置文件logstash.yml(如设置路径、日志级别等)。 3. 编写...
这个"Logstash 6.2.3 zip 包"包含了一个完整的 Logstash 版本,适用于在各种环境中安装和部署。Logstash 的强大之处在于它的灵活性和可扩展性,能够处理来自不同来源的数据,并将这些数据转换为结构化的格式,以便于...
现在我们将详细讨论Logstash及其在部署过程中的作用、配置和使用。 1. **Logstash架构与功能** - 输入插件:Logstash 提供了丰富的输入插件,如 file input、syslog input、 beats input 等,用于从各种数据源(如...
2. **config** 目录:存放Logstash的配置文件,例如`logstash.yml`是主配置文件,`pipelines.yml`用于定义处理管道,以及各种插件的配置文件,如input、filter和output插件的配置。 3. **lib** 目录:包含Logstash...