`
hanyh
  • 浏览: 235393 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

使用syslog-ng进行日志中心化(一)

    博客分类：
  • php
配置管理项目管理 
阅读更多
一个日志中心化设计收集项目，前端有230台的服务器，使用syslogd收集日志，保存在本地磁盘的同时另外发一份到syslog-ng的日志中心服务器上，中心服务器同时把日志分发到两个目的地：本地磁盘存储和一个FIFO。该FIFO作为Source发给PipeReader Class处理，该类对日志进行预处理，如从用户的IP地址查询出对应的城市等。然后发给LogCenter Daemon处理；该Daemon再根据配置文件对数据进行分发到对应的目的的.
架构图如下：


当前存在的问题主要就在Daemon这块，该Daemon的存在是为了对数据进行M：N分发的时候能有一个统一的监控机制和管理平台，但是在分发日志的时候，比如说写Db，存在写入速度太慢的问题，无法及时把daemon收到的数据分发出去,当前还不到300条/s（Db资源受限），如果要继续使用daemon，就必须给daemon增加buffer甚至是disk buffer功能.
而实际上，我们本来可以取消daemon这一层，直接配置syslog-ng的多个destination功能，这样可以使用syslog-ng的fifo buffer等功能。(未完)

  • 大小: 39.9 KB
分享到：
| spinlock
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    syslog-ng安装包及安装步骤

    8. **测试与监控**：确保syslog-ng正在接收和处理日志，可以通过查看日志文件或使用其他监控工具进行检查。 通过以上步骤，你就能成功安装并配置syslog-ng，从而实现对系统日志的高效管理和分析。记住，根据实际...

    syslog-ng-1.6.7rpm安装包和eventlog_0.2.12.tar.gz源码安装包

    syslog-ng是一款强大的日志管理工具，用于收集、解析、过滤和转发来自网络中的系统日志消息。在Linux环境中，syslog-ng扮演着至关重要的角色，帮助管理员监控系统活动，进行故障排查和安全分析。本篇文章将详细介绍...

    syslog-ng构建日志系统

    syslog-ng是一款功能强大的开源日志管理系统，它能够高效地收集、过滤并转发来自不同来源的日志数据。通过使用syslog-ng，我们可以实现对日志数据的有效管理和监控，从而帮助我们更好地了解系统的运行状况并及时发现...

    cacti+syslog-ng实现日志集中管理

    "cacti+syslog-ng"的组合就是一种常见的日志集中管理解决方案，它结合了网络监控工具Cacti和日志收集软件syslog-ng的优势，以实现高效、统一的日志管理和分析。 Cacti是一款开源的网络监控和图形性能数据收集工具，...

    syslog-ng-3.8.1

    syslog-ng是日志管理和分析领域的一款重要软件，版本3.8.1代表了该软件的一个稳定迭代，提供了诸多改进和新特性。本文将深入探讨syslog-ng 3.8.1的核心功能、安装过程以及在实际应用中的重要性。 syslog-ng，全称为...

    syslog-ng_3.5.6.tar.gz

    2. **过滤与转换**：syslog-ng具备强大的日志过滤和转换能力，允许用户通过配置文件定义规则，对收集到的日志进行筛选，去除无关信息，或者根据需要进行格式化和解析。 3. **日志存储**：syslog-ng可以将日志存储到...

    syslog-ng-3.7.3 源码

    syslog-ng是syslog协议的下一代实现，它是一个开源的日志管理系统，用于收集、解析、过滤、存储和转发来自网络中各种设备的日志信息。syslog-ng 3.7.3版本是其发展中的一个重要里程碑，提供了丰富的功能和优化，使得...

    syslog-ng_3.3.5.tar.gz

    syslog-ng的使用并不止于基础的日志收集，它还可以结合各种日志分析工具，例如Kibana、Grafana等，构建可视化仪表盘，帮助企业深入洞察系统运行状态，及时发现并解决潜在问题。在安全领域，syslog-ng可以作为SIEM...

    syslog-ng-2.0.10.tar.gz

    2. **灵活的数据过滤与路由**：syslog-ng提供了强大的过滤规则，可以根据特定条件（如日志级别、来源IP、日志内容等）对日志进行筛选，然后将其路由到不同的目的地，如文件、数据库、网络设备等。 3. **结构化日志...

    OpenWrt Syslog-ng日志功能.docx

    Syslog-ng是一款高效且灵活的系统日志工具，主要用于集中管理来自不同设备的日志数据。相较于传统的syslog，它具备更多高级特性，使得日志管理更加可靠、安全与便捷。 ##### 特性概览 1. **可靠的日志传输**：支持...

    syslog收集：eventlog+syslog-ng+mongodb

    "syslog收集：eventlog+syslog-ng+mongodb"这一主题聚焦于如何利用syslog协议，结合Windows的eventlog和syslog-ng日志收集器，以及MongoDB数据库来构建一个高效的日志管理系统。 首先，让我们深入理解syslog协议。...

    syslog-ng-v2.1-whitepaper-distributed-syslog-architectures-en

    2. **使用中继器**：设置syslog-ng中继器，使得日志消息先传递给中继器，再由中继器转发给中心日志服务器。 3. **混合方法**：结合上述两种方法，根据实际情况选择最合适的部署策略。 #### 其他重要特性 - **输出...

    linux cacti syslog-ng snare实现日志集中管理

    - **syslog-ng** 是一个强大的日志管理工具，它允许用户收集、过滤和转发来自不同源的日志消息。 - 在 CentOS 5.4 系统环境中，通过安装 syslog-ng 可以实现日志的集中管理。 - **安装步骤**： 1. **下载 rpm 包**...

    syslog-ng-docker:用于syslog-ng开发，测试，操场的Docker映像

    syslog-ng Docker映像该存储库包含以下Docker映像的源： balabit/syslog-ng ：已安装syslog-ng。 它旨在用作系统日志记录服务。弃用的图片该存储库还包含以下图像。 但是，这些图像现在已过时和过时。 您可以在找到...

    syslog-ng-3.7.1.tar.gz

    3. **格式转换**：syslog-ng允许用户对日志数据进行结构化处理，支持JSON、XML、CSV等多种格式，便于后续分析和处理。它还支持自定义模板，满足不同场景下的需求。 4. **过滤与解析**：syslog-ng提供了强大的过滤...

    syslog-ng-deployment:Syslog-ng部署配置

    系统部署 基本安装说明： 在Ubuntu 16.04上： apt-get install syslog-ng-core git ... 包含syslog-ng configs的文件路径，默认为/ etc / syslog-ng / 0000-options.conf 包含syslog-ng的系统默认选项。 这些基

    syslog-ng3.16.1.tar.gz

    syslog-ng3.16 的tar包；下载下面这个很慢的可以用我这个。。。 https://github.com/balabit/syslog-ng/releases/download/syslog-ng-3.16.1/syslog-ng-3.16.1.tar.gz

    syslog-ng 3.5 安装笔记

    这个笔记是我根据以往的syslog-ng 2.0的方面，更新到syslog-ng 3.5的笔记

    syslog-ng:日志管理解决方案，可提高SIEM的性能-开源

    syslog-ng是一种日志管理解决方案，它通过减少SIEM解决方案的数量并提高提供给SIEM的数据质量来提高SIEM解决方案的性能。 使用syslog-ng Store Box，您可以找到答案。 使用带有布尔运算符的全文查询，可在数秒内搜索...

    syslog-ngOSE_3.30管理手册

    syslog-ng 是一款功能强大的日志管理系统，用于收集、传输和存储系统和应用程序日志消息。 syslog-ng 的核心功能是将日志消息从源传输到目的地。它可以对日志消息进行重新格式化和解析，从而为日志消息添加更多的上...

Magicbox
Global site tag (gtag.js) - Google Analytics