`
hongliangpan
  • 浏览: 318705 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
阅读更多
采集技术比较
  网络管理中常用来采集日志数据的方式包括文本方式采集、SNMP Trap方式采集和syslog方式采集,另外,其他采集方式,如Telnet 采集(远程控制命令采集)、串口采集等。我们如何选用比较合适的技术方式进行日志数据采集是必须首先考虑的,下面对当前主要的日志数据采集技术进行简单分 析。
文本方式
  在统一安全管理系统中以文本方式采集日志数据主要是指邮件或FTP方式。邮件方式是指 在安全设备内设定报警或通知条件,当符合条件的事件发生时,相关情况被一一记录下来,然后在某一时间由安全设备或系统主动地将这些日志信息以邮件形式发给 邮件接受者,属于被动采集日志数据方式。其中的日志信息通常是以文本方式传送,传送的信息量相对少且需专业人员才能看懂。而FTP方式必须事先开发特定的 采集程序进行日志数据采集,每次连接都是完整下载整个日志文本文件,网络传输数据量可能非常大,属于主动采集日志数据方式。
  随着网络高速的发展,网络内部以百兆、千兆甚至万兆互联,即使采取功能强大的计算机来处理日志数据包的采集工作,相对来说以上两种方式速度和效率也是不尽人意。因此,文本方式只能在采集日志数据范围小、速度比较慢的网络中使用,一般在网络安全管理中不被主要采用。

SNMP trap方式

  建立在简单网络管理协议SNMP上的网络管理,人们通常使用SNMP Trap 机制进行日志数据采集。生成Trap消息的事件(如系统重启)由Trap代理内部定义,而不是通用格式定义。由于Trap机制是基于事件驱动的,代理只有 在监听到故障时才通知管理系统,非故障信息不会通知给管理系统。对于该方式的日志数据采集只能在SNMP下进行,生成的消息格式单独定义,对于不支持 SNMP设备通用性不是很强。
  网络设备的部分故障日志信息,如环境、SNMP访问失效等信息由SNMP Trap进行报告,通过对 SNMP 数据报文中 Trap 字段值的解释就可以获得一条网络设备的重要信息,由此可见管理进程必须能够全面正确地解释网络上各种设备所发送的Trap数据,这样才能完成对网络设备的 信息监控和数据采集。
  但是由于网络结构和网络技术的多样性,以及不同厂商管理其网络设备的手段不同,要求网络管理系统不但对公有 Trap能够正确解释,更要对不同厂商网络设备的私有部分非常了解,这样才能正确解析不同厂商网络设备所发送的私有 Trap,这也需要跟厂商紧密合作,进行联合技术开发,从而保证对私有 Trap 完整正确的解析和应用。此原因导致该种方式面对不同厂商的产品采集日志数据方式需单独进行编程处理,且要全面解释所有日志信息才能有效地采集到日志数据。 由此可见,该采集在日常日志数据采集中通用性不强。
  syslog方式
  已成为工业标准协议的系统日志(syslog)协议是在加里佛尼亚大学伯克立 软件分布研究中心(BSD)的TCP/IP 系统实施中开发的,目前,可用它记录设备的日志。在路由器、交换机、服务器等网络设备中,syslog记录着系统中的任何事件,管理者可以通过查看系统记 录,随时掌握系统状况。它能够接收远程系统的日志记录,在一个日志中按时间顺序处理包含多个系统的记录,并以文件形式存盘。同时不需要连接多个系统,就可 以在一个位置查看所有的记录。syslog使用UDP作为传输协议,通过目的端口514(也可以是其他定义的端口号),将所有安全设备的日志管理配置发送 到安装了syslog软件系统的日志服务器,syslog日志服务器自动接收日志数据并写到日志文件中。
分享到:
评论

相关推荐

    综合告警管理系统解决方案

    可针对网络中不同的数据源提供SNMP、Syslog、Trap、TL1、TCP、CORBA、Logfile、DB 八种数据采集方式,并作统一化数据格式处理,经过缓存后,传送到告警数据处理系统。 2. 数据处理功能: • 告警过滤:根据配置进行...

    EventLogAnalyzer配置告警.mp4

    EventLogAnalyzer配置告警.mp4

    爱立信告警处理手册.pdf

    - **AP LOG STATISTICS**:应用日志统计告警,可能意味着日志记录超出预期,需要清理日志或调整记录策略。 - **APPLICATION DETECTED SOFTWARE ERROR**:应用检测到软件错误,这通常需要更新软件版本或修复程序...

    LogBase日志管理审计系统.pptx

    LogBase日志管理审计系统的架构主要包括采集中心、实时分析引擎、存储中心、配置管理、告警日志备份和报表等模块。其中,采集中心负责采集来自操作系统、应用系统、数据库系统和网络设备的日志数据;实时分析引擎对...

    EventLog_Analyzer.zip

    Eventlog Analyzer日志管理系统、日志分析工具、日志服务器的功能及作用 ...告警与通知 及时发现网络故障问题 实时告警 邮件、短信通知或运行程序 集成第三方工具 扩展管理 EventLog Analyzer API

    入侵检测技术课程期末作业基于Python的入侵检测系统IDS源代码,能够根据系统日志、中间件日志及流量数据包检测到攻击并进行告警

    本实验实现了server/agent形式的ids检测系统,能够根据系统日志、中间件日志及流量数据包检测到攻击并进行告警。 本仓库代码实现了攻击端发送恶意文件,恶意流量信息。 核心代码 Agent.py 负责数据采集、推送:...

    阿里云开源插件log-pilot搜集k8s部署应用容器内日志

    3. **监控告警**:配合Prometheus、Grafana等工具,对log-pilot自身进行监控和告警,确保日志收集的稳定性。 4. **数据保留策略**:设定合理的日志保留策略,防止日志数据过度积累导致存储压力。 总结来说,阿里云...

    电信设备-Log信息系统.zip

    此外,Log信息系统还与告警管理、故障预测、容量规划等环节紧密相连。告警管理根据Log信息触发相应的警告,帮助运维人员及时响应;故障预测通过分析Log数据的模式,预判潜在问题,提前采取预防措施;容量规划则依据...

    Go-OKLog一个分布式和无结构的日志管理系统

    6. **扩展性**:通过插件机制或API接口,用户可以自定义日志处理器,满足特定场景的需求,如日志告警、日志压缩等。 7. **性能优化**:考虑到日志系统的性能,OK Log可能进行了多方面的优化,例如批量发送、异步...

    基于 Zabbix 实现对日志的收集、监控、报警、触发脚本

    例如,你可能会添加一条像 `log["/var/log/application.log"]` 的指令,以监控 `/var/log/application.log` 文件。 Zabbix 提供了丰富的报警机制,当监控指标达到预设阈值时,可以通过邮件、短信或其他方式通知管理...

    日志的统一采集和处理领域知识和最佳实

    7. **日志的价值挖掘**:通过统计和告警等功能,提升日志的业务价值。 常见的日志系统架构有ELK(Elasticsearch、Logstash、Kibana)和EFK(Elasticsearch、Fluentd、Kibana),以及Loki及其组件。这些系统提供了从...

    java日志数据的采集显示

    例如,通过设置特定日志级别的阈值,当达到一定条件时触发告警。 综上所述,Java日志数据的采集显示涉及到多个层面,从选择合适的日志框架,到配置日志输出,再到日志的收集、存储、分析和可视化。理解并熟练掌握这...

    NETCOOL组件培训PPT

    Probes (告警信息采集) - **功能**: Probes是NETCOOL的核心组件之一,主要用于收集来自网络设备、服务器和其他系统的原始告警信息。 - **工作原理**: Probes部署在网络设备附近或服务器上,通过SNMP Trap、Syslog...

    深入浅出开源监控系统Prometheus

    通常一个监控系统主要包含采集(信息源:log、metrics)、上报(协议:http、tcp)、聚合、存储、可视化以及告警等等。其中采集上报主要是客户端的核心功能,一般有定期外围探测的(早期的Nagios、Zabbix)、AOP方式...

    华为云日志服务LTS详细介绍.pdf

    该服务广泛应用于多场景中,包括但不限于日志数据采集、实时日志分析、日志搜索、日志监控与告警、日志存储与转储等功能。 首先,LTS中的ICAgent(日志采集代理)是一个关键组件,它负责在云主机中采集日志数据,并...

    xmljava系统源码-finder-web:日志监控文件浏览器

    web方式的log文件查看,支持任意大小的文本文件,支持类似于linux系统的tail和less方式查看,并支持任意定位文件位置,无论文件大小,查看体验都近似于本地文件。 支持集群部署,允许你通过finder对多台机器上的日志...

    shell-编写监控平台

    2. **邮件告警脚本**:当检测到异常情况时,通过邮件方式通知管理员。 3. **日志输出脚本**:记录监控过程中的错误信息,便于后续分析。 4. **主程序**:协调各个脚本的工作流程,是整个监控系统的控制中心。 5. **...

    基于物联网技术的机房资产智能盘点系统.pdf

    位置及空间容量监控功能通过物联网采集设备、U 位监控器、电子标签等,实时采集监控资产设备物理位置,进行状态显示,对位置异动进行自动识别、告警上传、短信 / 邮件通知等。对机架空间容量进行自动统计、显示。...

    nagios+centreon完全配置+使用手册汇总

    它可以在设定的条件下对主机和服务进行实时监控,并在发现状态变差或变好时通过多种方式发送告警信息。Nagios具备的特性包括但不限于监控网络服务(如SMTP、POP3、HTTP等)、监控主机资源(如CPU负荷、磁盘利用率等...

    Python脚本实现Zabbix多行日志监控过程解析

    首先,我们需要理解Zabbix的日志监控机制:Zabbix会检查整个日志文件,如果在新产生的日志中发现已告警的错误,它可能会再次触发告警,导致重复告警的问题。为了解决这个问题,我们需要设计一个能够记录检查位置并...

Global site tag (gtag.js) - Google Analytics