《开源安全运维平台-OSSIM最佳实践》已于2016年1月出版
经多年潜心研究开源技术,历时三年创作的《开源安全运维平台OSSIM最佳实践》一书即将出版。该书用100多万字记录了作者10多年的OSSIM研究应用成果,重点展示了开源安全管理平台OSSIM在大型企业网运维管理中的实践。国内目前也有各式各样的运维系统,经过笔者对比分析得出这些工具无论在功能上、性能上还是在安全和稳定性易用性上都无法跟OSSIM系统想媲美,而且很多国内的开源安全运维项目在发布几年后就逐步淡出了舞台,而OSSIM持续发展了十多年。
内容提要
全书共分三篇,10章:第一篇(1~2章)分主要介绍OSSIM架构与工作原理、系统规划、实施关键要素和过滤分析SIEM事件的要领。第二篇(3~6章)主要介绍OSSIM所涉及的几个后台数据库,重点强调安全事件分类聚合、提取流程、关联分析算法、Snort规则分析等技巧。第三篇(7~10章)主要介绍日志收集方法和标准化实现思路以及在OSSIM中用HIDS/NIDS、Netflow抓包分析异常流量的方法,深入分析了Openvas架构和脚本分析方法。
全书装帧精美,反映了国内信息安全领域的前沿问题,为安全事件关联分析提供了切实可行的实现方法,解决了企业中安全事件可视化分析的难题,可以作为开源技术研究人员、网络安全管理人员以及高校计算机专业师生学习参考使用。
前 言
一、为什么要写作本书
1. 现状
日常工作中,运维人员大部分时间和精力都用于处理简单、重复的问题,由于故障预警机制不完善,往往故障发生后才会进行处理,运维人员经常处于被动“救火”状态。
没有高效的管理工具支持,就很难快速处理故障。市面上有很多运维监控工具,例如商业版的、Solarwinds、ManageEngine以及WhatsUp等,开源的MRTG、Nagios、Cacti、Zabbix、OpenNMS、Ganglia等。由于它们彼此之间所生成的数据没有关联,无法共享,即便部署了这些工具,很多运维人员并没有从中真正解脱出来,成千上万条警告信息堆积在一起,很难识别问题的根源,结果被海量日志所淹没,无法解脱出来。
另外在传统运维环境中,当查看各种监控系统时需要多次登录,查看繁多的界面,更新管理绝大多数工作主要是手工操作,即使一个简单的系统变更,需要运维人员逐一登录系统,若遇到问题,管理员便会在各种平台间来回查询,或靠人肉方式搜索故障关键词,不断的重复着这种工作方式。企业需要一种集成安全的运维平台,满足专业化、标准化和流程化的需要来实现运维工作的自动化管理,通过关联分析及时发现故障隐患。
2. 手工整合的演化过程
在人工管理初期,主要依靠一些简单的Shell脚本完成一些基础工作,后来虽然采用Cacti来做性能监控,Nagios做主机监控、PHP+SSH等方式进行管理,但各种运维工具仍无法实现数据共享,此时整个防御体系面对网络威胁“反应迟钝”,每当故障来袭,总是“马后炮”,难以查找攻击者的踪迹,就好像一个人总被蚊子叮咬,想打蚊子可手眼又跟不上的感觉。
经过分析后,开始尝试将资产管理模块、入侵检测模块、流量监控模块、漏洞扫描模块集成到一台服务器中进行统一管理,实现了标准化日志、统一处理等任务,在系统改造中以下问题尤为突出:
l安装时,各软件间依赖问题依然难以解决。
l各子系统界面重复验证和界面风格不统一。
l各子系统之间数据无法共享。
l无法实现数据之间关联分析。
l无法生成统一格式的报表。
l缺乏统一的仪表板以展示重要信息。
l系统维护难度增大。
将这些开源工具集成比较困难,该方案架构并不合理,出现了性能瓶颈,对于安全事件的关联分析、合规管理及知识库查询依然无法实现,而自己建设开发队伍从头开始做CMDB、监控、自动化、流程这种闭门造车的方案,成本开销很大,另一种就是寻找开源解决方案。
3. 终极工具——OSSIM集成安全运维的平台
发现一个好的管理平台并不是偶然,管理员从最原始的命令行的运维时代,进化到统一管理平台,的确要走很多弯路,其实这一过程就是普通管理员到专家的蜕变。只有经历过磨难的管理员才能深刻体会到这一点。一款优秀的安全运维平台,需要将事件与IT 流程相关联,筛选出运维人员最关心的事件,提高工作效率。在开源海洋中,各种技术风格迥异,文档不全,成熟度又低,管控风险大,这些坑你赶来踩吗?
经过作者长期实践,目前能满足上述要求的开源产品唯有OSSIM系统,它是唯一能进入Gartner 魔力象限的系统,它由Alienvault公司开发,现分为开源OSSIM和商业版USM两种,通过该平台实现对用户操作规范的约束和对计算机资源进行监控,包括服务器、数据库、中间件、存储备份、网络基础设施,通过自动监控管理平台实现故障综合处理和集中管理,能够为您的网络构建起一套敏感的、全方位的中枢神经系统,达到感知网络威胁的效果。OSSIM4系统主要菜单如下:
它功能之复杂,远非个人在能短时间内就能解决的,如对于开发OSSIM,更是需要了解更多知识,它的组件、数据库和涉及开发工具,如下图所示。
对于上述难点问题,就需要一本专业书籍,能帮助用户解决。在该书没出世之前,只能“硬啃”。
二、创作过程
说起来,我和OSSIM还是挺有缘分。研究生时曾开发过开源统一安全管理平台项目,主要目标是将不同网络设备和服务器的日志,通过标准化转化为事件,然后统一进行日志分析与设备联动。在完成这个项目过程中,主要参考OSSIM源代码,先后尝试了基于统计、基于距离和基于决策树的算法,攻破了网络安全事件聚合的难题。
这些年先后为几十家单位成功部署了OSSIM系统,并提供技术支持。在OSSIM项目实施过程中不断总结遇到的各种问题,经过三年的技术沉淀与积累,目前已经撰写出600多页的OSSIM应用教程,但是这些零散的手稿不成体系。从2015年初,开始将这些系统部署的经验进行合理组织,全书规划成三篇,共十章内容,这些内容包含OSSIM系统的各种知识和技巧,使读者今后再遇到问题能够举一反三。即使OSSIM更新升级后,读者也能结合书中介绍的概念和操作方法,同样能够掌握,那么本书的目标就达到了。
从事IT工作的人都比较忙,很少有完整的时间能清闲下来,对于一般人而言没有时间,就是最好的幌子,而善于利用时间的人往往能够利用各种间隙,进行创作构思。在本书创作中并不是一帆风顺,有时候为了验证一个技术问题,需要反复实验,为了一句话需要经过反复推敲。
初稿出炉,必须经过不断修改润色,才适合阅读,本书刚刚写完时才500多页,但是在一遍又一遍的修改笔误和错别字之后,萌发出新的想法,每复查一遍,我都会对原稿做一些改动,数量上要数第一次改动扩充最大,以后逐渐减少,直到满意为止。
本书不是什么神功秘籍,无法让你在短时间内从一个小白变成一个牛人。书中以OSSIM 4平台为基础进行讲解,将各种开源软件合理的融入进来,并把本人多年OSSIM实施经验以案例的形式表达出来。学习OSSIM的道路并不是一帆风顺,希望读者朋友再遇到困难时,本书能够为您答疑解惑。
三、篇章结构
书的结构好比框架,而内容则是具体组成元素,本书采用了文字、图表和范例等形式,将OSSIM复杂的结构和工作流程直观的展现给读者。全书分为三部分,共10章。
1. 基础篇
第1章:本章从OSSIM起源讲起,介绍了目前运维人员现状,逐步谈到应用SIEM的必要性,进而介绍OSSIM架构与组成原理,另外还介绍了基于插件的日志采集思路,提出标准化安全事件的全新理念,详细分析了OSSIM的高可用架构与实现方法。
第2章:本章从OSSIM实施关键要素、安装策略、硬件选型开始,深入分析单机部署,分布式体系、传感器设置等重要安装工作。分析了安装过程以图文并茂的方式,指出了系统配置过程,包括实体机,虚拟机不同环境中的安装方法及注意事项。最后重点分析了SIEM事件控制台的使用和事件过滤方法。
2. 提高篇
第3章:本章对于OSSIM开发人员很有帮助,除了介绍OSSIM数据库组成、表结构,以及系统迁移备份等技巧,以外还包括各种常见MySQL故障等内容。
第4章:本章从关联分析基础讲起,逐步深入到OSSIM安全事件提取过程,介绍了常用的关联分析算法。还对报警事件的聚合原理作了详细分析,并结合OSSIM现状采用多个实例讲解关联规则和自定义策略的使用方法。
第5章:本章主要介绍各种OSSIM系统中的监控调试工具的使用,以及系统瓶颈的诊断方法。
第6章:本章重点介绍了Snort 原理和预处理程序发挥的作用,包括Snort报警方法。深入分析Snort规则编写在OSSIM中的应用技巧以及网络异常行为分析方法。
3. 实战篇
第7章:本章从日志标准化和收集分析方法讲起,详细分析各种服务、网络设备所产生的日志,包括Apache、Ftp、Squid、Dhcp等,并通过实例详细介绍OSSIM插件开发过程。
第8章:本章讲解Netflow进行异常流量分析的方法,包括Netflow数据采集和过滤方法,介绍了分布式环境中,利用Netflow监测异常流量的技巧,同时针对OSSIM中Ntop、Nagios、Netflow三种检测工具的使用方法进行了对比。最后还介绍了Cacti和Zabbix第三方开源监控软件集成的方法。
第9章:本章从OSSIM控制管理中心角色权限控制讲起,全面介绍了OSSIM Web UI的结构,讲解了Ossec日志分析工具的配置使用和Agent的安装方法。介绍了OSSIM中管理网络资产的实例,并对Openvas扫描模块、脚本以及规则做了深入分析。展示了多个利用OSSIM进行高级攻击检测的实例,以及利用OSSIM进行合规管理和系统统一报表输出的方法。
第10章:本章主要讲解基于Web方式下的抓包及数据包过滤方法,并采用该工具远程解决网络故障的方法,重点介绍了tshark、tcpdump等抓包工具的高级使用方法,最后以一个典型IE浏览器的0 day漏洞攻击的实例来检验这种工具所发挥的作用。
四、本书约定
(1)关于版本
本书软件的安装环境为DebianLinux 6.0(Squeeze),内核为2.6.32。在安装其他软件时,必须符合该版本要求。
(2)关于菜单的描述
OSSIM的前台界面复杂,书中经常会用一串带箭头的单词表达菜单的路径,例如Web UI 的Dashboards→Overview→Executive,表示Web界面下鼠标依次经过菜单Dashboards、Overview最后到达Executive仪表板。
(3)路径问题
本书中除特别说明,所涉及路径均指在OSSIM系统下的路径,而不是其他的Linux发行版。终端控制台指通过root登录系统,然后输入“ossim-setup”启动OSSIM终端控制台的界面,如图1所示。
图1 终端控制台
在终端控制台下,选择JailbreakSystem菜单就能进入Rootshell,登录日志会保存在/var/log/ossim/root_access.log文件中。
(4)SIEM事件分析控制台
书中的SIEM控制台是指通过Web UI 进入系统,在菜单Analysis→SIEM下的界面,如图2所示。
图2 SIEM事件分析控制台
(5)关于OSSIM Server端与Sensor端的约定
本书各章中讲述的OSSIMServer端,是指通过AlienvaultUSM安装的系统,包括OSSIM四大组件,Sensor端是通过Alienvault Sensor安装的系统。
(6)关于地图显示问题
所有地图信息引自谷歌地图,大家在做实验前确保能连上谷歌地图,而且使用系统中OTX,前提条件也需要能连接到谷歌。
(7)浏览器约定
OSSIM Web UI适合采用Safari7.0以上、Google Chrome44.0以上IE10.0以上浏览器访问。
五、本书读者对象
本书主要面向以下类型读者:
l互联网和安全行业的系统安全从业人员。
l银行、证卷和保险行业IT运维人员。
l政府、高校和科研机构等单位IT运维人员。
六、光盘内容
本书配套光盘包括:OSSIM入门多媒体教程、OSSIM安装ISO、OSSIM源码三部分内容,其中视频内容有以下章节:
l第一集:OSSIM的由来及应用部署
l第二集:网络威胁感知技术探讨
l第三集:OSSIM单机部署安装与分布式安装
l第四集:OSSIM仪表盘操作初步
l第五集:SIEM控制台与Alarm事件告警解析
l第六集:资产管理与漏洞扫描
l第七集:Openvas组成及升级实践
l第八集:Netflow应用
l第九集:OSSIM权限设置与策略管理
l第十集:用OSSIM发现蠕虫攻击
l第十一集:报表合规管理
l第十二集:命令行模式下控制台综合管理
七、关于作者
李晨光,毕业于中国科学院研究生院,目前就职于世界500强企业,资深网络架构师、51CTO学院讲师、IBM精英讲师、UNIX/Linux系统安全专家,现任中国计算机学会(CCF)高级会员;在国内《计算机安全》、《程序员》、《计算机世界》、《网络运维与管理》、《黑客防线》等专业杂志发表论文六十余篇。曾独著畅销书《Linux企业应用案例精解》、《Linux企业应用案例精解第2版》,《Unix/Linux网络日志分析与流量监控》等经典学习教程,均被中科院图书馆、国内重点高校图书馆和国立台湾大学图书馆等200多家图书馆收藏。《Unix/Linux网络日志分析与流量监控》一书,于2015年获最受读者喜爱的本版类图书奖。
曾著图书价值
本人所著图书全部收录在国内211、985重点高校和科研机构图书馆。
查询结果出自:http://www.las.ac.cn/
多部著作获奖并重印
读者好评率95%以上
《中华读书报》报道该书的原文:http://epaper.gmw.cn/zhdsb/images/2015-01/28/19/2015012819_pdf.pdf
《网络运维与管理》杂志于2014年7月份刊发了本人人物专访。
本人经常受邀在国内系统架构师大会和网络信息安全大会发表技术演讲,2012年担任中国系统架构师大会(SACC)运维开发专场嘉宾主持人。2013年在IT168举办企业内网信息安全实践沙龙活动在发表技术演讲。2014(第十届)中国网络主管论坛北京站发表技术演讲。2014年《网络运维与管理》杂志对本人进行独家专访并刊发于13期杂志中、2015年4月在WOT互联网运维与开发者大会发表技术演讲,如图3所示。
图3 作者在各种全国大会中发表技术演讲
八、支持与勘误
由于OSSIM本身结构复杂,知识点众多,在本书撰写过程中难免有所疏漏,希望广大读者能把问题反馈给笔者,本人不胜感激。为了方便读者学习实践,书中涉及所有软件和实验环境都已发布在作者博客http://chenguang.blog.51cto.com/350944/1679097,在此博客中的OSSIM专栏包含了大量实战经验,大家可以一边阅读本书,一般参考博客,互为印证,如有问题大家可以留言,我将定期为读者解答。
九、致谢
首先感谢我的父母多年来养育之恩,感谢我在各个求学阶段的老师们,感谢每一位读者,你们将是本书继续完善的新动力,尤其要感谢我的妻子,有了她精心的照顾,我才能全身心投入到创作中。最后要感谢清华大学出版社的编辑们,为了提升本书质量他们花费了大量心血。本书若有不足之处,敬请读者不吝指正。
李晨光
2015年9月
本书关键词:
日志标准化; 可视化事件; 网络安全态势感知技术; 关联分析; 网络风险评估; 漏洞扫描;协议分析; 流量分析; 合规管理; 报表输出; 分布式部署; IDS/NIDS/HIDS; IP信誉评价;开放威胁交换OTX