什么是混合检测?它能为我们带来什么?
混合检测,是 Google Stackdriver 提出的一个概念,它是指将监控、记录和诊断融为一体,使用户能够洞察应用系统的健康、性能和可用性,更快地找到并解决问题。它能够为我们提供以下几方面能力。
全局环境视图,将同一用户或应用的所有指标、日志和元数据合并到一个全局环境视图中,进行综合分析。针对外部用户,应能实现跨云整合(混合云)。
快速问题定位和修复,提供丰富的可视化和高级报警功能,帮助用户快速识别问题,特别是一些难以诊断的问题,如主机争用、网络限流、硬件退化等。通过集成日志记录、链路跟踪、响应事件和错误报告可实现快速下钻和根因分析。
全栈洞察,允许用户访问来自基础设施、虚拟机、容器、中间件和应用程序层的日志、指标、链路和其他事件,可以跟踪从终端用户到后端服务和基础设施的所有问题。
如何实现?
混合检测的实现依赖以下核心模块的无缝衔接。
1. 日志域
监控的核心是数据,而大部分数据是以日志的形式记录并流转,它涵盖了系统信息、服务信息、业务信息、程序日志等各类信息。
监控日志应进行统一管理,定义规范的日志格式,且全局唯一(数据可靠性由存储系统保证),不要出现无意义的冗余。
日志的生产、采集、存储都应由统一的接入层、采集层和数据层来完成。用户只需引入一个SDK,即可实现全部监控数据的接入,而上游各监控系统只应与数据层进行直接交互。日志的统一管理可以减少对用户的侵入性、提高易用性、降低全局开销、实现日志的规范化和标准化。
日志的应用域主要有三个方面:监控分析的数据源、日志检索、自动挖掘。
日志作为数据源,是监控分析的基础,这一点不必赘述。
日志检索是问题排查的重要手段之一,通过登录服务器 grep 日志的传统方式极大延长了问题排查的周期,特别是当没有定位到具体故障节点时,更是无从查起;而日志检索功能可以实现全局快速查找,极大地缩短了排查周期。此外,通过日志检索服务API,为后续的自动化和智能化分析提供了更好的支持。
自动挖掘是指通过机器学习或数据挖掘等技术,自动识别并发现日志里隐藏的关键信息,对海量日志进行筛选提炼,更好地提供决策支持。比如,应用发布失败时,可以自动检测出异常日志的模式变化,触发自动回滚策略。
2. 事件流
监控数据的另一重要来源就是事件流,如基础设施异常、故障演练、发布变更、压测大促等等。事件流通常用于问题的定位与诊断。
事件流的来源非常的广泛,这也意味着想要全面采集非常的困难,常见的事件流主要有以下几类:
时序异常事件:通过异常检测识别出的指标异常变化,如 Cpu 利用率达到警戒阈值,业务指标出现异常下降等。
变更事件:应用变更是常见且重要的一种事件类型,大部分故障或问题都与应用变更有关。
基础设施异常事件:周期性检测,可以及时发现基础设施的异常状态,如网络连接超时、路由器故障等。
场景事件:特殊的场景事件会导致应用系统发生剧烈变化,如故障演练、压测大促等,针对这一类事件的有效识别,可以提高监控的准确度,降低误报率。
3.自动巡检
根据历史数据预测监测指标的动态基线,结合流式计算与异常检测算法,实时生成监测指标的时序异常事件,再结合特定场景的外部事件,通过应用和链路维度分析,自动发现问题节点并定位原因,给出结论。
自动巡检是被动监控到主动监控的转变,是自动运维的重要支撑。7*24小时瞬时响应。
基于机器学习的异常检测可以自动计算动态基线,自适应业务的自然增长和复杂周期性,减少人工开销。
基于事件与场景的问题定位,可以将特有场景的排查经验进行固化,实现根因分析。避免人员经验或能力差异性导致的不稳定因素。
4. 可视化
链路监控,主要统计服务的调用QPS、RT、状态等。
系统监控,主要有Cpu、Memory、Load、Network 和 JVM 相关信息。
业务监控,自定义数据指标与展现形式。
链路拓扑,可用于系统瓶颈为大促和单元化的容量规划、依赖分析提供了数据支撑。
5. 链路跟踪
精确定位每一次服务调用的轨迹与开销,提供快速定位分布式系统故障的能力。
为全链路压测提供压测透传和链路来源流量分析。
相关推荐
【Android内核钩子的混合检测技术】 摘要中提到的是一种针对Android平台内核级钩子的检测技术,该技术结合了静态检测和动态检测两种方法。静态检测是基于特征模式,通过分析代码结构和模式来识别可能存在的钩子;...
在本文中,我们将深入探讨如何使用Visual C++(VC)进行智能视频开发,特别是基于混合高斯模型(GMM)的运动目标检测程序。这个程序是利用Video for Windows(VFW)SDK和MFC(Microsoft Foundation Classes)库来...
本文详细分析了光纤陀螺仪在开环和闭环检测方法中的利弊,并在此基础上提出了一种新型的混合检测方法。 开环检测方法主要依靠锁相放大器来测量相位差,其优点在于具有低漂移和高灵敏度,同时电路制作相对简单。然而...
高斯混合模型(Gaussian Mixture Model,GMM)是一种概率模型,用于描述数据集可能是由多个高斯分布(正态分布)叠加而成的情况。在机器学习和模式识别领域,GMM经常被用于聚类任务,因为它能有效地捕捉数据的多样性...
在实际应用中,为了进一步优化性能与复杂度的平衡,常常会结合这三种检测方法,例如MMSE-ZF-ML混合检测。这种混合策略可能涉及到在某些阶段采用ZF检测以降低复杂度,然后在其他阶段利用MMSE或ML检测以提升性能。 **...
病毒检测方法可以分为两类:异常检测法和混合检测法。异常检测法主要是检测计算机资源的异常使用和计算机用户的异常行为。混合检测法则是综合滥用检测法和异常检测法的优势,并进行整合利用。 计算机网络病毒入侵...
通过混合高斯背景建模,我们可以有效地从连续的视频流中提取出运动目标,实现自动化的目标检测。这种方法虽然简单且直观,但在处理复杂场景或快速变化的环境时可能会面临挑战,需要结合其他技术如光流分析、卡尔曼...
4. 集成ClamAV:将训练好的深度学习模型集成到ClamAV中,形成一个混合检测系统。这可能涉及在ClamAV的扫描流程中插入一个新的模块,用于在传统签名匹配前或后进行深度学习分析。 5. 性能评估:通过交叉验证和测试集...
通过分析一种特殊的基于奇异值分解(SVD)的信号稀疏表示方法,提出一种结合稀疏信号位置和大小信息的支撑集混合检测方法,并根据该方法改进稀疏信号重建算法FCSA。实验结果证明,在相同的欠采样率下,改进FCSA算法...
传统恶意代码检测方法可以分为静态检测、动态检测与混合检测三类。静态检测技术不需要运行恶意软件,其研究重点在于如何准确、有效地提取静态特征。通常对恶意代码文件进行反编译、反汇编、文件结构分析以及控制流与...
为了解决单一技术的局限性,许多现代入侵检测系统采用了混合检测方法,即结合特征检测和异常检测的优势。这种技术能够在提高检测精度的同时减少误报率。 ### 三、网络入侵检测系统架构 #### 3.1 集中式检测系统 ...
使用两种方法混合检测 1.提取PDF中的标签检测是否存在对应单号 2.当第一次检测不通过时将PDF转换成JPG进行文字提取,在进行检测是否存在单号 使用方法: 传入需要检测的内容,例:单号 传入需要检测的文件,例:面单...
混合现实装配检测是指将虚拟物体或场景融入到现实世界中,并通过技术手段实现虚拟与现实的交互,这在现代制造业中具有重要应用。在混合现实装配检测的过程中,深度学习技术可以提高装配检测的准确性和效率,但深度...
在背景检测领域,混合高斯模型被广泛应用于区分静态背景与动态前景物体。以下是关于混合高斯模型在背景检测中的详细解释。 背景检测是计算机视觉中的一个重要任务,其目的是从连续的图像序列中提取出移动的物体,即...
本项目以MATLAB为开发环境,实现了基于混合高斯模型的运动目标检测算法。 混合高斯模型是一种概率统计模型,由多个高斯分布组成,每个高斯分布代表背景的一个可能状态。在背景建模中,每个像素的亮度或颜色值被视为...
混合高斯背景建模,运动检测。 建模函数是自己编写的,原理简单,便于学习,有详细注释。 处理视频是用笔记本摄像头实时采集的画面。
内容概要:该论文旨在研究一种改进的YOLOv5算法与图像处理算法相结合的混合检测方法,以实现在非静止状态下对风电场风机朝向的高精度识别。通过改进YOLOv5的锚框聚类、引入全局注意力机制和自定义损失函数,并结合...