混合检测

 

 

什么是混合检测？它能为我们带来什么？

混合检测，是 Google Stackdriver 提出的一个概念，它是指将监控、记录和诊断融为一体，使用户能够洞察应用系统的健康、性能和可用性，更快地找到并解决问题。它能够为我们提供以下几方面能力。

 

全局环境视图，将同一用户或应用的所有指标、日志和元数据合并到一个全局环境视图中，进行综合分析。针对外部用户，应能实现跨云整合（混合云）。

快速问题定位和修复，提供丰富的可视化和高级报警功能，帮助用户快速识别问题，特别是一些难以诊断的问题，如主机争用、网络限流、硬件退化等。通过集成日志记录、链路跟踪、响应事件和错误报告可实现快速下钻和根因分析。

全栈洞察，允许用户访问来自基础设施、虚拟机、容器、中间件和应用程序层的日志、指标、链路和其他事件，可以跟踪从终端用户到后端服务和基础设施的所有问题。

如何实现？

混合检测的实现依赖以下核心模块的无缝衔接。

 

1. 日志域

监控的核心是数据，而大部分数据是以日志的形式记录并流转，它涵盖了系统信息、服务信息、业务信息、程序日志等各类信息。

监控日志应进行统一管理，定义规范的日志格式，且全局唯一（数据可靠性由存储系统保证），不要出现无意义的冗余。

日志的生产、采集、存储都应由统一的接入层、采集层和数据层来完成。用户只需引入一个SDK，即可实现全部监控数据的接入，而上游各监控系统只应与数据层进行直接交互。日志的统一管理可以减少对用户的侵入性、提高易用性、降低全局开销、实现日志的规范化和标准化。

 

 

日志的应用域主要有三个方面：监控分析的数据源、日志检索、自动挖掘。

 

日志作为数据源，是监控分析的基础，这一点不必赘述。

日志检索是问题排查的重要手段之一，通过登录服务器 grep 日志的传统方式极大延长了问题排查的周期，特别是当没有定位到具体故障节点时，更是无从查起；而日志检索功能可以实现全局快速查找，极大地缩短了排查周期。此外，通过日志检索服务API，为后续的自动化和智能化分析提供了更好的支持。

自动挖掘是指通过机器学习或数据挖掘等技术，自动识别并发现日志里隐藏的关键信息，对海量日志进行筛选提炼，更好地提供决策支持。比如，应用发布失败时，可以自动检测出异常日志的模式变化，触发自动回滚策略。

 

 

2. 事件流

监控数据的另一重要来源就是事件流，如基础设施异常、故障演练、发布变更、压测大促等等。事件流通常用于问题的定位与诊断。

事件流的来源非常的广泛，这也意味着想要全面采集非常的困难，常见的事件流主要有以下几类：

 

时序异常事件：通过异常检测识别出的指标异常变化，如 Cpu 利用率达到警戒阈值，业务指标出现异常下降等。

变更事件：应用变更是常见且重要的一种事件类型，大部分故障或问题都与应用变更有关。

基础设施异常事件：周期性检测，可以及时发现基础设施的异常状态，如网络连接超时、路由器故障等。

场景事件：特殊的场景事件会导致应用系统发生剧烈变化，如故障演练、压测大促等，针对这一类事件的有效识别，可以提高监控的准确度，降低误报率。

 

 

 

 

3.自动巡检

根据历史数据预测监测指标的动态基线，结合流式计算与异常检测算法，实时生成监测指标的时序异常事件，再结合特定场景的外部事件，通过应用和链路维度分析，自动发现问题节点并定位原因，给出结论。

自动巡检是被动监控到主动监控的转变，是自动运维的重要支撑。7*24小时瞬时响应。

基于机器学习的异常检测可以自动计算动态基线，自适应业务的自然增长和复杂周期性，减少人工开销。

基于事件与场景的问题定位，可以将特有场景的排查经验进行固化，实现根因分析。避免人员经验或能力差异性导致的不稳定因素。

 

 

4. 可视化

链路监控，主要统计服务的调用QPS、RT、状态等。

系统监控，主要有Cpu、Memory、Load、Network 和 JVM 相关信息。

业务监控，自定义数据指标与展现形式。

链路拓扑，可用于系统瓶颈为大促和单元化的容量规划、依赖分析提供了数据支撑。

 

 

5. 链路跟踪

精确定位每一次服务调用的轨迹与开销，提供快速定位分布式系统故障的能力。

为全链路压测提供压测透传和链路来源流量分析。