基于storm引擎的虫洞系统

虫洞系统是吸星大法项目衍生出来实时计算的基础平台。

它以storm实时流处理引擎为基础，提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。

 

这几个功能模块是此实时计算平台提供稳定运行的基础，虫洞系统承载的业务包括：月光宝盒、一淘首页个性化（实时用户个性化指标的计算）、吸星大法实时日志接入（数据源整合）。

 

 

• 计算能力
  基于storm的流式处理任务可以直接运行在虫洞系统上，避免了搭建、维护集群的成本，极大的节约了业务的成本、提高了开发的效率和系统的稳定性

 

• 数据源整合
  目前虫洞系统整合了多个实时数据源，这些数据源组合起来，可以实现完整的业务分析。 吸星大法实时数据接入将数据源接入、归一化，为使用方提供格式一致的数据，简化了日志使用的成本和难度。目前接入的主要数据源有：

            – 全网Aplus日志

            – 订单

            – 支付宝交易

            – 站外B2C

            – 实时购物车、收藏夹等

•   数据交换
  基础日志经过归一化之后，根据业务场景需求，可以有两种方式来使用：

                     1) Hbase， 如果需要回溯历史数据，可以使用Hbase接口来访问

                     2）虫洞（动态端口）， 高效、便捷的数据交换形式，支持日志的横向和纵向任意裁剪，支持客户端的动态负载均衡；高容错性等很多特性

             上述两种方式都提供了客户端sdk供使用

 

• 监控系统
  监控系统是虫洞系统稳定运行的基础。它有两个主要功能： 1） storm task级状态的汇总 2）异常状态的报警，目前支持短信、旺旺报警

storm task级监控室为storm量身定做的监控系统，使得集群中不同机器间的状态统一监控，监控指标丰富、并且可自定义，是任务开发、调试、运维的利器。

转自淘宝