`

使用simple_flow实现实时系统的监控

阅读更多
  1. 监控系统简介

    通过拉取在线服务日志(比如apache的access log),将日志信息(pv数据)保存到redis,并通过曲线图展示

  2. 使用组件

    (1) simple_flow -- 流式计算

    (2) simple_server -- 用于前端展示

    (3) redis -- pv数据存储

    (4) jschats -- 前端曲线展示

  3. 流程图



     

  4. 准备过程

    (1) 启动 redis (在本地6379端口)

    (2) 会滚动的日志文件

  5. 实现流程

    (1) 下载 simple_flow : https://github.com/hongliuliao/simple_flow (请使用tag为agent_server_mode的版本)

    (2) 执行 make && make statistic_flow_server && make statistic_http_server

    (3) 启动 statistic_flow_server :   ./bin/statistic_flow_server 

    (4) 启动 fileagent : ./bin/fileagent localhost 3492 [日志文件]

    (5) 启动 statistic_http_server: ./bin/statistic_http_server

    (6) 通过浏览器访问: http://192.168.238.140:3493/show.html (ip请切换成对应的),效果如下图:



     

  6. 具体代码可以在test目录下找到

  • 大小: 127.5 KB
  • 大小: 31.6 KB
0
0
分享到:
评论

相关推荐

    Python库 | simpleflow-0.14.1.tar.gz

    通过使用simpleflow,开发者可以轻松地将任务分解成多个子任务,然后在分布式环境中并行执行,提高整体效率。 **二、关键特性** 1. **工作流定义**:simpleflow支持声明式地定义工作流,允许开发者以一种高抽象...

    Simpleflow 组织库 已有更新,请下载更新版

    这可能包括通过Lotus Domino来触发和监控工作流,或者将Simpleflow的工作流结果与Domino的应用数据进行同步。 "组织库"在工作流管理中通常指的是存储和管理组织结构、角色分配、权限设置等信息的数据结构。在Simple...

    simple_pipeline_app

    3. **流处理框架**:例如Apache Kafka或Google Cloud Dataflow,它们支持实时或批处理的数据传输。 4. **任务调度**:如Airflow或Luigi,用于定义、调度和监控工作流。 5. **单元测试与集成测试**:确保每个管道阶段...

    DIT_RTU80SW_SIMPLE串口驱动帮助文档

    开发人员可以使用这些寄存器来读取传感器数据、设置查询参数、监控错误情况以及清除历史记录,确保系统正常运行和数据的有效管理。 总结起来,DIT_RTU80SW_SIMPLE串口驱动帮助文档提供了一套详细的寄存器参考,涵盖...

    kis-flow-活动资源

    kis-flow-活动资源项目包含了从基本的项目文档到性能监控、序列化处理,再到依赖管理和功能实现等多个方面,每个部分都是项目中不可或缺的组成部分,它们共同构成了一个功能完善、结构清晰的软件开发工具或框架。

    基于Golang的kis-flow流式计算框架设计源码

    框架的实现代码包含了诸多模块,如数据处理流水线、状态管理、容错机制、动态配置和监控等,这些模块共同构成了Kis-Flow的核心功能。 在Kis-Flow框架的设计中,配置文件也占据了重要地位,尤其是YAML格式的配置文件...

Global site tag (gtag.js) - Google Analytics