产品的需求与实现系列:
论产品的需求与实现系列之监控系统
论产品的需求与实现系列之数据平台
刚开始的需求1: 能像tail -f 查看日志,不用单节点去查看。
实施:先调研开源日志方案
尝试1: 用flume用采集,但采集到的日志文件不能按一定规则命名(虽是可以去改一小段的java实现),但都是文件存储方式。跟以前的相比只是不用跑去每个节点查看日志。
尝试2:自我放弃了flume方案。换elk(当时的版本是1.7)。第一版的技术是elk+redis,原始的需求已经满足了,集中式,类似tail -f 方式。现在是集中式,web方式。
需求2:要看聚合的数据,比如a一类集中显式
解决需求2:采用 if [type] == "a" {
.....
index => "a"
}
解决了
需求3:数据量太大了,要过滤数据b
解决需求3:
filter {
grok {
add_tag => [ "valid" ]
match => [
"message", "yzx"
]
}
}
需求四:要归档重要的日志
解决需求四:
需求五:要自动查看ms级日志
解决需求五:各种优化,前端,消息队列,存储,分片,索引,副本,加ngxspeed。改js 支持ms级别
-总结: 从一个人最原始的需求,能集中式类似tail -f 查看日志,到了后期各种需求功能。如果从一开始提这样一个需求:
1.集中式
2.web
3.过滤,聚合
4.归档
5.ms级实时日志
6.从关键字查询
会不会很吓人。
产品的需求与技术实现,虽是开源的方案,但中间要学会懂得方案原理,语言。根据需求,快速实现。这是典型的互联网打法,从0到1,快速迭代实现。目前elk升级到2.x,尝试了引入kafka。
之所以当成一个产品来说,是因为自已既是产品经理,又是技术经理角色,前期替用户假想功能需求有:用户行为分析,ip 展示图等。但用户只想看日志,don't make me think 程度,对产品功能减法,快速实现核心需求,其它只是锦上添花。
相关推荐
需求分析部分是系统开发的基础,它详细讨论了数据管理的需求,如商品信息、库存、订单等数据的存储与更新。系统功能概览则涵盖了从用户注册、登录、浏览商品、添加到购物车、下单支付到订单查询等一系列功能。 前台...
4. **实验室教学管理**:了解实验室教学日志系统的需求分析,如学生签到、实验报告提交、成绩记录等功能的设计与实现。 5. **论文写作技巧**:学习如何撰写高质量的学术论文,包括明确研究目标、严谨的论证过程、...
这个压缩包文件包含了一系列与推荐系统相关的经典论文,每篇论文都专注于不同的研究方向和方法。下面将逐一解析这些论文标题所涉及的知识点,并探讨它们在推荐系统开发中的重要性。 1. **32匿名访问数据.pdf** - 这...
7. **异常处理与日志记录**:良好的异常处理机制可以提高系统的稳定性,而日志记录则有利于故障排查和性能优化。 配套论文则从理论层面解释了系统的架构设计、功能实现、技术选型以及系统性能评估等方面,帮助我们...
总的来说,本文档为读者提供了一整套在SIEM系统中进行日志源有效性监控的方法论,特别是在ArcSight系统中的具体实现步骤。这对于确保安全运营中心(SOC)能够有效利用日志数据进行威胁检测、事件响应和合规性报告来...
此外,Hadoop还提供了一系列的子项目,包括Hadoop分布式文件系统(HDFS)、分布式计算(MapReduce)、数据库(HBase)和数据收集(Flume)等,这些子项目的集合为城市轨道交通信号控制日志采集系统提供了全面的技术...
### 基于Spring Boot的大学商铺管理系统的设计与实现 #### 概述 随着信息技术的飞速发展,尤其是互联网技术的普及与应用,传统的信息管理方式已经无法满足日益增长的数据处理需求。本篇论文旨在介绍一种基于Spring...
本文档概述了酒店管理系统的开发过程,从理论基础到需求分析、系统设计、实现与测试等多个方面进行了详细介绍。通过采用先进的技术和合理的系统设计,可以大大提高酒店的服务质量和管理效率,从而在竞争激烈的市场...
### 基于WEB的在线书店系统的设计与实现 #### 概述 随着互联网技术的飞速发展,尤其是Intranet/Internet技术的普及,传统纸质出版物的管理方式已经难以适应现代社会消费者对于信息获取速度的需求。在此背景下,...
### 实习生管理系统设计与实现 #### 一、引言 随着信息技术的快速发展及现代经济的不断升级,传统的数据管理方式已经无法满足高效快速的数据处理需求。因此,将传统数据管理模式升级为软件化的数据存储、归纳及...
ASP网上二手商品交易管理系统的设计与实现是一套基于ASP技术的电子商务解决方案,主要针对个人或小型社区的二手商品交易需求。该系统集成了商品发布、浏览、搜索、购买、评价等功能,为用户提供了一个安全、便捷的...
《基于VB图书管理系统设计与实现》是一份包含源代码和论文的压缩包资源,适合计算机专业特别是毕业生进行学习和参考。这个系统是使用经典的Visual Basic 6.0开发的,同时兼容更高版本的Visual Studio,如2008、2010...
《ASP医院管理系统—病历管理系统的设计与实现》是一款基于ASP技术构建的医疗信息化解决方案,旨在提升医疗机构对病历数据的管理效率和准确性。系统涵盖了病历的录入、存储、查询、修改、删除等一系列功能,为医护...
8. **错误处理与日志记录**:为了追踪和修复问题,系统应具备错误捕获和日志记录功能。 9. **性能优化**:为提高系统响应速度,需要考虑数据查询优化、缓存策略以及并发处理能力。 10. **测试与部署**:在开发完成...
10. **论文部分**:通常,这样的项目会伴随着一份详细的技术报告或论文,阐述系统的需求分析、设计思路、实现方法以及测试结果,这是对整个项目实施的理论支持和总结。 ASP图书管理系统的设计与实现是一个典型的Web...
在这个系统中,用户可以进行书籍的检索、借阅、归还等一系列操作,同时管理员可以对图书信息进行添加、删除和修改,实现了图书馆业务的基本功能。下面将详细探讨此系统的几个关键知识点: 1. **ASP技术**:ASP是...
ASP图书管理系统设计与实现是一个基于Web的项目,它利用ASP(Active Server Pages)技术来构建一个用于图书馆日常管理的在线平台。在这个系统中,管理员和用户可以进行图书的添加、查询、借阅、归还等一系列操作,...
这份论文全面地展示了图书管理系统从需求分析到系统实现的全过程,对于理解和开发类似系统具有很高的参考价值。通过学习,读者不仅可以了解图书管理系统的具体实现,还能掌握软件工程的一般流程和最佳实践,提升自己...