`

CNFM升降级之故障总结

阅读更多

项目上线之后,因为他抱过来的故障,截止到目前为止,已经有两个了。直接后果也是导致偶本季度的故障分已经基本被扣光了。有必要总结一下了。

一、外网搬家用户搬家失败,提示“图片银行空间已满”

现象:很多用户搬家之后发布的产品都失败了,提示图片银行没空间了。可是用户明明有上百M的未使用的空间。

排查过程

  1. grep整个代码,找到系统中抛出这中业务异常的地方(有两处),进入的条件都是图片银行的接口调用之后,判断图片银行没空间了。基本定位,就是该接口处返回值有问题。
  2. 进一步跟进看看方法实现,完全没问题啊,查看了SVN记录,最近此处代码根本没有被动过,况且如果真的是这里早就出问题了,怎么会等到现在才出问题呢?开始有点晕了。
  3. 因为是线上问题,不能跟踪代码执行流程和结果,感觉有点束手无策了。
  4. 汪汪帮我在测试环境跑了一遍搬家过程,发现没问题,于是感觉可能是个别案例,具体原因尚未明确,侥幸心理告诉我这个只是个案,于是第一天就这样结束了,告诉服务台的结果也是代码没问题,不是故障。
  5. 晚上是还是觉得有点不放心的,找来了刚哥又跟我一起过了一遍代码,还是没有发现问题,不过刚哥还是给出了建议,如果明天还有这个问题,直接找图片银行的人过来一起排查,毕竟是他们的代码,他们应该更熟悉具体逻辑。至此第一轮排查结束。
周四早晨晨会之后,我就找来了图片银行的工程师跟我一块排查了一遍代码,发现其中还是有两种情况会返回0这样的空间容量的。具体跟踪进去,发现取用户图片银行默认空间大小的地方是来自某文件,忽然之间恍然大悟,因为该文件在项目中被sourcing工程师修改过以适应新的逻辑。于是去SVN对比了一下修改记录,对比代码执行逻辑,确定果然会受到影响。到这里才找到了根本原因。
为什么会发生这个故障
直接原因就是项目发布当天没有重新发布该定时器。这也解释了为什么QA同学在测试过程中没有发生这个问题以及汪汪在测试环境中没有重现这个问题的原因,因为测试同学每次跑的时候,都相当于重新发布了一次该程序,已经是最新的了,所以压根不会再发生这个情况。当然如果当时汪汪重新跑的那个环境如果没有更新过(公用环境),理论上也会出现这个问题,但是当时没出现,有可能当时测试时候的账户是这种特定类型的,因为只修改了这种类型的配置,这个跟我没有给她提供足够的用户信息有很大关系。
如何避免这类问题
在测试阶段,QA测试过的定时器理论上都应该重新发布一次,因为当时都是根据当时最新的代码(这里包括数据文件)来做的,如果测试没问题,只能证明在新的修改上没问题,应该重新发布,不然可能会出现在老的环境下会出现问题,这次这个案例就是最好的说明了。当然根本手段还是需要开发同学对对整个系统有足够的了解,能够及时的识别代码修改可能带来的风险,但是鉴于系统的庞大和我目前对系统的了解程度,完全做到这点还很难,况且人的记忆是会消退甚至遗忘的,所以个人觉得还是通过第一种制度上的约束靠谱一点,也更稳妥一点。
排查过程暴露的问题
  1. 初级定位问题大的方向是对的,但是没有深入细节,对别人写的代码的分析不够透彻,这点曾经见过聪妈分析代码的过程,确实值得好好学习和积累。
  2. 主观上抱有侥幸心里,不然可以更早更及时的处理这个故障。
  3. 在发现问题之后,虽然电话和图片银行的工程师沟通过,但还是不够彻底,当时就应该把他们揪过来一块排查问题,毕竟他们才是最了解自己东西的人。
二、原来已经断约的某类型用户在转换类型重新开通之后,发现之前发布的WS产品都不见了。
服务台刚报过来这个故障时,第一反应就是发布当天也出现过这个问题,于是直接想到这可能是sourcing方面某工程师的问题,于是让服务台直接联系他。但不久就有新的用户报来了新的同样的问题。因为当时在处理外网搬家的故障,也没有引起足够的重视。快到下班时间时,sourcing方面的工程师直接上来找我了,明确了他的涉及该处的功能还没有正式被使用, 所以不可能是他那边的问题。于是在一起分析问题的时候发现,这批重新启用的老用户都是当时直接走的数据订正的流程来完成的,因为他们都是历史数据。想起来当时我给出的数据订正的sql语句少写了一个字段的更新,这个是直接导致问题的原因。哎,又杯具楽。于是又是一通紧急的数据订正,涉及的数据量在75W条以上。
问题原因
  1. 对数据订正这种过程没有给予足够的重视,可能是因为这个没有涉及到代码的改动。但是事实证明,数据订正本身就是一项非常危险的操作过程,如果处理的有问题,会直接导致线上故障(因为直接人为操作数据)。
  2. 对被订正的数据没有做充分的分析和排查,这个从根本上说也是属于第一种情况,但是作为开发,既然由自己提供订正的逻辑,就应该也有责任保证这个逻辑是没问题的。
如何避免
  1. 主观上,就是上面分析的问题的原因,自己必须给予足够的重视,并进行充分的分析,找到风险点。
  2. 上面的毕竟是主观上的,也是我觉得不是完全靠得住的方法,制度上的预防手段就是认真制定预发布和发布计划,将数据订正的验证列入其中,这样保证在预发布环境就暴露这个问题,不会把问题带到线上。
总结
任何失败的经历都是成长过程的源泉,希望在自己身上不要再次出现这样的错误,这样他们的曾经出现才是有价值的。
这里还要特别感谢Roby同学替我分担的数据订正故障,所以这个没最终被记录在案。
不过目前Q4的故障分数已经达到了自己的上限了,已经再经不起任何差错了,后面必须更加小心了,希望能够保持这里不要再发展了。

分享到:
评论

相关推荐

    两个数据库比较(SQLServer版)

    * 假设:库CNFM1与CFR1是一个项目不同时期的版本数据库,由于整合的需要,那么下面的功能可能有用 * 使用:将CNFM1、CFR1库的名称替换成你需要对比的两个即可F5 * 作者:黄顺龙 * 联系:huangshunlong@139.com */

    西门子FDA221-CN/FDA241空气 采样吸气泵说明书

    总结来说,西门子FDA221-CN/FDA241空气采样吸气泵是一款关键的消防安全设备,它在抽吸式烟雾探测系统中发挥着至关重要的作用。为了确保其有效性和安全性,用户必须按照指定的安装指南进行操作,并时刻注意设备的正确...

    移动梦网短信业务信令流程规范V3.0

    #### 七、总结 《移动梦网短信业务信令流程规范V3.0》是中国移动通信集团公司为了保障移动梦网短信业务的高效、稳定运行而制定的一项重要技术规范。通过对SCP、ISMG、SMSC及SP之间交互的信令消息流程进行详细描述,...

    docker配置mysql主从复制.docx

    - 创建目录 `/usr/local/mysqlData/master/cnfm` 和 `/usr/local/mysqlData/master/data`,分别用于存放配置文件和数据库数据。 - 编辑配置文件 `/usr/local/mysqlData/master/cnf/mysql.cnf`,设置 `server-id=1`...

    数据库基础测验20241113.doc

    数据库基础测验20241113.doc

    微信小程序下拉选择组件

    微信小程序下拉选择组件

    DICOM文件+DX放射平片-数字X射线图像DICOM测试文件

    DICOM文件+DX放射平片—数字X射线图像DICOM测试文件,文件为.dcm类型DICOM图像文件文件,仅供需要了解DICOM或相关DICOM开发的技术人员当作测试数据或研究使用,请勿用于非法用途。

    Jupyter Notebook《基于双流 Faster R-CNN 网络的 图像篡改检测》+项目源码+文档说明+代码注释

    <项目介绍> - 基于双流 Faster R-CNN 网络的 图像篡改检测 - 不懂运行,下载完可以私聊问,可远程教学 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------

    使用epf捕获没有CA证书的SSLTLS明文(LinuxAndroid内核支持amd64arm64).zip

    c语言

    (源码)基于Arduino的天文数据库管理系统.zip

    # 基于Arduino的天文数据库管理系统 ## 项目简介 本项目是一个基于Arduino的天文数据库管理系统,旨在为Arduino设备提供一个完整的天文数据库,包括星星、星系、星团等天体数据。项目支持多种语言的星座名称,并提供了详细的天体信息,如赤道坐标、视星等。 ## 项目的主要特性和功能 星座目录包含88个星座,提供拉丁语、英语和法语的缩写和全名。 恒星目录包含494颗亮度达到4等的恒星。 梅西耶目录包含110个梅西耶天体。 NGC目录包含3993个NGC天体,亮度达到14等。 IC目录包含401个IC天体,亮度达到14等。 天体信息每个天体(不包括星座)提供名称、命名、相关星座、赤道坐标(J2000)和视星等信息。 恒星额外信息对于恒星,还提供每年在赤经和赤纬上的漂移以及视差。 ## 安装使用步骤 1. 安装库使用Arduino IDE的库管理器安装本项目的库。 2. 解压数据库将db.zip解压到SD卡中。

    (源码)基于JSP和SQL Server的维修管理系统.zip

    # 基于JSP和SQL Server的维修管理系统 ## 项目简介 本项目是一个基于JSP和SQL Server的维修管理系统,旨在提供一个高效、便捷的维修管理解决方案。系统涵盖了从维修订单的创建、管理到配件的录入、更新等多个功能模块,适用于各类维修服务行业。 ## 项目的主要特性和功能 1. 用户管理 管理员和客户的注册与登录。 管理员信息的管理与更新。 客户信息的创建、查询与更新。 2. 维修订单管理 维修订单的创建、查询与更新。 维修回执单的创建与管理。 3. 配件管理 配件信息的录入与更新。 配件库存的管理与查询。 4. 评价与反馈 客户对维修服务的评价记录。 系统反馈信息的收集与管理。 5. 数据加密与安全 使用MD5加密算法对用户密码进行加密存储。 通过过滤器实现登录验证,确保系统安全。 ## 安装使用步骤

    devecostudio-windows-3.1.0.501.zip

    HUAWEI DevEco Studio,以下简称DevEco Studio)是基于IntelliJ IDEA Community开源版本打造,为运行在HarmonyOS和OpenHarmony系统上的应用和服务(以下简称应用/服务)提供一站式的开发平台。 作为一款开发工具,除了具有基本的代码开发、编译构建及调测等功能外,DevEco Studio还具有如下特点: - 高效智能代码编辑:支持ArkTS、JS、C/C++等语言的代码高亮、代码智能补齐、代码错误检查、代码自动跳转、代码格式化、代码查找等功能,提升代码编写效率。更多详细信息,请参考[编辑器使用技巧] - 低代码可视化开发:丰富的UI界面编辑能力,支持自由拖拽组件和可视化数据绑定,可快速预览效果

    《计算机视觉技术》实验报告-8.1提取车辆轮廓

    《计算机视觉技术》实验报告-8.1提取车辆轮廓

    springboot小徐影城管理系统(代码+数据库+LW)

    随着现在网络的快速发展,网上管理系统也逐渐快速发展起来,网上管理模式很快融入到了许多生活之中,随之就产生了“小徐影城管理系统”,这样就让小徐影城管理系统更加方便简单。 对于本小徐影城管理系统的设计来说,系统开发主要是采用java语言技术,在整个系统的设计中应用MySQL数据库来完成数据存储,具体根据小徐影城管理系统的现状来进行开发的,具体根据现实的需求来实现小徐影城管理系统网络化的管理,各类信息有序地进行存储,进入小徐影城管理系统页面之后,方可开始操作主控界面,主要功能包括管理员:首页、个人中心、用户管理、电影类型管理、放映厅管理、电影信息管理、购票统计管理、系统管理、订单管理,用户前台;首页、电影信息、电影资讯、个人中心、后台管理、在线客服等功能。 本论文主要讲述了小徐影城管理系统开发背景,该系统它主要是对需求分析和功能需求做了介绍,并且对系统做了详细的测试和总结。具体从业务流程、数据库设计和系统结构等多方面的问题。望能利用先进的计算机技术和网络技术来改变目前的小徐影城管理系统状况,提高管理效率。

    C++与Matlab实现SIFT特征提取算法+项目源码+文档说明+代码注释

    <项目介绍> - SIFT特征提取算法C++与Matlab实现 - 不懂运行,下载完可以私聊问,可远程教学 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------

    (1991-2024年)国家自然、社科基金部分名单(含部分标书)(最新!!!)

    数据介绍 数据名称:国家自然、社科基金部分名单 数据年份:1991-2024年 样本数量:10万+ 数据格式:PDF、excel

    卓晴-信号与系统课件.pdf

    卓晴

    as-bundled-clients

    as-bundled-clients

    学习时最后的资料包括面试等信息

    学习时最后的资料包括面试等信息

    (源码)基于Spring Boot和Ant Design的雨选课系统.zip

    # 基于Spring Boot和Ant Design的雨选课系统 ## 项目简介 雨选课系统是一个基于Spring Boot和Ant Design框架构建的前后端分离的选课系统。该系统实现了学生选课、成绩查询、教师成绩修改、课程编辑、课程新增等功能。登录信息使用Redis存储,并支持课程图片的上传功能。 ## 项目的主要特性和功能 1. 用户登录与权限管理 学生、教师和管理员分别有不同的登录权限。 登录信息使用Redis进行存储。 2. 课程管理 学生可以查看可选课程列表,并进行选课和退选操作。 教师可以查看自己教授的课程,并修改学生成绩。 管理员可以编辑和新增课程。 3. 成绩管理 学生可以查询自己的成绩。 教师可以修改学生的成绩。 4. 图片上传 支持课程图片的上传和展示。 5. 日志记录 系统记录请求和响应的日志信息,便于问题追踪和性能分析。

Global site tag (gtag.js) - Google Analytics