`

CNFM升降级之故障总结

阅读更多

项目上线之后,因为他抱过来的故障,截止到目前为止,已经有两个了。直接后果也是导致偶本季度的故障分已经基本被扣光了。有必要总结一下了。

一、外网搬家用户搬家失败,提示“图片银行空间已满”

现象:很多用户搬家之后发布的产品都失败了,提示图片银行没空间了。可是用户明明有上百M的未使用的空间。

排查过程

  1. grep整个代码,找到系统中抛出这中业务异常的地方(有两处),进入的条件都是图片银行的接口调用之后,判断图片银行没空间了。基本定位,就是该接口处返回值有问题。
  2. 进一步跟进看看方法实现,完全没问题啊,查看了SVN记录,最近此处代码根本没有被动过,况且如果真的是这里早就出问题了,怎么会等到现在才出问题呢?开始有点晕了。
  3. 因为是线上问题,不能跟踪代码执行流程和结果,感觉有点束手无策了。
  4. 汪汪帮我在测试环境跑了一遍搬家过程,发现没问题,于是感觉可能是个别案例,具体原因尚未明确,侥幸心理告诉我这个只是个案,于是第一天就这样结束了,告诉服务台的结果也是代码没问题,不是故障。
  5. 晚上是还是觉得有点不放心的,找来了刚哥又跟我一起过了一遍代码,还是没有发现问题,不过刚哥还是给出了建议,如果明天还有这个问题,直接找图片银行的人过来一起排查,毕竟是他们的代码,他们应该更熟悉具体逻辑。至此第一轮排查结束。
周四早晨晨会之后,我就找来了图片银行的工程师跟我一块排查了一遍代码,发现其中还是有两种情况会返回0这样的空间容量的。具体跟踪进去,发现取用户图片银行默认空间大小的地方是来自某文件,忽然之间恍然大悟,因为该文件在项目中被sourcing工程师修改过以适应新的逻辑。于是去SVN对比了一下修改记录,对比代码执行逻辑,确定果然会受到影响。到这里才找到了根本原因。
为什么会发生这个故障
直接原因就是项目发布当天没有重新发布该定时器。这也解释了为什么QA同学在测试过程中没有发生这个问题以及汪汪在测试环境中没有重现这个问题的原因,因为测试同学每次跑的时候,都相当于重新发布了一次该程序,已经是最新的了,所以压根不会再发生这个情况。当然如果当时汪汪重新跑的那个环境如果没有更新过(公用环境),理论上也会出现这个问题,但是当时没出现,有可能当时测试时候的账户是这种特定类型的,因为只修改了这种类型的配置,这个跟我没有给她提供足够的用户信息有很大关系。
如何避免这类问题
在测试阶段,QA测试过的定时器理论上都应该重新发布一次,因为当时都是根据当时最新的代码(这里包括数据文件)来做的,如果测试没问题,只能证明在新的修改上没问题,应该重新发布,不然可能会出现在老的环境下会出现问题,这次这个案例就是最好的说明了。当然根本手段还是需要开发同学对对整个系统有足够的了解,能够及时的识别代码修改可能带来的风险,但是鉴于系统的庞大和我目前对系统的了解程度,完全做到这点还很难,况且人的记忆是会消退甚至遗忘的,所以个人觉得还是通过第一种制度上的约束靠谱一点,也更稳妥一点。
排查过程暴露的问题
  1. 初级定位问题大的方向是对的,但是没有深入细节,对别人写的代码的分析不够透彻,这点曾经见过聪妈分析代码的过程,确实值得好好学习和积累。
  2. 主观上抱有侥幸心里,不然可以更早更及时的处理这个故障。
  3. 在发现问题之后,虽然电话和图片银行的工程师沟通过,但还是不够彻底,当时就应该把他们揪过来一块排查问题,毕竟他们才是最了解自己东西的人。
二、原来已经断约的某类型用户在转换类型重新开通之后,发现之前发布的WS产品都不见了。
服务台刚报过来这个故障时,第一反应就是发布当天也出现过这个问题,于是直接想到这可能是sourcing方面某工程师的问题,于是让服务台直接联系他。但不久就有新的用户报来了新的同样的问题。因为当时在处理外网搬家的故障,也没有引起足够的重视。快到下班时间时,sourcing方面的工程师直接上来找我了,明确了他的涉及该处的功能还没有正式被使用, 所以不可能是他那边的问题。于是在一起分析问题的时候发现,这批重新启用的老用户都是当时直接走的数据订正的流程来完成的,因为他们都是历史数据。想起来当时我给出的数据订正的sql语句少写了一个字段的更新,这个是直接导致问题的原因。哎,又杯具楽。于是又是一通紧急的数据订正,涉及的数据量在75W条以上。
问题原因
  1. 对数据订正这种过程没有给予足够的重视,可能是因为这个没有涉及到代码的改动。但是事实证明,数据订正本身就是一项非常危险的操作过程,如果处理的有问题,会直接导致线上故障(因为直接人为操作数据)。
  2. 对被订正的数据没有做充分的分析和排查,这个从根本上说也是属于第一种情况,但是作为开发,既然由自己提供订正的逻辑,就应该也有责任保证这个逻辑是没问题的。
如何避免
  1. 主观上,就是上面分析的问题的原因,自己必须给予足够的重视,并进行充分的分析,找到风险点。
  2. 上面的毕竟是主观上的,也是我觉得不是完全靠得住的方法,制度上的预防手段就是认真制定预发布和发布计划,将数据订正的验证列入其中,这样保证在预发布环境就暴露这个问题,不会把问题带到线上。
总结
任何失败的经历都是成长过程的源泉,希望在自己身上不要再次出现这样的错误,这样他们的曾经出现才是有价值的。
这里还要特别感谢Roby同学替我分担的数据订正故障,所以这个没最终被记录在案。
不过目前Q4的故障分数已经达到了自己的上限了,已经再经不起任何差错了,后面必须更加小心了,希望能够保持这里不要再发展了。

分享到:
评论

相关推荐

    两个数据库比较(SQLServer版)

    * 假设:库CNFM1与CFR1是一个项目不同时期的版本数据库,由于整合的需要,那么下面的功能可能有用 * 使用:将CNFM1、CFR1库的名称替换成你需要对比的两个即可F5 * 作者:黄顺龙 * 联系:huangshunlong@139.com */

    西门子FDA221-CN/FDA241空气 采样吸气泵说明书

    总结来说,西门子FDA221-CN/FDA241空气采样吸气泵是一款关键的消防安全设备,它在抽吸式烟雾探测系统中发挥着至关重要的作用。为了确保其有效性和安全性,用户必须按照指定的安装指南进行操作,并时刻注意设备的正确...

    移动梦网短信业务信令流程规范V3.0

    #### 七、总结 《移动梦网短信业务信令流程规范V3.0》是中国移动通信集团公司为了保障移动梦网短信业务的高效、稳定运行而制定的一项重要技术规范。通过对SCP、ISMG、SMSC及SP之间交互的信令消息流程进行详细描述,...

    docker配置mysql主从复制.docx

    - 创建目录 `/usr/local/mysqlData/master/cnfm` 和 `/usr/local/mysqlData/master/data`,分别用于存放配置文件和数据库数据。 - 编辑配置文件 `/usr/local/mysqlData/master/cnf/mysql.cnf`,设置 `server-id=1`...

    spring 异步编程样例

    spring 异步编程样例

    带有 python 3 和 opencv 4.1 的 Docker 映像.zip

    带有 python 3.7 和 opencv 4.1.0 的 Docker 映像用法docker run -it jjanzic/docker-python3-opencv python>>> import cv2带有标签的图像包含使用contrib 模块:contrib构建的 docker 镜像可用的docker标签列表opencv-4.1.0(latest分支)contrib-opencv-4.1.0(opencv_contrib分支)opencv-4.0.1contrib-opencv-4.0.1opencv-4.0.0contrib-opencv-4.0.0opencv-3.4.2contrib-opencv-3.4.2opencv-3.4.1contrib-opencv-3.4.1opencv-3.4.0contrib-opencv-3.4.0opencv-3.3.0contrib-opencv-3.3.0opencv-3.2.0contrib-opencv-3.2.0

    原生js鼠标滑过文字淡入淡出效果.zip

    原生js鼠标滑过文字淡入淡出效果.zip

    1-中国各省、市、区、县距离港口和海岸线的距离计算代码+计算结果-社科数据.zip

    中国各城市、区、县距离港口和海岸线的距离数据集提供了全国各城市及区、县的坐标信息,以及各个港口和海岸线的坐标信息。通过R语言计算,得出了各城市、区县与港口和海岸线之间的距离。该数据集包含了各港口的经纬度、各城市与港口之间的距离、各区县与港口之间的距离、中国各城市质心与港口的最近距离、中国各城市质心与海岸线的距离、中国各区县质心与港口的最近距离以及中国各区县质心与海岸线的距离等指标。此外,还涉及中国各省距离海岸线的距离数据。港口等级划分参考了《全国沿海港口布局规划》,包括上海港、大连港等45个港口。数据集覆盖了全国31个省及直辖市,是研究地理、经济和规划等领域的宝贵资源。

    为 Spring Web 应用提供 OAuth1 (a) 和 OAuth2 功能支持.zip

    1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。

    信号处理和通信系统模型中的模拟电路效应simulink.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    Python错误集合.doc

    Python错误集合.doc

    1-中国全球投资追踪相关数据(2005-2023年)-社科数据.zip

    《中国全球投资追踪》数据库提供了2005至2023年间中国在全球范围内的投资和合同的详细记录,不包括债券。该数据库由中国海外直接投资(ODI)和建筑合同两大部分组成,覆盖全球多个国家和地区,涉及能源、交通、通信等多个行业领域。这份追踪数据集包含4142条样本,以面板数据格式呈现,主要指标包括年份、月份、投资方、投资量(单位:百万美元)、交易类型、行业、子行业、国家、地区、是否为“一带一路”倡议相关项目、绿地投资等。这份追踪数据是政策制定者、学者、企业和公众理解中国在全球经济中角色的重要资源,有助于分析中国的全球战略和经济目标。

    原生js广告代码制作可展开关闭的页面上固定的图片对联广告代码.rar

    原生js广告代码制作可展开关闭的页面上固定的图片对联广告代码.rar

    1-中国各地区普通小学毕业生数(1999-2020年)-社科数据.zip

    这组数据涵盖了1999至2020年间中国各地区普通小学毕业生的数量。它为我们提供了一个深入了解中国教育领域中普通小学阶段教育水平和教育资源分配情况的窗口。通过分析这些数据,可以为制定科学合理的教育政策提供依据,同时,通过比较不同城市的普通小学毕业生数,也能为城市规划和劳动力市场调查提供参考。数据来源于中国区域统计年鉴和中国各省市统计年鉴,包含了8472个样本,以面板数据的形式呈现。这些数据对于掌握中国教育态势具有重要的参考价值。

    用于模拟三角模糊隶属度的 Simulink 函数.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    生产单元数字化改造24国赛仓库

    自写程序

    成熟草莓检测 草莓照片 - 物体检测数据集

    该数据集由草莓照片组成,用于识别成熟的草莓。 图像上标注有边界框,可以准确标出图像中成熟草莓的位置。 该数据集可用于促进草莓生产、质量控制和农业实践的进步以及提高精确度。 数据集结构 图像- 包含草莓的原始图像 框- 包括原始图像的边界框标签 annotations.xml - 包含为原始照片创建的边界框和标签的坐标 数据格式 文件夹中的每张图片都images附有 XML 注释,annotations.xml指示用于检测成熟草莓的边界框的坐标。对于每个点,都提供了 x 和 y 坐标。成熟草莓的可见性也由属性occluded (0, 1) 提供。

    雷达信号分选仿真数据产生程序以及信号分选的PRI变换算法仿真程序 matlab代码.rar

    1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手

    jmw网址导航网站简洁源码.zip

    jmw网址导航网站简洁源码.zip

    微信小程序开发项目教程:从前端到后端全方位解析与实战

    内容概要:本文档旨在带领初学者了解和掌握小程序开发全流程。首先介绍了小程序的特点及其广泛应用场景。随后详细讲解了小程序的项目准备、前端与后端开发、API调用技巧以及测试发布等关键环节。特别是针对微信小程序的特性,给出了许多实用的技术指南。 适用人群:对于想要学习小程序开发的新手开发者尤其有用。 使用场景及目标:帮助读者从零开始构建一个完整的餐饮类微信小程序,涵盖需求分析、功能设计、技术选型、页面搭建、交互逻辑实现、后台服务对接、测试上线等一系列步骤。 其他说明:文中还特别强调了代码调试的重要性,并提供了关于常见错误排查的具体指导,有助于新手解决实际开发过程中遇到的问题。另外,文档末尾附有项目总结和后续维护要点,提醒开发者注意项目完成后的工作事项。

Global site tag (gtag.js) - Google Analytics