服务恢复以后,事故复盘还需要解释影响、原因和后续改进。监控截图、处置聊天和变更记录能帮助还原现场,但把它们按时间粘贴在一起,未必就形成了可供团队使用的复盘报告。
Google SRE的复盘说明将事件影响、处置、原因与后续行动联系起来,并强调理解导致事件的条件。下面是一种把已有材料整理成长报告的编辑流程,不是某次真实事故的回执。
先建立能够对齐的时间线。 标注各材料使用的时区和时间依据,区分首次异常、告警、开始处置、缓解、恢复与观察确认。团队宣布恢复的时间,与业务指标实际恢复的时间可能不同,应说明依据,而不是挑一个较好看的时间。
时间线只记录能够确认的事实。某次变更与异常先后出现,可以作为调查线索;尚未有证据连接时,不宜直接写成原因。
再从用户受到的影响解释这条时间线。 哪些功能、区域或请求受到影响,统计范围是什么,哪些部分仍未知,都比一句“系统短暂抖动”具体。监控缺失时写明缺口,不用“没有看到错误”代替“已经证明没有影响”。
原因分析则继续追问:触发条件是什么,哪些系统条件使影响扩大,为什么已有检测或处置没有更早阻止它。避免把复杂过程归结为某个人“不够仔细”,但也不必省略真实操作和相应证据。
把改进写成能够确认完成的工作。 “加强监控”和“提升稳定性”还不能直接执行。可以进一步说明要覆盖哪类异常、由谁负责、怎样确认有效。Google的复盘示例将行动项与负责人、跟踪事项相连,可作为组织方式参考;示例中的技术措施不能照搬到自己的系统。
对于已经部署的修复,写明验证到哪一步;仅有设计建议的,保留待实施状态。处置时采用的临时缓解方案,也应与长期修复分开。
事实和行动项确认后,再整理报告的连续叙述。需要改善表达或降低AI痕迹时,可以用PaperMomo处理作者的摘要、影响解释和原因说明,在文本工作台先选定范围并查看预计积分。文档支持范围见功能说明。
日志、命令、错误码、时间和状态保持可回查。采用改稿时尤其检查“可能相关”是否变成“根本原因”,“已缓解”是否变成“彻底解决”。表达工具不应替尚未完成的调查作结论。
交付前由熟悉处置过程的人核对时间线,由负责后续工作的人确认行动项。复盘完成的标志不只是文稿已经写好,还包括团队知道下一步需要改变什么,以及怎样判断改变确实有效。