需要盯住的信号

pg国际 在本文中是指一套接入与运行状态的统称,不是单一产品名。术语词条的第一件事,是把“信号”定义清楚:信号是指能提前暴露异常的观测点,又称预警指标。相关词条包括延迟、错误率、资源水位。
- 入口层:请求是否被正确路由,鉴权是否稳定通过。
- 处理层:队列是否堆积,重试是否在放大。
- 出口层:下游返回是否变慢,超时是否集中出现。
一线备忘的经验是:先记基线,再看偏离。没有基线的信号只是噪声。
常见故障形态
故障形态是指异常反复出现时的固定样子,term 上也叫失效模式。识别形态比追单个报错更有用。
- 缓慢劣化:指标一点点变差,没有明显报错。
- 雪崩式重试:一处超时引发连锁重试。
- 配置漂移:环境之间参数不一致,只在特定环境复现。
- 静默失败:任务返回成功,但结果没有落地。
硬教训:静默失败最难查,因为日志看起来一切正常。
排查顺序
排查顺序是指固定的诊断路径,相关词条叫诊断序列。顺序错了,容易在无关层浪费时间。
- 确认影响面:单点还是全局,是否可复现。
- 对齐时间线:异常起点与最近变更是否重合。
- 分层验证:入口、处理、出口逐层缩小范围。
- 对照基线:与正常时段的信号做差。
每一步只回答一个问题,避免同时改多个变量。
回滚与恢复
回滚是指把系统退回上一个已知可用状态,又称兜底动作。恢复则强调服务可用,不要求根因已查清。
- 回滚前先冻结变更,防止边回滚边改动。
- 明确回滚边界:配置、数据、依赖分别怎么退。
- 回滚后验证核心链路,而不是只看进程存活。
- 保留现场快照,供后续复盘使用。
一线备忘提醒:回滚方案要在上线前写好,而不是出事时现编。
带走清单
把上面的词条压缩成可执行清单,便于现场核对。
- 是否记录了正常时段的信号基线。
- 是否识别出至少一种历史故障形态。
- 排查顺序是否固定并可交接。
- 回滚边界与验证步骤是否明确。
- 变更冻结与现场快照是否落实。
相关词条还包括变更窗口、演练与交接记录。术语只是入口,真正的价值在于把这些定义变成现场可复用的动作。 pg国际实用指南

