31 事件分级、现场保护与应急决策——枕戈待旦

第 31 章事件分级、现场保护与应急决策——枕戈待旦

前十二章已经建立部署、HA、备份、安全、可观测、容量、调优、维护、迁移与升级能力。系统真正出事时，这些能力不会自动拼成一次正确响应：告警只呈现某个观察面的症状，自动化可能继续改变拓扑，人在压力下又容易把第一个解释当成根因。

本章是第 32～35 章的共同控制平面。它不提前穷举所有故障，而是先回答四个问题：

现在影响了谁，数据与恢复能力是否仍安全？
哪些状态仍在变化，哪些自动化需要精确暂停？
已有证据把问题路由到哪类恢复目标？
下一步动作由谁执行，何时停止，怎样证明结果？

事故早期最稀缺的通常不是命令，而是可信状态与可逆选择。好的响应不以“最快猜到根因”为目标，而以更快降低用户影响、数据风险和不确定性，同时保留恢复路径为目标。

学习完成标准

完成本章后，读者应能：

从用户影响、数据风险、范围、变化速度和可恢复性分级事件；
把“恢复数据、恢复拓扑、释放压力、保护完整性”写成明确响应目标；
区分严重度与技术判型，不让首发告警直接授权重启、提升或删除；
有选择地控制 Patroni、调度器、路由与保留任务，而不是笼统“暂停一切”；
采集带 UTC、拓扑、版本、system identifier、timeline、LSN 与来源散列的最小证据；
按 PITR、HA、过载和完整性四条路线进入第 32～35 章；
用“事实—假设—动作—预期—停止线—回退—结果”记录每次决策；
在单人和团队两种模式下完成前十五分钟响应与可读交接；
识别必须引入业务、存储、安全、法务或厂商的升级条件；
组织一次不触碰生产的盲抽桌面演练，并区分工具通过与人员胜任。

一张图看懂事故控制面

detect symptom
  -> declare incident and start UTC timeline
      -> quantify impact / data risk / scope / trend / recoverability
          -> preserve writer identity / WAL / backup / evidence
              -> collect independent layers
                  -> choose PITR / HA / OVERLOAD / INTEGRITY
                      -> authorize one bounded action
                          -> verify actual result
                              -> communicate and hand off

若新证据推翻当前路线，应回到 triage；若动作越过了写入、timeline 或不可逆边界，应更新回退定义。严重度可以升降，技术路线也可以改变，但每次改变都必须留下事实和时间。

本章目录

31.1 事件分级与响应目标

31.2 第一原则：保护现场与可恢复性

31.3 从症状路由而不是猜根因

31.4 决策、沟通与变更纪律

31.5 单人值守与团队响应

31.6 实战：盲抽症状的桌面演练

写作与验收提示

本章提供八个盲抽场景，每条后续技术路线各两个。正式参考 run 在 Pigsty FULL/L3 监控环境中对 pg-test 做 L0-read-only 采集，再离线完成一份 solo 与一份 team 响应：

PostgreSQL                         18.4
Patroni topology                   1 primary + 2 replicas
timeline                           11
pgBackRest status / backups        0 / 6
drawn routes                       INTEGRITY + PITR
online mutation                    none
real incident injected             false
dangerous actions executed         0

验证器拒绝了 31 个声明反例和 18 个现场证据变异，并绑定 12 个实验源文件。公开摘要见 incident-run.json，完整边界见 lab-contract.md。

这次通过只证明只读采集、盲包、响应合同和校验器可执行；参考响应由程序生成，不代表任何真人通过了能力考核，更没有实施 failover、恢复备份或处理真实事故。 production_ch31_gate 保持 pending。

上一章：推陈出新：版本升级与回滚策略 · 返回下卷导读 · 下一章：PITR 与误操作恢复——妙手回春 · 查看全书目录 · 查看索引中心

最后更新于 2026-07-30

第 31 章 事件分级、现场保护与应急决策——枕戈待旦