インシデント対応プレイブック
重大度の分類
| 重大度 | 定義 | 対応時間 | 例 |
|---|---|---|---|
| SEV-1 | 本番停止、データ損失のリスク | 15 分で確認、全員参加 | 全リージョンの 5xx、DB 破損、監査ログチェーンの断裂 |
| SEV-2 | 重大な劣化 | 1 時間で確認、オンコール + バックアップ | 単一リージョンの停止、遅延 5 倍、モデルプロバイダに到達不能 |
| SEV-3 | 軽微な劣化 | 4 時間で確認、オンコール | 単一モデルの失敗、ダッシュボード停止、遅いクエリ |
| SEV-4 | 外観上 / 緊急ではない | 翌営業日 | 誤字、軽微な UI バグ、ドキュメントの誤り |
対応手順
SEV-1 / SEV-2
- 宣言: オンコールエンジニアが重大度を宣言し、作戦室(
#incident-YYYYMMDD-HH)を作成します。 - 呼び出し: PagerDuty がプライマリとセカンダリを自動で呼び出します。30 分間確認がなければマネージャーへエスカレーションします。
- 連絡: 30 分以内にステータスページへ初期更新を投稿します。データ侵害の場合は 72 時間以内に SOC 2 の顧客へ通知します。
- 緩和: 既知の修正を適用するか、ロールバックします(
helm rollback yabanin)。DB が破損している場合は DR ドリルを起動します。 - 解決: サービスを通常状態へ戻します。解決手順を作戦室に記録します。
- ポストモーテム: 5 営業日以内(非難なし)。所見を全スタッフに公開します。
SEV-3 / SEV-4
- 営業時間中にオンコールキューでトリアージします。
- 担当者を割り当て、目標とする解決時間を設定します。
- チケットを 解決してクローズします。SEV-3 については根本原因を記録します。
連絡テンプレート
インシデント初期更新
[INCIDENT] Yabanin Platform — Sev <X> — <brief description>
Time: <HH:MM UTC>
Impact: <what's affected>
Status: Investigation ongoing
Next update: <30 min from now>
解決通知
[RESOLVED] Yabanin Platform — Sev <X> — <brief description>
Duration: <start> to <end> (<total time>)
Root cause: <summary>
Preventive action: <what's being done>
Post-mortem: <link or ETA>
関連ドキュメント
docs/runbooks/sev-classification.md— 重大度の判断マトリクスdocs/runbooks/post-mortem-template.md— 非難なしポストモーテムの形式- 社内の SOC 2 インシデント対応方針(ローカルの非公開ワークシート。このツリーにはありません)