メインコンテンツまでスキップ

インシデント対応プレイブック

重大度の分類​

重大度定義対応時間例
SEV-1本番停止、データ損失のリスク15 分で確認、全員参加全リージョンの 5xx、DB 破損、監査ログチェーンの断裂
SEV-2重大な劣化1 時間で確認、オンコール + バックアップ単一リージョンの停止、遅延 5 倍、モデルプロバイダに到達不能
SEV-3軽微な劣化4 時間で確認、オンコール単一モデルの失敗、ダッシュボード停止、遅いクエリ
SEV-4外観上 / 緊急ではない翌営業日誤字、軽微な UI バグ、ドキュメントの誤り

対応手順​

SEV-1 / SEV-2​

  1. 宣言: オンコールエンジニアが重大度を宣言し、作戦室(#incident-YYYYMMDD-HH)を作成します。
  2. 呼び出し: PagerDuty がプライマリとセカンダリを自動で呼び出します。30 分間確認がなければマネージャーへエスカレーションします。
  3. 連絡: 30 分以内にステータスページへ初期更新を投稿します。データ侵害の場合は 72 時間以内に SOC 2 の顧客へ通知します。
  4. 緩和: 既知の修正を適用するか、ロールバックします(helm rollback yabanin)。DB が破損している場合は DR ドリルを起動します。
  5. 解決: サービスを通常状態へ戻します。解決手順を作戦室に記録します。
  6. ポストモーテム: 5 営業日以内(非難なし)。所見を全スタッフに公開します。

SEV-3 / SEV-4​

  1. 営業時間中にオンコールキューでトリアージします。
  2. 担当者を割り当て、目標とする解決時間を設定します。
  3. チケットを解決してクローズします。SEV-3 については根本原因を記録します。

連絡テンプレート​

インシデント初期更新​

[INCIDENT] Yabanin Platform — Sev <X> — <brief description>
Time: <HH:MM UTC>
Impact: <what's affected>
Status: Investigation ongoing
Next update: <30 min from now>

解決通知​

[RESOLVED] Yabanin Platform — Sev <X> — <brief description>
Duration: <start> to <end> (<total time>)
Root cause: <summary>
Preventive action: <what's being done>
Post-mortem: <link or ETA>
  • docs/runbooks/sev-classification.md — 重大度の判断マトリクス
  • docs/runbooks/post-mortem-template.md — 非難なしポストモーテムの形式
  • 社内の SOC 2 インシデント対応方針(ローカルの非公開ワークシート。このツリーにはありません)