ランブック: リージョン停止
症状
- 管理ダッシュボードに、リージョンのヘルスチェック失敗が表示される
- ピン留めされた組織のリクエストは 503 を返す
- ピン留めされていない組織のリクエストでは、遅延が増えることがある(フェイルオーバー経路)
診断
手順 1: リージョンの正常性を確認する
curl http://localhost:8082/health # Local region
curl http://gateway-in.internal:8082/health # Peer regions
手順 2: Postgres のレプリケーション遅延を確認する
-- On each region's Postgres:
SELECT pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn();
手順 3: RLS の強制を確認する
クロスリージョンのクエリが正しくフィルタされていることを確認します。
-- Set region context and verify isolation:
SELECT set_config('app.region', 'sg', false);
SELECT count(*) FROM request_logs; -- should only show sg rows
是正
ピン留めされていない組織の場合
フェイルオーバーは自動です。ピン留めされていない組織は、優先順位(SG < IN < EU)に基づいて、次に最適な正常ピアへ経路が設定されます。手動の介入は不要です。
ピン留めされた組織の場合
ピン留めされた組織はフェイルオーバーできません。データはホームリージョンに留まらなければならないためです。選択肢は次のとおりです。
- 停止したリージョンを復旧する: コンテナを再起動し、ネットワーク接続を復旧します
- 組織のピン留めを解除する(事業上不可欠な場合): 管理 API を呼び出して
residency_pinned=falseに設定し、復旧後に再ピン留めします
# Unpin via admin API (root access required)
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":false}'
# After recovery, re-pin:
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":true}'
予防
- カオスドリルを毎週実行します:
./scripts/chaos_drill.sh sg - リージョンの正常性ダッシュボード(Grafana)を監視します
- RLS 方針違反のアラートを設定します