メインコンテンツまでスキップ

ランブック: リージョン停止

症状​

  • 管理ダッシュボードに、リージョンのヘルスチェック失敗が表示される
  • ピン留めされた組織のリクエストは 503 を返す
  • ピン留めされていない組織のリクエストでは、遅延が増えることがある(フェイルオーバー経路)

診断​

手順 1: リージョンの正常性を確認する​

curl http://localhost:8082/health # Local region
curl http://gateway-in.internal:8082/health # Peer regions

手順 2: Postgres のレプリケーション遅延を確認する​

-- On each region's Postgres:
SELECT pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn();

手順 3: RLS の強制を確認する​

クロスリージョンのクエリが正しくフィルタされていることを確認します。

-- Set region context and verify isolation:
SELECT set_config('app.region', 'sg', false);
SELECT count(*) FROM request_logs; -- should only show sg rows

是正​

ピン留めされていない組織の場合​

フェイルオーバーは自動です。ピン留めされていない組織は、優先順位(SG < IN < EU)に基づいて、次に最適な正常ピアへ経路が設定されます。手動の介入は不要です。

ピン留めされた組織の場合​

ピン留めされた組織はフェイルオーバーできません。データはホームリージョンに留まらなければならないためです。選択肢は次のとおりです。

  1. 停止したリージョンを復旧する: コンテナを再起動し、ネットワーク接続を復旧します
  2. 組織のピン留めを解除する(事業上不可欠な場合): 管理 API を呼び出して residency_pinned=false に設定し、復旧後に再ピン留めします
# Unpin via admin API (root access required)
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":false}'

# After recovery, re-pin:
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":true}'

予防​

  • カオスドリルを毎週実行します: ./scripts/chaos_drill.sh sg
  • リージョンの正常性ダッシュボード(Grafana)を監視します
  • RLS 方針違反のアラートを設定します