Skip to main content

Runbook: Rantau terhenti

Gejala​

  • Papan pemuka pentadbir menunjukkan kegagalan semakan kesihatan rantau
  • Permintaan organisasi yang disemat mengembalikan 503
  • Permintaan organisasi yang tidak disemat mungkin mengalami peningkatan kependaman (penghalaan alih gagal)

Diagnosis​

Langkah 1: Semak kesihatan rantau​

curl http://localhost:8082/health # Local region
curl http://gateway-in.internal:8082/health # Peer regions

Langkah 2: Semak kelambatan replikasi Postgres​

-- On each region's Postgres:
SELECT pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn();

Langkah 3: Semak penguatkuasaan RLS​

Sahkan bahawa kueri rentas rantau ditapis dengan betul:

-- Set region context and verify isolation:
SELECT set_config('app.region', 'sg', false);
SELECT count(*) FROM request_logs; -- should only show sg rows

Pemulihan​

Bagi organisasi yang tidak disemat​

Alih gagal berlaku secara automatik. Organisasi yang tidak disemat dihalakan ke rakan setara yang sihat dan terbaik seterusnya berdasarkan tertib keutamaan (SG < IN < EU). Campur tangan manual tidak diperlukan.

Bagi organisasi yang disemat​

Organisasi yang disemat tidak boleh alih gagal — data mereka mesti kekal di rantau asal. Pilihan:

  1. Pulihkan rantau yang terhenti: Mulakan semula kontena, pulihkan ketersambungan rangkaian
  2. Nyahsemat organisasi (jika kritikal kepada perniagaan): Panggilan API pentadbir untuk menetapkan residency_pinned=false, kemudian semat semula selepas pemulihan
# Unpin via admin API (root access required)
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":false}'

# After recovery, re-pin:
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":true}'

Pencegahan​

  • Jalankan latih tubi kekacauan setiap minggu: ./scripts/chaos_drill.sh sg
  • Pantau papan pemuka kesihatan rantau (Grafana)
  • Sediakan amaran bagi pelanggaran dasar RLS