Runbook: Rantau terhenti
Gejala
- Papan pemuka pentadbir menunjukkan kegagalan semakan kesihatan rantau
- Permintaan organisasi yang disemat mengembalikan 503
- Permintaan organisasi yang tidak disemat mungkin mengalami peningkatan kependaman (penghalaan alih gagal)
Diagnosis
Langkah 1: Semak kesihatan rantau
curl http://localhost:8082/health # Local region
curl http://gateway-in.internal:8082/health # Peer regions
Langkah 2: Semak kelambatan replikasi Postgres
-- On each region's Postgres:
SELECT pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn();
Langkah 3: Semak penguatkuasaan RLS
Sahkan bahawa kueri rentas rantau ditapis dengan betul:
-- Set region context and verify isolation:
SELECT set_config('app.region', 'sg', false);
SELECT count(*) FROM request_logs; -- should only show sg rows
Pemulihan
Bagi organisasi yang tidak disemat
Alih gagal berlaku secara automatik. Organisasi yang tidak disemat dihalakan ke rakan setara yang sihat dan terbaik seterusnya berdasarkan tertib keutamaan (SG < IN < EU). Campur tangan manual tidak diperlukan.
Bagi organisasi yang disemat
Organisasi yang disemat tidak boleh alih gagal — data mereka mesti kekal di rantau asal. Pilihan:
- Pulihkan rantau yang terhenti: Mulakan semula kontena, pulihkan ketersambungan rangkaian
- Nyahsemat organisasi (jika kritikal kepada perniagaan): Panggilan API pentadbir untuk menetapkan
residency_pinned=false, kemudian semat semula selepas pemulihan
# Unpin via admin API (root access required)
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":false}'
# After recovery, re-pin:
curl -X PUT http://localhost:9090/api/organizations/{org_id}/region \
-H "Content-Type: application/json" \
-d '{"home_region":"sg","residency_pinned":true}'
Pencegahan
- Jalankan latih tubi kekacauan setiap minggu:
./scripts/chaos_drill.sh sg - Pantau papan pemuka kesihatan rantau (Grafana)
- Sediakan amaran bagi pelanggaran dasar RLS