Skip to main content

Runbook Latihan DR

Latihan tempatan boleh laksana (ENT-05, automatik)​

Latihan dijalankan dalam pagar integrasi sebagai go test -tags=integration -run TestDR_BackupWipeRestoreVerify ./tests/integration/dr/:

  1. Postgres pakai buang (testcontainers) dimigrasikan dengan set pengeluaran migrations/*.up.sql.
  2. Baris audit disemai melalui auditlog.Writer pengeluaran.
  3. pg_dump --format=custom menghasilkan sandaran (artifak RPO).
  4. Skema digugurkan — "bencana" itu.
  5. pg_restore membina semula skema itu (tetingkap RTO).
  6. auditlog.Verifier pengeluaran menelusuri semula rantai hash dan kiraan baris.

Bukti terkini yang diukur (skala tempatan, 2026-09-13): sandaran 149,719 B dalam 121 ms; pemulihan + pengesahan rantai hash dalam 202 ms; rantai utuh (0 jujukan rosak). Pembantu shell untuk larian di sisi hos terhadap pangkalan data langsung: scripts/dr/backup_all.sh, scripts/dr/restore_all.sh (gagal-tertutup: menolak untuk memulihkan ke dalam pangkalan data yang tidak kosong). RPO dalam pengeluaran sama dengan jadual sandaran cron hos yang memanggil backup_all.sh.

Tujuan​

Latihan pemulihan bencana suku tahunan untuk mengesahkan prosedur sandaran/pemulihan, mengukur RTO/RPO, dan menghasilkan bukti bagi pematuhan SOC 2 Type II dan ISO 27001.

Senarai Semak Pra-Latihan​

  • Sandaran penuh diambil (scripts/dr/backup_all.sh)
  • Kluster baharu diperuntukkan (kind/eks dengan nama dr-test-YYYYMMDD)
  • Semua jurutera bertugas dimaklumkan tentang tetingkap latihan
  • Tetingkap penyelenggaraan halaman status disiarkan

Prosedur Latihan​

Langkah 1: Rekod Masa Mula​

echo "DRILL_START=$(date -u +%Y-%m-%dT%H:%M:%SZ)" >> dr-evidence.md

Langkah 2: Simulasi Bencana​

  • Isytiharkan "kluster pengeluaran tidak tersedia" (JANGAN benar-benar musnahkan pengeluaran).
  • Dalam terminal berasingan, rekod masa sehingga panggilan pertama kepada jurutera bertugas.

Langkah 3: Peruntukkan Kluster Baharu​

# For cloud: create new EKS cluster in same region
aws eks create-cluster --name dr-test-$(date +%Y%m%d) --region $(REGION)

# For local: kind create cluster --name dr-test-$(date +%Y%m%d)
kind create cluster --name dr-test-$(date +%Y%m%d)

Langkah 4: Pulihkan daripada Sandaran​

scripts/dr/restore_all.sh --backup-ts <BACKUP_TS>

Langkah 5: Laksanakan Platform​

helm install yabanin deploy/helm/yabanin-onprem \
-f deploy/helm/yabanin-onprem/values-airgap.yaml \
--set image.tag=<latest-tag>

Langkah 6: Sahkan Perkhidmatan​

kubectl -n yabanin rollout status deploy/yabanin-gateway
curl -sf http://<node-ip>:30082/healthz # expect {"status":"ok"}
curl -sf http://<node-ip>:30082/healthz/license # expect {"active":true}

Langkah 7: Sahkan Integriti Data​

  • Rantai hash log audit: Jalankan pkg/auditlog/verifier.Verify() — sepatutnya memulangkan 0 (utuh).
  • Atestasi provenans: Tanya jadual request_lineage — data sepatutnya utuh.
  • Registri model: Semak entri model dalam models_registry.

Langkah 8: Rekod Masa Tamat​

echo "DRILL_END=$(date -u +%Y-%m-%dT%H:%M:%SZ)" >> dr-evidence.md

Perekodan Bukti​

Tambah pada log bukti DR dalaman (private/docs/compliance/dr-evidence.md secara tempatan):

TarikhRTORPOIsuPengesahan
2026-Q3TBD minTBD minTiada/Isu disenaraikanNama CTO

Metrik Sasaran​

  • RTO (Objektif Masa Pemulihan): < 60 minit daripada pengisytiharan bencana hingga ketersediaan perkhidmatan.
  • RPO (Objektif Titik Pemulihan): < 1 jam kehilangan data (masa antara sandaran terakhir dan titik "bencana").

Tindakan Selepas Latihan​

  1. Semak sebarang isu yang ditemui semasa latihan.
  2. Kemas kini runbook jika prosedur tidak jelas atau gagal.
  3. Jadualkan tarikh latihan suku tahunan seterusnya.
  4. Kongsikan hasil dengan CTO dan Ketua Keselamatan.