Runbook Latihan DR
Latihan tempatan boleh laksana (ENT-05, automatik)
Latihan dijalankan dalam pagar integrasi sebagai
go test -tags=integration -run TestDR_BackupWipeRestoreVerify ./tests/integration/dr/:
- Postgres pakai buang (testcontainers) dimigrasikan dengan set pengeluaran
migrations/*.up.sql. - Baris audit disemai melalui
auditlog.Writerpengeluaran. pg_dump --format=custommenghasilkan sandaran (artifak RPO).- Skema digugurkan — "bencana" itu.
pg_restoremembina semula skema itu (tetingkap RTO).auditlog.Verifierpengeluaran menelusuri semula rantai hash dan kiraan baris.
Bukti terkini yang diukur (skala tempatan, 2026-09-13): sandaran 149,719 B dalam
121 ms; pemulihan + pengesahan rantai hash dalam 202 ms; rantai utuh (0 jujukan rosak).
Pembantu shell untuk larian di sisi hos terhadap pangkalan data langsung:
scripts/dr/backup_all.sh, scripts/dr/restore_all.sh (gagal-tertutup: menolak
untuk memulihkan ke dalam pangkalan data yang tidak kosong). RPO dalam pengeluaran sama dengan jadual
sandaran cron hos yang memanggil backup_all.sh.
Tujuan
Latihan pemulihan bencana suku tahunan untuk mengesahkan prosedur sandaran/pemulihan, mengukur RTO/RPO, dan menghasilkan bukti bagi pematuhan SOC 2 Type II dan ISO 27001.
Senarai Semak Pra-Latihan
- Sandaran penuh diambil (
scripts/dr/backup_all.sh) - Kluster baharu diperuntukkan (kind/eks dengan nama
dr-test-YYYYMMDD) - Semua jurutera bertugas dimaklumkan tentang tetingkap latihan
- Tetingkap penyelenggaraan halaman status disiarkan
Prosedur Latihan
Langkah 1: Rekod Masa Mula
echo "DRILL_START=$(date -u +%Y-%m-%dT%H:%M:%SZ)" >> dr-evidence.md
Langkah 2: Simulasi Bencana
- Isytiharkan "kluster pengeluaran tidak tersedia" (JANGAN benar-benar musnahkan pengeluaran).
- Dalam terminal berasingan, rekod masa sehingga panggilan pertama kepada jurutera bertugas.
Langkah 3: Peruntukkan Kluster Baharu
# For cloud: create new EKS cluster in same region
aws eks create-cluster --name dr-test-$(date +%Y%m%d) --region $(REGION)
# For local: kind create cluster --name dr-test-$(date +%Y%m%d)
kind create cluster --name dr-test-$(date +%Y%m%d)
Langkah 4: Pulihkan daripada Sandaran
scripts/dr/restore_all.sh --backup-ts <BACKUP_TS>
Langkah 5: Laksanakan Platform
helm install yabanin deploy/helm/yabanin-onprem \
-f deploy/helm/yabanin-onprem/values-airgap.yaml \
--set image.tag=<latest-tag>
Langkah 6: Sahkan Perkhidmatan
kubectl -n yabanin rollout status deploy/yabanin-gateway
curl -sf http://<node-ip>:30082/healthz # expect {"status":"ok"}
curl -sf http://<node-ip>:30082/healthz/license # expect {"active":true}
Langkah 7: Sahkan Integriti Data
- Rantai hash log audit: Jalankan
pkg/auditlog/verifier.Verify()— sepatutnya memulangkan 0 (utuh). - Atestasi provenans: Tanya jadual
request_lineage— data sepatutnya utuh. - Registri model: Semak entri model dalam
models_registry.
Langkah 8: Rekod Masa Tamat
echo "DRILL_END=$(date -u +%Y-%m-%dT%H:%M:%SZ)" >> dr-evidence.md
Perekodan Bukti
Tambah pada log bukti DR dalaman (private/docs/compliance/dr-evidence.md secara tempatan):
| Tarikh | RTO | RPO | Isu | Pengesahan |
|---|---|---|---|---|
| 2026-Q3 | TBD min | TBD min | Tiada/Isu disenaraikan | Nama CTO |
Metrik Sasaran
- RTO (Objektif Masa Pemulihan): < 60 minit daripada pengisytiharan bencana hingga ketersediaan perkhidmatan.
- RPO (Objektif Titik Pemulihan): < 1 jam kehilangan data (masa antara sandaran terakhir dan titik "bencana").
Tindakan Selepas Latihan
- Semak sebarang isu yang ditemui semasa latihan.
- Kemas kini runbook jika prosedur tidak jelas atau gagal.
- Jadualkan tarikh latihan suku tahunan seterusnya.
- Kongsikan hasil dengan CTO dan Ketua Keselamatan.