Skip to main content

Runbook: latihan pemulihan sandaran (timbunan compose)

Suku tahunan, ~20 minit. Membuktikan bahawa pg_dump harian yang dihasilkan oleh sidecar compose backup benar-benar boleh membina semula pangkalan data, dan menghasilkan nombor RTO/RPO untuk jadual bukti pematuhan. Versi automatik dalam CI bagi latihan ini ialah go test -tags=integration -run TestDR_BackupWipeRestoreVerify ./tests/integration/dr/ (lihat docs/runbooks/dr-drill.md); runbook ini ialah ujian dokumen amali terhadap pelaksanaan compose langsung.

Apa yang menghasilkan sandaran​

Perkhidmatan backup dalam deploy/docker-compose.prod.yml menjalankan scripts/dr/backup_compose.sh setiap hari pada 02:00 UTC ke dalam volum backup_data (/data/backups), format tersuai (pg_dump -F c), digzip, pengekalan 7 hari.

Langkah 1 — ambil sandaran baharu​

cd deploy
docker compose -f docker-compose.prod.yml exec backup /bin/sh /app/backup.sh
docker compose -f docker-compose.prod.yml exec backup ls -lh /data/backups
# e.g. pg_20261005_021500.dump.gz

Langkah 2 — salin dump keluar daripada volum​

DUMP=pg_20261005_021500.dump.gz # pick the newest
docker compose -f docker-compose.prod.yml cp backup:/data/backups/$DUMP /tmp/$DUMP
ls -lh /tmp/$DUMP # record the size for the evidence table

Langkah 3 — pulihkan ke dalam Postgres pakai buang​

Jangan sekali-kali pulihkan ke dalam volum pg_data langsung. Gunakan kontena pakai buang:

docker run -d --name restore-drill -e POSTGRES_PASSWORD=drill \
-e POSTGRES_DB=yabanin_drill postgres:16-alpine
sleep 5 # let it initialize
docker cp /tmp/$DUMP restore-drill:/tmp/$DUMP
gunzip -c /tmp/$DUMP > /tmp/$DUMP.raw # custom format: gunzip first
START=$(date +%s)
docker exec restore-drill psql -U postgres -c 'SELECT count(*) FROM information_schema.tables WHERE table_schema='"'"'public'"'"''
# ^ must print 0 — the drill target is empty (same fail-closed check as
# scripts/dr/restore.sh; refuse to continue otherwise)
docker exec restore-drill pg_restore -U postgres --no-owner --no-acl \
--exit-on-error -d yabanin_drill /tmp/$DUMP.raw
echo "restore took $(( $(date +%s) - START ))s" # RTO core component

Langkah 4 — sahkan data yang dipulihkan​

docker exec restore-drill psql -U postgres -d yabanin_drill -c \
"SELECT count(*) AS orgs FROM organizations;
SELECT count(*) AS keys FROM api_keys;
SELECT count(*) AS reqs FROM request_logs;"

Jangkakan kiraan organisasi/kunci sepadan dengan sistem langsung (docker compose -f docker-compose.prod.yml exec postgres psql -U yabanin -d yabanin -c "<same queries>"). request_logs ketinggalan sebanyak umur sandaran — delta itu IALAH RPO.

Semakan integriti selain kiraan baris:

Rantai hash audit: pengesah pengeluaran dijalankan dalam latihan automatik (pkg/auditlog/verifier, langkah 6 docs/runbooks/dr-drill.md); bagi latihan manual, semak secara rambang bahawa jujukan admin_audit_logs yang terbaharu adalah bersambung:

docker exec restore-drill psql -U postgres -d yabanin_drill -c \
"SELECT max(seq), count(DISTINCT seq) FROM admin_audit_logs;"

(max(seq) == count(DISTINCT seq) bermaksud tiada jurang; pengesahan hash rantai kekal pada latihan automatik.)

Langkah 5 — rekod bukti​

Tambah pada log DR pasukan:

TarikhSaiz dumpMasa pemulihanRPO (umur sandaran)IsuPengesahan
2026-Q4

Sasaran (daripada docs/runbooks/dr-drill.md): RTO < 60 minit hujung ke hujung, RPO < 24 jam bagi sidecar harian (ketatkan dengan menambah larian cron hos scripts/dr/backup_all.sh jika perlu).

Langkah 6 — pembersihan​

docker rm -f restore-drill
rm -f /tmp/$DUMP /tmp/$DUMP.raw

Dump mengandungi data pelanggan — padamkannya daripada hos latihan.

Jika pemulihan gagal​

  1. --exit-on-error berhenti pada item rosak yang pertama — baca ralat pertama, bukan yang terakhir.
  2. Punca biasa: dump daripada set migrasi yang lebih baharu dipulihkan ke dalam Postgres yang lebih lama — gunakan versi utama yang sama (postgres:16-alpine).
  3. Jika sandaran gagal secara senyap, semak log sidecar: docker compose -f docker-compose.prod.yml logs backup (output cron pergi ke log kontena; skrip bersifat gagal-pantas melalui set -euo pipefail).
  4. Pemulihan insiden yang sebenar mengikut arahan yang sama terhadap volum langsung (yang dicipta semula) — pembungkus gagal-tertutup untuk larian di sisi hos: scripts/dr/restore_all.sh --backup-ts <TS>.