Runbook: latihan pemulihan sandaran (timbunan compose)
Suku tahunan, ~20 minit. Membuktikan bahawa pg_dump harian yang dihasilkan oleh
sidecar compose backup benar-benar boleh membina semula pangkalan data, dan menghasilkan
nombor RTO/RPO untuk jadual bukti pematuhan. Versi automatik dalam CI
bagi latihan ini ialah go test -tags=integration -run TestDR_BackupWipeRestoreVerify ./tests/integration/dr/ (lihat docs/runbooks/dr-drill.md); runbook ini ialah
ujian dokumen amali terhadap pelaksanaan compose langsung.
Apa yang menghasilkan sandaran
Perkhidmatan backup dalam deploy/docker-compose.prod.yml menjalankan
scripts/dr/backup_compose.sh setiap hari pada 02:00 UTC ke dalam volum
backup_data (/data/backups), format tersuai (pg_dump -F c), digzip, pengekalan
7 hari.
Langkah 1 — ambil sandaran baharu
cd deploy
docker compose -f docker-compose.prod.yml exec backup /bin/sh /app/backup.sh
docker compose -f docker-compose.prod.yml exec backup ls -lh /data/backups
# e.g. pg_20261005_021500.dump.gz
Langkah 2 — salin dump keluar daripada volum
DUMP=pg_20261005_021500.dump.gz # pick the newest
docker compose -f docker-compose.prod.yml cp backup:/data/backups/$DUMP /tmp/$DUMP
ls -lh /tmp/$DUMP # record the size for the evidence table
Langkah 3 — pulihkan ke dalam Postgres pakai buang
Jangan sekali-kali pulihkan ke dalam volum pg_data langsung. Gunakan kontena pakai buang:
docker run -d --name restore-drill -e POSTGRES_PASSWORD=drill \
-e POSTGRES_DB=yabanin_drill postgres:16-alpine
sleep 5 # let it initialize
docker cp /tmp/$DUMP restore-drill:/tmp/$DUMP
gunzip -c /tmp/$DUMP > /tmp/$DUMP.raw # custom format: gunzip first
START=$(date +%s)
docker exec restore-drill psql -U postgres -c 'SELECT count(*) FROM information_schema.tables WHERE table_schema='"'"'public'"'"''
# ^ must print 0 — the drill target is empty (same fail-closed check as
# scripts/dr/restore.sh; refuse to continue otherwise)
docker exec restore-drill pg_restore -U postgres --no-owner --no-acl \
--exit-on-error -d yabanin_drill /tmp/$DUMP.raw
echo "restore took $(( $(date +%s) - START ))s" # RTO core component
Langkah 4 — sahkan data yang dipulihkan
docker exec restore-drill psql -U postgres -d yabanin_drill -c \
"SELECT count(*) AS orgs FROM organizations;
SELECT count(*) AS keys FROM api_keys;
SELECT count(*) AS reqs FROM request_logs;"
Jangkakan kiraan organisasi/kunci sepadan dengan sistem langsung (docker compose -f docker-compose.prod.yml exec postgres psql -U yabanin -d yabanin -c "<same queries>"). request_logs ketinggalan sebanyak umur sandaran — delta itu IALAH RPO.
Semakan integriti selain kiraan baris:
Rantai hash audit: pengesah pengeluaran dijalankan dalam latihan automatik
(pkg/auditlog/verifier, langkah 6 docs/runbooks/dr-drill.md); bagi
latihan manual, semak secara rambang bahawa jujukan admin_audit_logs yang terbaharu
adalah bersambung:
docker exec restore-drill psql -U postgres -d yabanin_drill -c \
"SELECT max(seq), count(DISTINCT seq) FROM admin_audit_logs;"
(max(seq) == count(DISTINCT seq) bermaksud tiada jurang; pengesahan hash rantai
kekal pada latihan automatik.)
Langkah 5 — rekod bukti
Tambah pada log DR pasukan:
| Tarikh | Saiz dump | Masa pemulihan | RPO (umur sandaran) | Isu | Pengesahan |
|---|---|---|---|---|---|
| 2026-Q4 |
Sasaran (daripada docs/runbooks/dr-drill.md): RTO < 60 minit hujung ke hujung, RPO < 24 jam
bagi sidecar harian (ketatkan dengan menambah larian cron hos scripts/dr/backup_all.sh
jika perlu).
Langkah 6 — pembersihan
docker rm -f restore-drill
rm -f /tmp/$DUMP /tmp/$DUMP.raw
Dump mengandungi data pelanggan — padamkannya daripada hos latihan.
Jika pemulihan gagal
--exit-on-errorberhenti pada item rosak yang pertama — baca ralat pertama, bukan yang terakhir.- Punca biasa: dump daripada set migrasi yang lebih baharu dipulihkan ke dalam
Postgres yang lebih lama — gunakan versi utama yang sama (
postgres:16-alpine). - Jika sandaran gagal secara senyap, semak log sidecar:
docker compose -f docker-compose.prod.yml logs backup(output cron pergi ke log kontena; skrip bersifat gagal-pantas melaluiset -euo pipefail). - Pemulihan insiden yang sebenar mengikut arahan yang sama terhadap volum langsung
(yang dicipta semula) — pembungkus gagal-tertutup untuk larian di sisi hos:
scripts/dr/restore_all.sh --backup-ts <TS>.