Runbook amaran gerbang
Anotasi runbook_url bagi setiap amaran dalam deploy/prometheus/alert-rules.yml
menunjuk ke seksyen file ini (penambat = nama amaran). Pemeriksa
scripts/quality/alert_check.py mengesahkan bahawa metrik yang digunakan dalam
ungkapan diisytiharkan dalam pkg/metrics, bahawa penambat runbook wujud, dan bahawa
metrik SLO (latensi/ralat/baris gilir) hadir.
Ujian tembakan saluran pemilik (webhook + Telegram)
Penghantaran pemilik diwayar dalam deploy/alertmanager/alertmanager.yml: laluan
lalai pergi ke penerima webhook generik (ALERT_WEBHOOK_URL), amaran severity=" critical" disebarkan ke penerima yang membawa KEDUA-DUA webhook dan
bot Telegram (ALERT_TG_BOT_TOKEN / ALERT_TG_CHAT_ID). Ketiga-tiganya ialah pemboleh ubah
persekitaran yang dijana ke dalam konfigurasi oleh deploy/docker-compose.prod.yml semasa mula
(pemegang tempat + sed); nilai yang tidak ditetapkan kekal pada lubang hitam palsu supaya tindanan masih boleh but.
Tembak amaran kritikal sintetik dan jangkakan ia dalam sembang Telegram dan webhook dalam ~1 minit (group_wait 10s):
curl -sS -X POST http://127.0.0.1:9093/api/v2/alerts \
-H 'Content-Type: application/json' -d '[{
"labels": {
"alertname": "TestFireCritical",
"severity": "critical",
"job": "manual-test"
},
"annotations": {
"summary": "Manual delivery test — ignore",
"runbook_url": "https://example.com/test"
}
}]'
Sahkan:
- Telegram: bot menyiarkan ke sembang yang dikonfigurasi (dan mesej "resolved"
~5 min kemudian,
resolve_timeout). - Webhook: satu POST bagi setiap penerima yang dikenai.
- Ralat konfigurasi atau kegagalan penghantaran:
docker compose -f deploy/docker-compose.prod.yml logs alertmanager(kegagalan penghantaran muncul sebagai ralattelegram/apiatauwebhookdengan 401/400 — biasanya token/id sembang yang salah, atau lalai lubang hitam palsu). - Perubahan konfigurasi memerlukan mulakan semula kontena (file dijana semasa mula).
Amaran ujian severity: "warning" menguji laluan webhook sahaja yang lalai —
berguna untuk mengesahkan penghalaan kritikal berbanding amaran.
HighGatewayLatencyP99
Latensi P99 melebihi 100 ms. Lihat: model/penyedia mana yang mendahului
gateway_http_request_duration_seconds_bucket; semak kesihatan huluan
(UpstreamDown) dan pemutus litar. Tindakan: alihkan model bermasalah dengan
perubahan peraturan/peringkat, sahkan kebolehcapaian rangkaian penyedia.
HighGatewayErrorRate
Melebihi 5% 5xx selama 5 minit. Lihat gateway_http_requests_total mengikut
laluan/status dan log gerbang. Punca biasa: 401 penyedia (kunci), 429
(kuota — lihat tempoh sejuk), 5xx huluan (sandaran sepatutnya telah dicetuskan — lihat
HighFallbackRate).
UpstreamDown
Huluan telah tidak sihat selama lebih 1 minit. Semak
gateway_upstream_health_state bagi setiap url; curl penyedia dengan kunci daripada
pemboleh ubah persekitaran. Tindakan: nyahdayakan model (enabled=false) atau naikkan keutamaan
sandarannya.
CircuitBreakerOpen
Pemutus terbuka: huluan gagal secara sistematik.
gateway_circuit_breaker_*. Tindakan: jangan "tetapkan semula" pemutus — baiki
huluan; keluarkan model daripada putaran buat sementara waktu.
HighFallbackRate
Lebih 20% permintaan pergi ke sandaran. Saluran utama tidak stabil. Semak latensi/ralat model utama; model sandaran mungkin lebih mahal — pantau kesan bajet.
LowClassifierAccuracy
Bahagian sukar melebihi 30% — terlalu banyak permintaan kompleks yang mencurigakan (atau hanyutan
trafik). Semak gateway_classifier_class_total mengikut sumber; kalibrasi semula.
DiskSpaceLow
Kurang daripada 10% kosong pada partisyen. Bersihkan wal/log; semak pengekalan.
HighDeductionFailureRate
Lebih daripada 0.5 potongan/saat dilangkau kerana dana tidak mencukupi. Semak baki organisasi (yang paling negatif), mungkin kehabisan kredit secara tiba-tiba (lihat pengukuran terlebih, NEXT-17).
HighGatewayErrorRateV2
Ambang lebih ketat (10%). Kendalikan seperti HighGatewayErrorRate.
ServiceDown
Sasaran scrape tidak dapat dihubungi. Semak kontena/proses perkhidmatan dan
ketersediaan /metrics (kunci bearer Prometheus).
SLO
- Latensi:
gateway_http_request_duration_seconds(histogram). - Ralat:
gateway_http_requests_total{status=~"5.."}. - Baris gilir loggerd:
gateway_loggerd_events_in_flight/events_consumed.
ShadowHighErrorRate
Pencerminan bayang menunjukkan kadar ralat yang tinggi (melebihi 50% selama 15 minit semasa
trafik bayang mengalir). Bayang tidak sekali-kali menjejaskan klien (trafik dicerminkan), tetapi
data perbandingan menjadi tidak boleh dipercayai. Semak yabanin_shadow_*: ketersediaan
huluan yang dicerminkan, kuncinya.
ShadowBudgetBurn
Bajet eksperimen bayang telah habis (shadow_budget_exhausted_total sedang
bertambah). Tindakan: hentikan atau sempitkan bahagian bayang, atau tambah
bajet eksperimen — lihat konfigurasi bayang.