Skip to main content

Runbook amaran gerbang

Anotasi runbook_url bagi setiap amaran dalam deploy/prometheus/alert-rules.yml menunjuk ke seksyen file ini (penambat = nama amaran). Pemeriksa scripts/quality/alert_check.py mengesahkan bahawa metrik yang digunakan dalam ungkapan diisytiharkan dalam pkg/metrics, bahawa penambat runbook wujud, dan bahawa metrik SLO (latensi/ralat/baris gilir) hadir.

Ujian tembakan saluran pemilik (webhook + Telegram)​

Penghantaran pemilik diwayar dalam deploy/alertmanager/alertmanager.yml: laluan lalai pergi ke penerima webhook generik (ALERT_WEBHOOK_URL), amaran severity=" critical" disebarkan ke penerima yang membawa KEDUA-DUA webhook dan bot Telegram (ALERT_TG_BOT_TOKEN / ALERT_TG_CHAT_ID). Ketiga-tiganya ialah pemboleh ubah persekitaran yang dijana ke dalam konfigurasi oleh deploy/docker-compose.prod.yml semasa mula (pemegang tempat + sed); nilai yang tidak ditetapkan kekal pada lubang hitam palsu supaya tindanan masih boleh but.

Tembak amaran kritikal sintetik dan jangkakan ia dalam sembang Telegram dan webhook dalam ~1 minit (group_wait 10s):

curl -sS -X POST http://127.0.0.1:9093/api/v2/alerts \
-H 'Content-Type: application/json' -d '[{
"labels": {
"alertname": "TestFireCritical",
"severity": "critical",
"job": "manual-test"
},
"annotations": {
"summary": "Manual delivery test — ignore",
"runbook_url": "https://example.com/test"
}
}]'

Sahkan:

  • Telegram: bot menyiarkan ke sembang yang dikonfigurasi (dan mesej "resolved" ~5 min kemudian, resolve_timeout).
  • Webhook: satu POST bagi setiap penerima yang dikenai.
  • Ralat konfigurasi atau kegagalan penghantaran: docker compose -f deploy/docker-compose.prod.yml logs alertmanager (kegagalan penghantaran muncul sebagai ralat telegram/api atau webhook dengan 401/400 — biasanya token/id sembang yang salah, atau lalai lubang hitam palsu).
  • Perubahan konfigurasi memerlukan mulakan semula kontena (file dijana semasa mula).

Amaran ujian severity: "warning" menguji laluan webhook sahaja yang lalai — berguna untuk mengesahkan penghalaan kritikal berbanding amaran.

HighGatewayLatencyP99​

Latensi P99 melebihi 100 ms. Lihat: model/penyedia mana yang mendahului gateway_http_request_duration_seconds_bucket; semak kesihatan huluan (UpstreamDown) dan pemutus litar. Tindakan: alihkan model bermasalah dengan perubahan peraturan/peringkat, sahkan kebolehcapaian rangkaian penyedia.

HighGatewayErrorRate​

Melebihi 5% 5xx selama 5 minit. Lihat gateway_http_requests_total mengikut laluan/status dan log gerbang. Punca biasa: 401 penyedia (kunci), 429 (kuota — lihat tempoh sejuk), 5xx huluan (sandaran sepatutnya telah dicetuskan — lihat HighFallbackRate).

UpstreamDown​

Huluan telah tidak sihat selama lebih 1 minit. Semak gateway_upstream_health_state bagi setiap url; curl penyedia dengan kunci daripada pemboleh ubah persekitaran. Tindakan: nyahdayakan model (enabled=false) atau naikkan keutamaan sandarannya.

CircuitBreakerOpen​

Pemutus terbuka: huluan gagal secara sistematik. gateway_circuit_breaker_*. Tindakan: jangan "tetapkan semula" pemutus — baiki huluan; keluarkan model daripada putaran buat sementara waktu.

HighFallbackRate​

Lebih 20% permintaan pergi ke sandaran. Saluran utama tidak stabil. Semak latensi/ralat model utama; model sandaran mungkin lebih mahal — pantau kesan bajet.

LowClassifierAccuracy​

Bahagian sukar melebihi 30% — terlalu banyak permintaan kompleks yang mencurigakan (atau hanyutan trafik). Semak gateway_classifier_class_total mengikut sumber; kalibrasi semula.

DiskSpaceLow​

Kurang daripada 10% kosong pada partisyen. Bersihkan wal/log; semak pengekalan.

HighDeductionFailureRate​

Lebih daripada 0.5 potongan/saat dilangkau kerana dana tidak mencukupi. Semak baki organisasi (yang paling negatif), mungkin kehabisan kredit secara tiba-tiba (lihat pengukuran terlebih, NEXT-17).

HighGatewayErrorRateV2​

Ambang lebih ketat (10%). Kendalikan seperti HighGatewayErrorRate.

ServiceDown​

Sasaran scrape tidak dapat dihubungi. Semak kontena/proses perkhidmatan dan ketersediaan /metrics (kunci bearer Prometheus).

SLO​

  • Latensi: gateway_http_request_duration_seconds (histogram).
  • Ralat: gateway_http_requests_total{status=~"5.."}.
  • Baris gilir loggerd: gateway_loggerd_events_in_flight / events_consumed.

ShadowHighErrorRate​

Pencerminan bayang menunjukkan kadar ralat yang tinggi (melebihi 50% selama 15 minit semasa trafik bayang mengalir). Bayang tidak sekali-kali menjejaskan klien (trafik dicerminkan), tetapi data perbandingan menjadi tidak boleh dipercayai. Semak yabanin_shadow_*: ketersediaan huluan yang dicerminkan, kuncinya.

ShadowBudgetBurn​

Bajet eksperimen bayang telah habis (shadow_budget_exhausted_total sedang bertambah). Tindakan: hentikan atau sempitkan bahagian bayang, atau tambah bajet eksperimen — lihat konfigurasi bayang.