予算予約 — アラートのランブック (ADR-0001 §7)
永続的な予算予約の可観測性に関する、運用者向けリファレンスです。メトリクス(§7.2)、照合ワーカーの不変条件チェック(§7.1.3/§7.1.4)、決済遅延のウォッチドッグ(§5.4)、および D17 のシャドウ終了ゲートの入力(§7.3)を扱います。以下のルールは、deploy/prometheus/alert-rules.yml へそのままコピー&ペーストできます。
出典:
- loggerd の照合ワーカー(
pkg/budget/reconcile.go、コンポーネントbudget-reconcile)— 失効したエスクローを解放します(§7.1.1/§7.1.2)。パスごとに不変条件のゲージと決済遅延をエクスポートします(デフォルトは 5 分ごと)。決済ワーカーが動く場所ならどこでも動きます。loggerd が停止しているときは何も解放されません(§5.4、保守的です)— その盲点こそが、決済遅延のアラートが見ているものです。 - ゲートウェイのアドミッション層(
pkg/budget/admission.go、コンポーネントbudget-admission)— grant/admit の結果、追加されたレイテンシ、および bound の違反(§4.2)。
1. メトリクスリファレンス(§7.2)
| 系列 | 型 | 生成元 | 意味 |
|---|---|---|---|
budget_reserved_micro_usd{scope_kind} | gauge | 照合 | ハードスコープごとの、予約によって凍結された容量(wallet/team_month/agent_day/session)。 |
budget_allowance_released_total{reason} | counter | 照合 | 解放: expired_safety_window(レプリカが死に、リースが 2 時間を超えて失効)/zero_remainder(ドレイン中または期限切れ。返すものがありません)。 |
budget_reserved_divergence_micro_usd{scope_kind} | gauge | 照合 | §7.1.3 の逸脱: Σ|reserved(row) − その行の未解放アローワンスの残差の Σ|。資金を保存する経路では、これは 0 のままです。 |
budget_wallet_headroom_micro_usd | gauge | 照合 | 組織をまたぐ §7.1.4 の左辺の最悪値: min(balance − remainder − floor − reserved)。 |
budget_wallet_invariant_violations | gauge | 照合 | §7.1.4 のヘッドルームが負である組織の数(組織名は loggerd のログにあり、ラベルには決して入りません)。 |
budget_stranded_micro_usd | gauge | 照合 | 失効した未解放アローワンスによって凍結された容量(§12)。死んだレプリカは、最大 2 時間 + TTL のあいだ資金をブロックします。 |
settlement_lag_seconds | gauge | 照合 | 最も古い未決済の決済ジョブ(pending/retry/processing)の経過時間。 |
budget_grants_total{scope_kind,result} | counter | ゲートウェイ | granted/insufficient/no_source/error(ストア障害)。 |
budget_grant_duration_seconds | histogram | ゲートウェイ | PG の grant レイテンシ。 |
budget_local_admit_total{result} | counter | ゲートウェイ | Reserve がリクエストへどう資金を出したか: local/grant/refused。 |
budget_admission_overhead_seconds | histogram | ゲートウェイ | この層が追加する同期アドミッションのレイテンシ(Plan + Reserve)。D17 ゲート: p95 ≤ 5 ms。 |
budget_bound_violation_total{scope_kind} | counter | ゲートウェイ | actual > bound で確定したリクエスト(§4.2)— 正当な超過支出の唯一の発生源です。 |
budget_bound_overshoot_micro_usd_total{scope_kind} | counter | ゲートウェイ | 累積された (actual − bound)+。単位は µUSD。 |
gateway_reservations_would_deny_total{scope_kind} | counter | ゲートウェイ (NEXT-18c) | ADR の budget_would_deny_total。シャドウで観測された拒否(D17 終了レポートの入力)。 |
gateway_reservations_denied_total{scope_kind} | counter | ゲートウェイ (NEXT-18c) | enforce で適用された拒否(402/429/403)。 |
gateway_would_bill_partial_micro_usd_total{scope_kind} | counter | 決済 (NEXT-18d) | ADR の would_bill_partial_micro_usd_total。enforce が請求するであろう部分使用のコスト。シャドウで観測されます。 |
gateway_uncharged_unknown_total{scope_kind} | counter | 決済 (NEXT-18d) | 使用量が不明なイベントの予約済み bound。請求されることはなく、ここで見えます。 |
gateway_settlement_batch_size | histogram | 決済 (NEXT-18d) | 組織バッチの決済 TX あたりのジョブ数。 |
gateway_settlement_jobs_backlog{state} | gauge | 決済 (AF-06) | 状態別のバックログ。requires_attention は永続的な負債です。 |
ラベルに組織/キー/セッションの識別子が現れることは決してありません(カーディナリティとプライバシーのルール AF-16)。組織ごとの値は管理 API の仕事です。