Skip to main content

План «Переиграть»: Policy Pipeline + паритет с Portkey / LiteLLM / Bifrost

Дата: 2026-10-06. Статус: proposal (ждёт owner-решений §9). Поверхность: pkg/pipeline (новый), pkg/policystore (новый), gateway-хуки, admin API, дашборд, prompt studio, identity (SCIM/SAML/JWT), observability export, routing, pricing.

Программный префикс карточек: OP-. Поглощает остатки предыдущих планов: MC-4/MC-5 (→ OP-21/OP-22, из MCP-CREDENTIALS-PLAN-2026-10-05), D8/D10 (→ OP-22, из DOCS-UPDATE-PLAN-2026-10-05). MC-6 — owner-gated, не планируется.

1. Контекст и источники​

Конкурентная база (публичные доки, проверено 2026-10-06):

  • Portkey / Prisma AIRS (docs.portkey.ai, 765 стр.): guardrails = input/output hooks, ~20 partner-сканеров + BASIC-детерминированные (regex, счётчики, JSON-schema/keys, code-detect, model whitelist, metadata enforcement, JWT validator, webhook BYO) + PRO LLM-чеки (moderation, language, PII, gibberish); конфиги на запрос (SDK-config), conditional routing, canary; prompt studio (версии/labels/partials/playground); model catalog + прайсинг-БД 2300+ моделей; SCIM/SAML/JWT, KMS, secret references, OTel-экспорт; MCP-гуарды на tool-calls.
  • LiteLLM (docs.litellm.ai): guardrail policies + Policy Flow Builder (условные пайплайны!), templates, tag-based attachment, team-BYO с админ- аппрувом, LB гвардов, testing playground, MCP-гуарды; огромная identity/ budget-поверхность; Lens (agent traces); spend capture rate vs инвойсов.
  • Bifrost (docs.getbifrost.ai): CEL-alerting, config.json reconciliation, prompt deployments (версии+CEL+веса), guardrails 13 провайдеров + custom regex
    • LLM-judge + redaction modes (runtime/logs/traces), плагины Go/WASM, Edge MDM, 11 µs overhead.

Внутреннее: конкурентный анализ от 2026-10-02 (§9 IMPROVEMENT_RESEARCH — архивная ветка archive/pre-squash-2026-10-04:docs/plans/) остаётся валидным; карточки RM-62..68/70..73/100..104/106 из старого реестра поглощаются ниже.

Текущее состояние (master 8331dae0 после беты): OTel-трейсинг вшит (services/run/gateway.go:65), shadow-инфраструктура (pkg/shadow, pkg/adminstore/shadow_compare.go), guardhooks = детерминированные offline- детекторы RU+9 юрисдикций (вход, guardMode off по умолчанию), toolpolicy/ toolexec (SSRF-гуарды), evalgate, orgcaps (fail-closed RPM/TPM + shadow-режим), MC-1..3 (MCP-креды) смержены. Глобальный circuit breaker — один на всё (дефект волны W-VER, чинится в OP-18). Параллельные гейты NEXT-14: ядро (bounded scheduler + --jobs) в master, тесты/CI/доки — нет (закрывается OP-0c).

2. Архитектурное ядро: Yabanin Policy Pipeline (YPP)​

Цель — не «чеклист гвардов», а программируемый конвейер политики: декларативные YAML-правила, внешние HTTP-сервисы, мутаторы в цепочке, условное ветвление. Порткио умеет чеки; LiteLLM — Flow Builder только для детекторов; мутаторов-в-цепочке с ветвлением нет ни у кого. Это и есть фича для «переигрывания»: policy-as-pipeline на суверенном рантайме.

2.1 Слои и интерфейсы (разделение — принципиально)​

pkg/pipeline — ЧИСТОЕ ядро: типы + движок. Без DB/HTTP/логов side-effect.
pkg/pipeline/builtins — детерминированные шаги (портировка guardhooks + новые).
pkg/pipeline/callout — HTTP-шаги (SSRF-guard, breaker, таймауты).
pkg/pipeline/llmjudge — судья через собственный upstream-клиент шлюза.
pkg/pipeline/script — скриптовый движок условий (OP-7: Lua-спайк с
челленджем; sandbox, бюджет инструкций, кэш).
pkg/policystore — версии политик, attachment, reconciliation, admin API.
gateway (мiddleware) — ЕДИНАЯ точка прогона: pre/post/stream/tool-хуки.

Контракты ядра (первый коммит волны OP-0, по аналогии с W-BYOK-DB):

type Payload struct { // единая модель для всех хуков
Kind PayloadKind // request | response | stream_prefix | stream_final | tool_args | tool_result
Endpoint string // chat | messages | responses | embeddings | mcp.invoke | ...
Messages []Message; Body []byte; StreamChunk string
Meta *RequestMeta // org, key, model, provider, labels, tags
}

type Finding struct{ Step, Category, Severity, Span, Evidence string; Action Action }
type Action string // deny | mask | flag | allow
type Result struct {
Verdict Action // композиция: deny > mask > flag > allow
Findings []Finding
Mutated *Payload // nil = без изменений
Trace []StepTrace // step, duration, outcome, error — всегда
}

type Step interface {
Name() string
Run(ctx context.Context, p *Pipeline, in *Payload, out *Result) error
}
// Detector и Mutator — УЗКИЕ интерфейсы поверх Step: движку всё равно,
// админ-API и UI показывают их по-разному. Побочные эффекты только у callout/llm.

2.2 Политика (YAML, git = источник истины)​

apiVersion: ypp/v1
kind: Policy
name: sovereign-pii-v2
attach: # И/ИЛИ; движок выбирает ВСЕ подходящие,
org: ["org-a"] # исполняет по приоритету (меньше — раньше),
key_labels: ["prod"] # deny раньше mask, enforce раньше shadow
model_patterns: ["*"]
endpoints: ["chat","messages","mcp.invoke"]
mode: enforce # shadow | enforce (org-kill-switch может принизить)
hooks: [pre_upstream, post_upstream, stream_final, tool_pre]
steps:
- id: natl_pii
detector: builtin/national-pii # RU/BR/IN/MY/AE/ZA/NG/KE/EG
on: "input()" # скрипт-условие; язык — OP-7 (Lua-спайк)
timeout: 50ms
on_error: fail_closed
- id: presidio
callout: http://presidio.internal:3000/analyze
ssrf: internal-allowlist # egress НЕ шире существующих allow-list'ов
timeout: 250ms
on_error: fail_open + flag
- id: pseudonymize
mutator: builtin/pseudonymize # {{YPP_1}}… — мапа умирает с запросом
when: "findings.any(f -> f.category in ['innsnils','pan','presidio.*'])"
reversible: request_only # мапа НЕ переживает запрос; в ответ
# клиенту подстановки НЕ возвращаются
- id: judge_toxicity
llm_judge: {model: "$(sovereign-classifier)", prompt_ref: "judges/toxicity@2"}
when: "steps.natl_pii.duration_ms < 40 && meta.org != 'trusted-int'"
parallel: [secret_scan] # группа исполняется concurrently
timeout: 2s
- id: secret_scan
detector: builtin/secrets
- id: deny_gate
decide: |
deny if findings.any(f -> f.severity == 'high')
mask if findings.any(f -> f.action == 'mask')
allow otherwise
- id: reroute_inregion
route_hint: in_region # стык с data-boundary (RM-63..66)
when: "findings.any(f -> f.category matches 'pii.*')"

Семантика исполнения (фиксируется контрактом и тестами):

  1. Композиция нескольких подходящих политик (решение owner 2026-10-06): исполняются ВСЕ; findings объединяются; вердикт = самый строгий (deny > mask > flag > allow); мутаторы применяются по приоритету вложения org → key → model. Deny — short-circuit.
  2. Шаги линейны, parallel: [...] — группа (join по завершению всех).
  3. when — скрипт-условие на контексте (findings, meta, steps-трейс); язык — спайк OP-7 (Lua-кандидат с челленджем); компиляция один раз при загрузке версии политики.
  4. timeout на шаг; on_error ∈ fail_closed | fail_open | fail_open+flag.
  5. Мутаторы применяются по порядку к Payload; детектор всегда видит ПОСЛЕДНИЙ мутированный текст (важно: pseudonymize до judge).
  6. Стриминг: stream_prefix — буфер 64 токена / 500ms по умолчанию (оба — параметры политики поверх конфиг-дефолта) → решение пустить/ оборвать; мутация чанков переносит мапу псевдонимов до stream_final (обратная подстановка в ответ клиенту запрещена — решение owner); полный агрегат проверяется на stream_final.
  7. Все решения пишутся в decision-log (§ OP-9): step-трейс, вердикт, хэши контента (контент — только в shadow/debug с retention).
  8. Режимы: политика shadow НИКОГДА не мутирует/не денит (переиспользуем shadow_compare для дифф-отчётов «что было бы»); org-kill-switch принижает всё в shadow одним флагом (механика orgcaps).
  9. Никаких per-request конфигов из SDK (осознанно: проблема Portkey — обход админ-политик); вложение только org/key-label/model/endpoint.

2.3 Отличия от проблем Portkey/Bifrost (по решению owner)​

  • Portkey: per-request config → у нас конфиг-политики только админские (git → reconciliation); «saved-only» режим — дефолт.
  • Bifrost: конфиг.json ↔ UI дрейф → у нас единственный источник истины git; UI-правка политики генерирует декларацию для PR + drift-детектор ругается на ручные DB-правки; reconciliation идемпотентен и версионируется.

3. Волны и карточки​

Параллелизм: 10+ лейнов в волне (NEXT-14 QUALITY_JOBS этому не мешает, а помогает). Каждый лейн = worktree imp-op-* + аренда в artifacts/imp/leases.md. Гейты — по AGENTS.md (make quality-changed QUALITY_EXECUTE=1 + manifest).

Волна OP-0 — фундамент (3 лейна, мержатся ДО старта остальных)​

  • OP-0a (L) pkg/pipeline ядро: типы, движок, YAML→пайплайн, таймауты, on_error, parallel-группы, trace. Чистые юнит-тесты + фаззинг таймаутов. Первый коммит — контракты из §2.1.
  • OP-0b (M) pkg/policystore + миграция 0008_policy_pipelines (обе директории; версии политик, attachment, mode, git-sha, label) + admin CRUD + version-key инвалидация (механика ruleInv/OrgCredsVersionStore).
  • OP-0c (=NEXT-14 finish, M) завершение параллельных гейтов: ядро уже на мастере (bounded scheduler, классы HEAVY/LIGHT/DOCKER, --jobs, Makefile QUALITY_JOBS — из babedfa1); остаток: (а) тесты планировщика в scripts/quality/test_quality.py — детерминированные фейковые гейты: heavy никогда не пересекаются, docker — по одному lane, light заполняют до jobs, lock-порядок go→docker, агрегация ошибок при параллельных фейлах, manifest корректен per-gate, dry-run не зависит от jobs; регрессия jobs=1 == sequential reference (golden); (б) CI-адопция: quality.yml (master full) и ci.yml (quality-changed) с QUALITY_JOBS≥2, evidence-upload не меняется; (в) README scripts/quality/README.md: раздел Parallel gates — QUALITY_JOBS, таблица resource-классов, рекомендация QUALITY_JOBS=3 для локальных прогонов волн OP, честное предупреждение «heavy остаются последовательными by design». AC: unit-тесты зелёные; локальный make quality-full QUALITY_JOBS=2 зелёный и быстрее jobs=1 по wall-clock (зафиксировать фактические времена, без выдуманных процентов); CI-джоба зелёная с jobs>1. Владение: scripts/quality/{test_quality.py,README.md}, .github/workflows/{ci,quality}.yml\; quality.py — только если тестам нужен seam (предпочтительно без правок прод-кода).

Волна OP-1 — guardrails-движок (10 лейнов)​

  • OP-1 (M) builtins-детекторы: портировка guardhooks (RU+9 юрисдикций, секреты, инъекции) как шаги + counters (word/char/sentence), contains, JSON-schema/keys, code-detect, URL-check, offline-language, model-whitelist, metadata-required.
  • OP-2 (M) callout-шаги: HTTP-детекторы/мутаторы; ssrf.NewGuardedDialer, пер-эндпоинт breaker, таймауты, singleflight, fail-режимы; e2e против testcontainers-мока детектора.
  • OP-3 (M) llm-judge: шаг через upstream-клиент шлюза; judge-промпт = версионированный ресурс (стык с OP-11); оффлайн-режим = суверенные модели; метрики качества судьи (консистентность на фикстурах).
  • OP-4 (L) стриминг: stream_prefix-буфер (дефолт 64 токена / 500ms, параметры политики), мутация чанков с переносом мапы, stream_final-агрегат (переиспользовать аккумулятор W-STCACHE); SSE-совместимость; TTFB-регресс ≤ буферного таймаута только при наличии префикс-политики.
  • OP-5 (L) мутаторы: redact/pseudonymize обратимые (мапа enc:, TTL=запрос), header/model rewrite, partials-подстановка (контракт от OP-11).
  • OP-6 (M) tool-guardrails: schema/regex/deny на MCP args (toolpolicy + mcpagg invoke-path), tool_result-постчеки; НЕ зависит от MC-4.
  • OP-7 (L, спайк+решение) скрипт-движок условий. Кандидат owner: Lua (gopher-lua, pure Go) — «но почеленджи»: спайк обязан попробовать сломать выбор и сравнить с челленджерами: (а) Lua-sandbox: вырезанные os/io/debug, бюджет инструкций (debug.sethook), memory-cap, фаззинг (go-fuzz-корпус условий), попытки escape; (б) челленджер Starlark-go (детерминизм + step-limits из коробки, индустри- альный прецедент Bazel) и fallback expr-lang (минимальный, без циклов); (в) критерии: p95 условия ≤ 50µs на типичном when, DoS-стойкость, maintenance-здоровье зависимости, читаемость для аудита. Решение owner по данным спайка; движок за интерфейсом pkg/pipeline/script, смена языка не ломает политики (YAML-модель не меняется).
  • OP-8 (L) gateway-middleware: единая точка прогона на pre/post/stream/ tool-хуках; org-kill-switch; метрики gateway_policy_{steps,denies,masks, duration}{policy,step,outcome}; решения в event payload + request_logs.
  • OP-9 (M) decision-log + observability: отдельная таблица 0009_policy_decisions (шаг-трейс, вердикт, хэши, policy_id+версия; retention 90d — решение owner; лёгкий джойн с request_logs по request_id), даш-страница Shadow→Enforce с диффами (переиспользовать shadow_compare), алерт-правила.
  • OP-10 (M) config-as-code: YAML в git → reconciliation в policystore; drift-детектор; UI-правка → декларация в PR; семантика §2.3; поставляет sovereign-default policy pack (нац. PII + секреты + injection, все встроенные детекторы) — в репо, но ВЫКЛЮЧЕН по умолчанию (решение owner 2026-10-06); включение = одна строка reconciliation.

Волна OP-2 — parity-поверхности (13 лейнов)​

  • OP-11 (L) prompt studio backend: prompt/version/label/partial; рендер prompt_id на запросе (модификатор-мутатор); label→ключ/канарей-привязка; миграция 0010_prompt_studio.
  • OP-12 (L) prompt studio UI: library/playground/versioning/partials/ sharing; i18n 8 локалей; e2e (astra). Полный Portkey-parity по решению owner.
  • OP-13 (M) SCIM 2.0: /scim/v2 Users/Groups → memberships; contract-тесты Okta/Entra-профилей; SSO-пайплайн уже есть (OIDC).
  • OP-14 (M) SAML 2.0: ACS + metadata (библиотека — §9); федерация с SCIM.
  • OP-15 (M) JWT→gateway-ключ: JWKS, claims→ключ, сервис-аккаунты, ротация без даунтайма (по образцу MC-version-ключей).
  • OP-16 (M) OTel GenAI semconv: экспорт request-логов OTLP/HTTP (пакет pkg/tracing уже вшит), Langfuse-совместимость, сэмплирование.
  • OP-17 (M) log-export S3/GCS (loggerd outbox→sink, retention) + spend-capture-rate отчёт (сверка с инвойсами провайдеров, CSV-импорт).
  • OP-18 (M) routing parity: пер-провайдерные breakers (дефект W-VER: один глобальный), cooldowns, weighted-LB равных моделей, canary-роллаут моделей на базе shadow-инфраструктуры.
  • OP-19 (M) fair-share: ITPM/OTPM, приоритеты, командная справедливость (RM-70/71/72 в скоупе orgcaps-паттернов).
  • OP-20 (S) pricing day-0: импорт прайсинга из OSS-датасетов (Portkey models / LiteLLM cost map), недельный job, override-семантика, дифф-отчёт.
  • OP-26 (L) native MCP-эндпоинт (решение owner 2026-10-06, бывш. RM-100/101): (а) tools/list-каталог на шлюзе — гранты ключа × tool-гварды OP-6 видны клиенту как отфильтрованный список; (б) Streamable HTTP MCP-сервер на шлюзе (клиенты Claude Desktop/Cursor подключаются напрямую): auth — агент-ключи + policy-pipeline хуки tool_pre/tool_post на каждом вызове, сессии, breadcrumbs в decision-log; серверы-апстримы — через существующий mcpagg-резолвер кредов MC-1..3. Kong/Cloudflare/Portkey уже поставили — закрываем разрыв. Новый пакет pkg/mcpserver/**.
  • OP-21 (=MC-4) (M) дашборд MCP-credentials + i18n + e2e (карточка из MCP-плана; ветка ожидает — контракты MC-1..3 уже в master).
  • OP-22 (=MC-5+D8+D10) (M) доки: R4-переписывание под pipeline, auth- таблица MCP, CONTRACT.md (новые эндпоинты политик/промптов), intro, agent-governance, OpenAPI regen (gen_contracts).

Волна OP-3 — верификация (3 лейна)​

  • OP-23 (M) внутренний benchmark-стенд: k6-профили (latency/throughput с включённым pipeline разной сложности), nightly CI-профиль, Grafana-борд; публикация цифр — owner-gated (по решению: НЕ публикуем).
  • OP-24 (S) security posture: OWASP LLM Top-10 (2026) mapping-док (как LiteLLM), обновление threat-model (R4 → компенсирующие контроли pipeline), security-audit.md.
  • OP-25 (L) приёмка (W-VER-стиль): e2e «YAML-политика → мутация+денай → стриминг-мутация → decision-log», RLS двух org, дамп без plaintext, shadow→enforce роллаут, chaos (callout-детектор падает → fail-open/closed).

4. Конфликт-карта (владение файлами)​

Файл/каталогЛейн
pkg/pipeline/** (ядро)OP-0a
pkg/pipeline/script/**OP-7 (спайк Lua/Starlark/expr)
pkg/pipeline/builtins/**OP-1, OP-5 (мутаторы отдельно: builtins/mutators)
pkg/pipeline/callout/**OP-2
pkg/pipeline/llmjudge/**OP-3
pkg/pipeline/streaming/**OP-4
pkg/policystore/**, миграции 0008/0009OP-0b (0008), OP-9 (0009)
pkg/gateway/gateway_mw_policy.go (новый) + точки вызоваOP-8 — ЕДИНСТВЕННЫЙ писатель gateway-интеграции
pkg/gateway/stream.go, chat.goOP-8 (хук-строки по согласованию с оркестратором)
pkg/toolpolicy/, pkg/mcpagg/OP-6
pkg/mcpserver/** (+ точки монтирования на шлюзе)OP-26
scripts/quality/{test_quality.py,README.md}, .github/workflows/{ci,quality}.ymlOP-0c (=NEXT-14 finish)
pkg/tracing/**, services/loggerd (export)OP-16, OP-17
pkg/circuit/**, pkg/gateway (breakers)OP-18
pkg/router/** (fair-share)OP-19
pkg/pricing/**OP-20
pkg/adminstore/promptstudio.go, миграция 0010OP-11
web/dashboard/**OP-12 (prompt UI), OP-21 (MCP creds), OP-9 (decision-страница) — разные страницы; i18n/golden — union на merge
services/admin/handlers/* (новые файлы политик/промптов/SCIM)OP-0b, OP-11, OP-13 — разные файлы; router*.go mount-строки — минимальные аддитивные
docs/, web/site/OP-22 (сайдбар/llms — как в DOCS-плане)

Миграции: 0008 → OP-0b, 0009 → OP-9, 0010 → OP-11, 0011 → OP-6 (занят, tool-guard rules). Следующий свободный — 0012. Никто другой миграций не создаёт. Makefile — только OP-0b (reconcile-таргет) и OP-23 (bench-таргет).

5. Приёмка и гейты​

  • Каждая карточка: AC в карточке + make quality-changed QUALITY_EXECUTE=1
    • manifest к handoff; миграции up/down на testcontainers; RLS-тест двух org для всего оргового; дамп-греп без plaintext для всего, что трогает секреты.
  • Волна целиком: make quality-full + сводка красных/скипов оркестратором.
  • Финал OP-25: матрица сценарий/вердикт/артефакт (формат wver-report.md).

6. Решения owner (закрыты 2026-10-06) и оставшиеся вопросы​

Закрыто (внесено в карточки):

  1. Композиция политик: union + most-restrictive; мутаторы по приоритету org → key → model (§2.2 п.0).
  2. Псевдонимизация: мапа умирает с запросом; обратной подстановки в ответ клиенту НЕТ (§2.2 п.5).
  3. Стрим-буфер: дефолт 64 токена / 500ms, параметры политики (OP-4).
  4. Скрипт-движок: кандидат owner — Lua («но почеленджи»): OP-7 = спайк с челленджем (sandbox/DoS/фаззинг) против Starlark-go и expr-fallback; финальный выбор owner по данным спайка.
  5. SAML: crewjam/saml (OP-14).
  6. Native MCP-эндпоинт: ДА — OP-26 в волне OP-2.
  7. Decision-log: отдельная таблица 0009, retention 90d (OP-9).
  8. Дефолт-пак sovereign-default: поставляется ВЫКЛЮЧЕННЫМ (OP-10).

Осталось открытым:

  1. OP-7 финальный выбор языка — по итогам спайка (блокирует только миграцию условий в прод-политики; ядро OP-0a не блокирует).
  2. WASM-плагины как тип шага — фаза 2, по умолчанию отложено (возразить — в любом случае после OP-7).
  3. OP-11 sharing-модель промптов между org (дефолт по умолчанию: org-scoped + явные share-гранты, как workspaces у Portkey) — подтвердить при ревью контракта OP-11.

7. Явные не-цели​

  • Облачные guardrail-сканеры (Lakera/Aim/Azure Content Safety…) как первые-
  • классные адаптеры — осознанно (суверенность); любой может подключиться через callout-шаг OP-2, но в дашборде/доках не продвигаем.
  • Per-request SDK-конфиги (Portkey-стиль) — см. §2.3.
  • Files/batches/fine-tuning/image/TTS-эндпоинты — вне программы.
  • Bifrost Edge / MDM-агент — вне программы.
  • Публикация benchmark-цифр — owner-gated (стенд внутренний).

8. Риски​

  • OP-8 (gateway-хуки) — горячие файлы шлюза; строго после OP-0a+b+1..7, по одной строке интеграции на хук, согласование с оркестратором на merge.
  • expr-выражения = поверхность атаки: компиляция once + жёсткие лимиты (время/память), фаззинг в OP-7.
  • Стриминг-мутация меняет байты ответа: SSE-клиенты и RT-05 кэш должны видеть КОНСИСТЕНТНУЮ картину (мутация до кэш-записи) — AC в OP-4.
  • Судья на собственном шлюзе = рекурсия: judge-вызовы исключаются из pipeline (метка judge:true в Meta), иначе петля.
  • NEXT-14 (параллельные гейты): ядро уже на мастере (чужая сессия, babedfa1); остаток ПОГЛОЩЁН этой программой как OP-0c и обязан смержиться до полной ширины волны OP-1 — иначе 10+ лейнов упрутся в последовательные гейты. Дальнейшие изменения quality.py чужой сессией координировать через аренду в artifacts/imp/leases.md, не дублировать.

9. Owner-решения, принятые при составлении​

(из сессии 2026-10-06) Детекторы: Presidio/self-host + LLM-judge + HTTP-callout (без облачных). Config-as-code: админ-уровень, git=источник истины, проблемы Portkey/Bifrost учтены (§2.3). Prompt management: полный Portkey-parity. Identity: SCIM + JWT→ключ + SAML. Benchmark: только внутренний стенд. Параллелизм: 10+ лейнов в волне.

Дополнено 2026-10-06 (вторая сессия): Lua-кандидат с челленджем для условий (OP-7 спайк); union+most-restrictive композиция; мапа псевдонимов умирает с запросом, без подстановки в ответ; стрим-буфер 64т/500ms; crewjam/saml; native MCP OP-26; decision-log 90d; sovereign-default pack выключен; NEXT-14 остаток = OP-0c.