План «Переиграть»: Policy Pipeline + паритет с Portkey / LiteLLM / Bifrost
Дата: 2026-10-06. Статус: proposal (ждёт owner-решений §9). Поверхность: pkg/pipeline (новый), pkg/policystore (новый), gateway-хуки, admin API, дашборд, prompt studio, identity (SCIM/SAML/JWT), observability export, routing, pricing.
Программный префикс карточек: OP-. Поглощает остатки предыдущих планов: MC-4/MC-5 (→ OP-21/OP-22, из MCP-CREDENTIALS-PLAN-2026-10-05), D8/D10 (→ OP-22, из DOCS-UPDATE-PLAN-2026-10-05). MC-6 — owner-gated, не планируется.
1. Контекст и источники
Конкурентная база (публичные доки, проверено 2026-10-06):
- Portkey / Prisma AIRS (docs.portkey.ai, 765 стр.): guardrails = input/output hooks, ~20 partner-сканеров + BASIC-детерминированные (regex, счётчики, JSON-schema/keys, code-detect, model whitelist, metadata enforcement, JWT validator, webhook BYO) + PRO LLM-чеки (moderation, language, PII, gibberish); конфиги на запрос (SDK-config), conditional routing, canary; prompt studio (версии/labels/partials/playground); model catalog + прайсинг-БД 2300+ моделей; SCIM/SAML/JWT, KMS, secret references, OTel-экспорт; MCP-гуарды на tool-calls.
- LiteLLM (docs.litellm.ai): guardrail policies + Policy Flow Builder (условные пайплайны!), templates, tag-based attachment, team-BYO с админ- аппрувом, LB гвардов, testing playground, MCP-гуарды; огромная identity/ budget-поверхность; Lens (agent traces); spend capture rate vs инвойсов.
- Bifrost (docs.getbifrost.ai): CEL-alerting, config.json reconciliation,
prompt deployments (версии+CEL+веса), guardrails 13 провайдеров + custom regex
- LLM-judge + redaction modes (runtime/logs/traces), плагины Go/WASM, Edge MDM, 11 µs overhead.
Внутреннее: конкурентный анализ от 2026-10-02 (§9 IMPROVEMENT_RESEARCH —
архивная ветка archive/pre-squash-2026-10-04:docs/plans/) остаётся валидным;
карточки RM-62..68/70..73/100..104/106 из старого реестра поглощаются ниже.
Текущее состояние (master 8331dae0 после беты): OTel-трейсинг вшит (services/run/gateway.go:65), shadow-инфраструктура (pkg/shadow, pkg/adminstore/shadow_compare.go), guardhooks = детерминированные offline- детекторы RU+9 юрисдикций (вход, guardMode off по умолчанию), toolpolicy/ toolexec (SSRF-гуарды), evalgate, orgcaps (fail-closed RPM/TPM + shadow-режим), MC-1..3 (MCP-креды) смержены. Глобальный circuit breaker — один на всё (дефект волны W-VER, чинится в OP-18). Параллельные гейты NEXT-14: ядро (bounded scheduler + --jobs) в master, тесты/CI/доки — нет (закрывается OP-0c).
2. Архитектурное ядро: Yabanin Policy Pipeline (YPP)
Цель — не «чеклист гвардов», а программируемый конвейер политики: декларативные YAML-правила, внешние HTTP-сервисы, мутаторы в цепочке, условное ветвление. Порткио умеет чеки; LiteLLM — Flow Builder только для детекторов; мутаторов-в-цепочке с ветвлением нет ни у кого. Это и есть фича для «переигрывания»: policy-as-pipeline на суверенном рантайме.
2.1 Слои и интерфейсы (разделение — принципиально)
pkg/pipeline — ЧИСТОЕ ядро: типы + движок. Без DB/HTTP/логов side-effect.
pkg/pipeline/builtins — детерминированные шаги (портировка guardhooks + новые).
pkg/pipeline/callout — HTTP-шаги (SSRF-guard, breaker, таймауты).
pkg/pipeline/llmjudge — судья через собственный upstream-клиент шлюза.
pkg/pipeline/script — скриптовый движок условий (OP-7: Lua-спайк с
челленджем; sandbox, бюджет инструкций, кэш).
pkg/policystore — версии политик, attachment, reconciliation, admin API.
gateway (мiddleware) — ЕДИНАЯ точка прогона: pre/post/stream/tool-хуки.
Контракты ядра (первый коммит волны OP-0, по аналогии с W-BYOK-DB):
type Payload struct { // единая модель для всех хуков
Kind PayloadKind // request | response | stream_prefix | stream_final | tool_args | tool_result
Endpoint string // chat | messages | responses | embeddings | mcp.invoke | ...
Messages []Message; Body []byte; StreamChunk string
Meta *RequestMeta // org, key, model, provider, labels, tags
}
type Finding struct{ Step, Category, Severity, Span, Evidence string; Action Action }
type Action string // deny | mask | flag | allow
type Result struct {
Verdict Action // композиция: deny > mask > flag > allow
Findings []Finding
Mutated *Payload // nil = без изменений
Trace []StepTrace // step, duration, outcome, error — всегда
}
type Step interface {
Name() string
Run(ctx context.Context, p *Pipeline, in *Payload, out *Result) error
}
// Detector и Mutator — УЗКИЕ интерфейсы поверх Step: движку всё равно,
// админ-API и UI показывают их по-разному. Побочные эффекты только у callout/llm.
2.2 Политика (YAML, git = источник истины)
apiVersion: ypp/v1
kind: Policy
name: sovereign-pii-v2
attach: # И/ИЛИ; движок выбирает ВСЕ подходящие,
org: ["org-a"] # исполняет по приоритету (меньше — раньше),
key_labels: ["prod"] # deny раньше mask, enforce раньше shadow
model_patterns: ["*"]
endpoints: ["chat","messages","mcp.invoke"]
mode: enforce # shadow | enforce (org-kill-switch может принизить)
hooks: [pre_upstream, post_upstream, stream_final, tool_pre]
steps:
- id: natl_pii
detector: builtin/national-pii # RU/BR/IN/MY/AE/ZA/NG/KE/EG
on: "input()" # скрипт-условие; язык — OP-7 (Lua-спайк)
timeout: 50ms
on_error: fail_closed
- id: presidio
callout: http://presidio.internal:3000/analyze
ssrf: internal-allowlist # egress НЕ шире существующих allow-list'ов
timeout: 250ms
on_error: fail_open + flag
- id: pseudonymize
mutator: builtin/pseudonymize # {{YPP_1}}… — мапа умирает с запросом
when: "findings.any(f -> f.category in ['innsnils','pan','presidio.*'])"
reversible: request_only # мапа НЕ переживает запрос; в ответ
# клиенту подстановки НЕ возвра щаются
- id: judge_toxicity
llm_judge: {model: "$(sovereign-classifier)", prompt_ref: "judges/toxicity@2"}
when: "steps.natl_pii.duration_ms < 40 && meta.org != 'trusted-int'"
parallel: [secret_scan] # группа исполняется concurrently
timeout: 2s
- id: secret_scan
detector: builtin/secrets
- id: deny_gate
decide: |
deny if findings.any(f -> f.severity == 'high')
mask if findings.any(f -> f.action == 'mask')
allow otherwise
- id: reroute_inregion
route_hint: in_region # стык с data-boundary (RM-63..66)
when: "findings.any(f -> f.category matches 'pii.*')"
Семантика исполнения (фиксируется контрактом и тестами):
- Композиция нескольких подходящих политик (решение owner 2026-10-06): исполняют ся ВСЕ; findings объединяются; вердикт = самый строгий (deny > mask > flag > allow); мутаторы применяются по приоритету вложения org → key → model. Deny — short-circuit.
- Шаги линейны,
parallel: [...]— группа (join по завершению всех). when— скрипт-условие на контексте (findings, meta, steps-трейс); язык — спайк OP-7 (Lua-кандидат с челленджем); компиляция один раз при загрузке версии политики.timeoutна шаг;on_error∈ fail_closed | fail_open | fail_open+flag.- Мутаторы применяются по порядку к Payload; детектор всегда видит ПОСЛЕДНИЙ мутированный текст (важно: pseudonymize до judge).
- Стриминг:
stream_prefix— буфер 64 токена / 500ms по умолчанию (оба — параметры политики поверх конфиг-дефолта) → решение пустить/ оборвать; мутация чанков переносит мапу псевдонимов доstream_final(обратная подстановка в ответ клиенту запрещена — решение owner); полный агрегат проверяется наstream_final. - Все решения пишутся в decision-log (§ OP-9): step-трейс, вердикт, хэши контента (контент — только в shadow/debug с retention).
- Режимы: политика
shadowНИКОГДА не мутирует/не денит (переиспользуем shadow_compare для дифф-отчётов «что был о бы»); org-kill-switch принижает всё в shadow одним флагом (механика orgcaps). - Никаких per-request конфигов из SDK (осознанно: проблема Portkey — обход админ-политик); вложение только org/key-label/model/endpoint.
2.3 Отличия от проблем Portkey/Bifrost (по решению owner)
- Portkey: per-request config → у нас конфиг-политики только админские (git → reconciliation); «saved-only» режим — дефолт.
- Bifrost: конфиг.json ↔ UI дрейф → у нас единственный источник истины git; UI-правка политики генерирует декларацию для PR + drift-детектор ругается на ручные DB-правки; reconciliation идемпотентен и версионируется.
3. Волны и карточки
Параллелизм: 10+ лейнов в волне (NEXT-14 QUALITY_JOBS этому не мешает, а
помогает). Каждый лейн = worktree imp-op-* + аренда в artifacts/imp/leases.md.
Гейты — по AGENTS.md (make quality-changed QUALITY_EXECUTE=1 + manifest).
Волна OP-0 — фундамент (3 лейна, мержатся ДО старта остальных)
- OP-0a (L)
pkg/pipelineядро: типы, движок, YAML→пайплайн, таймауты, on_error, parallel-группы, trace. Чистые юнит-тесты + фаззинг таймаутов. Первый коммит — контракты из §2.1. - OP-0b (M)
pkg/policystore+ миграция 0008_policy_pipelines (обе директории; версии политик, attachment, mode, git-sha, label) + admin CRUD + version-key инвалидация (механика ruleInv/OrgCredsVersionStore). - OP-0c (=NEXT-14 finish, M) завершение параллельных гейтов: ядро уже на
мастере (bounded scheduler, классы HEAVY/LIGHT/DOCKER,
--jobs, Makefile QUALITY_JOBS — из babedfa1); остаток: (а) тесты планировщика в scripts/quality/test_quality.py — детерминированные фейковые гейты: heavy никогда не пересекаются, docker — по одному lane, light заполняют до jobs, lock-порядок go→docker, агрегация ошибок при параллельных фейлах, manifest корректен per-gate, dry-run не зависит от jobs; регрессия jobs=1 == sequential reference (golden); (б) CI-адопция: quality.yml (master full) и ci.yml (quality-changed) с QUALITY_JOBS≥2, evidence-upload не меняется; (в) README scripts/quality/README.md: раздел Parallel gates — QUALITY_JOBS, таблица resource-классов, рекомендация QUALITY_JOBS=3 для локальных прогонов волн OP, честное предупреждение «heavy остаются последовательными by design». AC: unit-тесты зелёные; локальныйmake quality-full QUALITY_JOBS=2зелёный и быстрее jobs=1 по wall-clock (зафиксировать фактические времена, без выдуманных процентов); CI-джоба зелёная с jobs>1. Владение: scripts/quality/{test_quality.py,README.md}, .github/workflows/{ci,quality}.yml\; quality.py — только если тестам нужен seam (предпочтительно без правок прод-кода).
Волна OP-1 — guardrails-движок (10 лейнов)
- OP-1 (M) builtins-детекторы: портировка guardhooks (RU+9 юрисдикций, секреты, инъекции) как шаги + counters (word/char/sentence), contains, JSON-schema/keys, code-detect, URL-check, offline-language, model-whitelist, metadata-required.
- OP-2 (M) callout-шаги: HTTP-детекторы/мутаторы; ssrf.NewGuardedDialer, пер-эндпоинт breaker, таймауты, singleflight, fail-режимы; e2e против testcontainers-мока детектора.
- OP-3 (M) llm-judge: шаг через upstream-клиент шлюза; judge-промпт = версионированный ресурс (стык с OP-11); оффлайн-режим = суверенные модели; метрики качества судьи (консистентность на фикстурах).
- OP-4 (L) стриминг: stream_prefix-буфер (дефолт 64 токена / 500ms, параметры политики), мутация чанков с переносом мапы, stream_final-агрегат (переиспользовать аккумулятор W-STCACHE); SSE-совместимость; TTFB-регресс ≤ буферного таймаута только при наличии префикс-политики.
- OP-5 (L) мутаторы: redact/pseudonymize обратимые (мапа enc:, TTL=запрос), header/model rewrite, partials-подстановка (контракт от OP-11).
- OP-6 (M) tool-guardrails: schema/regex/deny на MCP args (toolpolicy + mcpagg invoke-path), tool_result-постчеки; НЕ зависит от MC-4.
- OP-7 (L, спайк+решение) скрипт-движок условий. Кандидат owner: Lua
(gopher-lua, pure Go) — «но почеленджи»: спайк обязан попробовать сломать
выбор и сравнить с челленджерами:
(а) Lua-sandbox: вырезанные os/io/debug, бюджет инструкций (debug.sethook),
memory-cap, фаззинг (go-fuzz-корпус условий), попытки escape;
(б) челленджер Starlark-go (детерминизм + step-limits из коробки, индустри-
альный прецедент Bazel) и fallback expr-lang (минимальный, без циклов);
(в) критерии: p95 условия ≤ 50µs на типичном
when, DoS-стойкость, maintenance-здоровье зависимости, читаемость для аудита. Решение owner по данным спайка; движок за интерфейсом pkg/pipeline/script, смена языка не ломает политики (YAML-модель не меняется). - OP-8 (L) gateway-middleware: единая точка прогона на pre/post/stream/
tool-хуках; org-kill-switch; метрики
gateway_policy_{steps,denies,masks, duration}{policy,step,outcome}; решения в event payload + request_logs. - OP-9 (M) decision-log + observability: отдельная таблица 0009_policy_decisions (шаг-трейс, вердикт, хэши, policy_id+версия; retention 90d — решение owner; лёгкий джойн с request_logs по request_id), даш-страница Shadow→Enforce с диффами (переиспользовать shadow_compare), алерт-правила.
- OP-10 (M) config-as-code: YAML в git → reconciliation в policystore; drift-детектор; UI-правка → декларация в PR; семантика §2.3; поставляет sovereign-default policy pack (нац. PII + секреты + injection, все встроенные детекторы) — в репо, но ВЫКЛЮЧЕН по умолчанию (решение owner 2026-10-06); включение = одна строка reconciliation.
Волна OP-2 — parity-поверхности (13 лейнов)
- OP-11 (L) prompt studio backend: prompt/version/label/partial; рендер
prompt_idна запросе (модификатор-мутатор); label→ключ/канарей-привязка; миграция 0010_prompt_studio. - OP-12 (L) prompt studio UI: library/playground/versioning/partials/ sharing; i18n 8 локалей; e2e (astra). Полный Portkey-parity по решению owner.
- OP-13 (M) SCIM 2.0: /scim/v2 Users/Groups → memberships; contract-тесты Okta/Entra-профилей; SSO-пайплайн уже есть (OIDC).
- OP-14 (M) SAML 2.0: ACS + metadata (библиотека — §9); федерация с SCIM.
- OP-15 (M) JWT→gateway-ключ: JWKS, claims→ключ, сервис-аккаунты, ротация без даунтайма (по образцу MC-version-ключей).
- OP-16 (M) OTel GenAI semconv: экспорт request-логов OTLP/HTTP (пакет pkg/tracing уже вшит), Langfuse-совместимость, сэмплирование.
- OP-17 (M) log-export S3/GCS (loggerd outbox→sink, retention) + spend-capture-rate отчёт (сверка с инвойсами провайдеров, CSV-импорт).
- OP-18 (M) routing parity: пер-провайдерные breakers (дефект W-VER: один глобальный), cooldowns, weighted-LB равных моделей, canary-роллаут моделей на базе shadow-инфраструктуры.
- OP-19 (M) fair-share: ITPM/OTPM, приоритеты, командная справедливость (RM-70/71/72 в скоупе orgcaps-паттернов).
- OP-20 (S) pricing day-0: импорт прайсинга из OSS-датасетов (Portkey models / LiteLLM cost map), недельный job, override-семантика, дифф-отчёт.
- OP-26 (L) native MCP-эндпоинт (решение owner 2026-10-06, бывш. RM-100/101): (а) tools/list-каталог на шлюзе — гранты ключа × tool-гва рды OP-6 видны клиенту как отфильтрованный список; (б) Streamable HTTP MCP-сервер на шлюзе (клиенты Claude Desktop/Cursor подключаются напрямую): auth — агент-ключи + policy-pipeline хуки tool_pre/tool_post на каждом вызове, сессии, breadcrumbs в decision-log; серверы-апстримы — через существующий mcpagg-резолвер кредов MC-1..3. Kong/Cloudflare/Portkey уже поставили — закрываем разрыв. Новый пакет pkg/mcpserver/**.
- OP-21 (=MC-4) (M) дашборд MCP-credentials + i18n + e2e (карточка из MCP-плана; ветка ожидает — контракты MC-1..3 уже в master).
- OP-22 (=MC-5+D8+D10) (M) доки: R4-переписывание под pipeline, auth- таблица MCP, CONTRACT.md (новые эндпоинты политик/промптов), intro, agent-governance, OpenAPI regen (gen_contracts).
Волна OP-3 — верификация (3 лейна)
- OP-23 (M) внутренний benchmark-стенд: k6-профили (latency/throughput с включённым pipeline разной сложности), nightly CI-профиль, Grafana-борд; публикация цифр — owner-gated (по решению: НЕ публикуем).
- OP-24 (S) security posture: OWASP LLM Top-10 (2026) mapping-док (как LiteLLM), обновление threat-model (R4 → компенсирующие контроли pipeline), security-audit.md.
- OP-25 (L) приёмка (W-VER-стиль): e2e «YAML-политика → мутация+денай → стриминг-мутация → decision-log», RLS двух org, дамп без plaintext, shadow→enforce роллаут, chaos (callout-детектор падает → fail-open/closed).
4. Конфликт-карта (владение файлами)
| Файл/каталог | Лейн |
|---|---|
| pkg/pipeline/** (ядро) | OP-0a |
| pkg/pipeline/script/** | OP-7 (спайк Lua/Starlark/expr) |
| pkg/pipeline/builtins/** | OP-1, OP-5 (мутаторы отдельно: builtins/mutators) |
| pkg/pipeline/callout/** | OP-2 |
| pkg/pipeline/llmjudge/** | OP-3 |
| pkg/pipeline/streaming/** | OP-4 |
| pkg/policystore/**, миграции 0008/0009 | OP-0b (0008), OP-9 (0009) |
| pkg/gateway/gateway_mw_policy.go (новый) + точки вызова | OP-8 — ЕДИНСТВЕННЫЙ писатель gateway-интеграции |
| pkg/gateway/stream.go, chat.go | OP-8 (хук-строки по согласованию с оркестратором) |
| pkg/toolpolicy/, pkg/mcpagg/ | OP-6 |
| pkg/mcpserver/** (+ точки монтирования на шлюзе) | OP-26 |
| scripts/quality/{test_quality.py,README.md}, .github/workflows/{ci,quality}.yml | OP-0c (=NEXT-14 finish) |
| pkg/tracing/**, services/loggerd (export) | OP-16, OP-17 |
| pkg/circuit/**, pkg/gateway (breakers) | OP-18 |
| pkg/router/** (fair-share) | OP-19 |
| pkg/pricing/** | OP-20 |
| pkg/adminstore/promptstudio.go, миграция 0010 | OP-11 |
| web/dashboard/** | OP-12 (prompt UI), OP-21 (MCP creds), OP-9 (decision-страница) — разные страницы; i18n/golden — union на merge |
| services/admin/handlers/* (новые файлы политик/промптов/SCIM) | OP-0b, OP-11, OP-13 — разные файлы; router*.go mount-строки — минимальные аддитивные |
| docs/, web/site/ | OP-22 (сайдбар/llms — как в DOCS-плане) |
Миграции: 0008 → OP-0b, 0009 → OP-9, 0010 → OP-11, 0011 → OP-6 (занят, tool-guard rules). Следующий свободный — 0012. Никто другой миграций не создаёт. Makefile — только OP-0b (reconcile-таргет) и OP-23 (bench-таргет).
5. Приёмка и гейты
- Каждая карточка: AC в карточке +
make quality-changed QUALITY_EXECUTE=1- manifest к handoff; миграции up/down на testcontainers; RLS-тест двух org для всего оргового; дамп-греп без plaintext для всего, что трогает секреты.
- В олна целиком:
make quality-full+ сводка красных/скипов оркестратором. - Финал OP-25: матрица сценарий/вердикт/артефакт (формат wver-report.md).
6. Решения owner (закрыты 2026-10-06) и оставшиеся вопросы
Закрыто (внесено в карточки):
- Композиция политик: union + most-restrictive; мутаторы по приоритету org → key → model (§2.2 п.0).
- Псевдонимизация: мапа умирает с запросом; обратной подстановки в ответ клиенту НЕТ (§2.2 п.5).
- Стрим-буфер: дефолт 64 токена / 500ms, параметры политики (OP-4).
- Скрипт-движок: кандидат owner — Lua («но почеленджи»): OP-7 = спайк с челленджем (sandbox/DoS/фаззинг) против Starlark-go и expr-fallback; финальный выбор owner по данным спайка.
- SAML: crewjam/saml (OP-14).
- Native MCP-эндпоинт: ДА — OP-26 в волне OP-2.
- Decision-log: отдельная таблица 0009, retention 90d (OP-9).
- Дефолт-пак sovereign-default: поставляется ВЫКЛЮЧЕННЫМ (OP-10).
Осталось открытым:
- OP-7 финальный выбор языка — по итогам спайка (блокирует только миграцию условий в прод-политики; ядро OP-0a не блокирует).
- WASM-плагины как тип шага — фаза 2, по умолчанию отложено (возразить — в любом случае после OP-7).
- OP-11 sharing-модель промптов между org (дефолт по умолчанию: org-scoped + явные share-гранты, как workspaces у Portkey) — подтвердить при ревью контракта OP-11.
7. Явные не-цели
- Облачные guardrail-сканеры (Lakera/Aim/Azure Content Safety…) как первые-
- классные адаптеры — осознанно (суверенность); любой может подключиться через callout-шаг OP-2, но в дашборде/доках не продвигаем.
- Per-request SDK-конфиги (Portkey-стиль) — см. §2.3.
- Files/batches/fine-tuning/image/TTS-эндпоинты — вне программы.
- Bifrost Edge / MDM-агент — вне программы.
- Публикация benchmark-цифр — owner-gated (стенд внутренний).
8. Риски
- OP-8 (gateway-хуки) — горячие файлы шлюза; строго после OP-0a+b+1..7, по одной строке интеграции на хук, согласование с оркестратором на merge.
- expr-выражения = поверхность атаки: компиляция once + жёсткие лимиты (время/память), фаззинг в OP-7.
- Стриминг-мутация меняет байты ответа: SSE-клиенты и RT-05 кэш должны видеть КОНСИСТЕНТНУЮ картину (мутация до кэш-записи) — AC в OP-4.
- Судья на собственном шлюзе = рекурсия: judge-вызовы исключаются из pipeline (метка judge:true в Meta), иначе петля.
- NEXT-14 (параллельные гейты): ядро уже на мастере (чужая сессия, babedfa1); остаток ПОГЛОЩЁН этой программой как OP-0c и обязан смержиться до полной ширины волны OP-1 — иначе 10+ лейнов упрутся в последовательные гейты. Дальнейшие изменения quality.py чужой сессией координировать через аренду в artifacts/imp/leases.md, не дублировать.
9. Owner-решения, принятые при составлении
(из сессии 2026-10-06) Детекторы: Presidio/self-host + LLM-judge + HTTP-callout (без облачных). Config-as-code: админ-уровень, git=источник истины, проблемы Portkey/Bifrost учтены (§2.3). Prompt management: полный Portkey-parity. Identity: SCIM + JWT→ключ + SAML. Benchmark: только внутренний стенд. Параллелизм: 10+ лейнов в волне.
Дополнено 2026-10-06 (вторая сессия): Lua-кандидат с челленджем для условий (OP-7 спайк); union+most-restrictive композиция; мапа псевдонимов умирает с запросом, без подстановки в ответ; стрим-буфер 64т/500ms; crewjam/saml; native MCP OP-26; decision-log 90d; sovereign-default pack выключен; NEXT-14 остаток = OP-0c.