メインコンテンツまでスキップ

ゲートウェイの性能

経路レイヤが、プロバイダ自身のレイテンシの上にどれだけのコストを載せるかです。断言ではなく、計測です。

手法​

  • モックプロバイダの分離。 デモスタック(make demo)は、ゲートウェイをスタック内のモック OpenAI プロバイダへ向けます。そのレイテンシは一定でごく小さいため、ハーネスが測るのはゲートウェイのオーバーレイ(認証、キャッシュ、経路、リーネージ)に、モックへのループバック 1 ホップを加えたものです。実プロバイダのネットワークではありません。
  • 決定的なトラフィック。 scripts/loadtest/http は固定のプロンプト集合を再生します。そのためキャッシュ状態は実行のたびに同じように推移し、ヒット率の比較に意味があります。
  • 率直な留保。 以下の数値はラップトップ 1 台(Apple silicon、Docker)から得たものです。妥当な比較をするには、同じハードウェアで同じコマンドを使い、両側を再実行してください。

再現​

make demo # bring up the demo stack
(cd scripts/loadtest/http && go build -o /tmp/loadtest .)
/tmp/loadtest -api-key demo-key-1234567890 -rps 50 -duration 20s

ハーネスは平均レイテンシと X-Cache の内訳(exact / semantic / miss)を出力し、ヒット率 ≥ 25%(キャッシュの管理点)で合格します。

対応付けたベンチマーク: 直接とゲートウェイ(WEB-03)​

同じトラフィックを、プロバイダのモックへ直接(direct)送る場合と、ゲートウェイ経由で送る場合とで、同じホスト上で連続して流します。差分がゲートウェイのオーバーレイです(認証、クレジットガード、キャッシュのミス経路、経路、リーネージ、イベントの発行)。

セットアップ(scripts/loadtest/matched、再現可能):

make demo # fresh disposable stack
(cd scripts/loadtest/matched && go build -o bench .)
./bench -n 200 -c 1 -rps 40 # JSON: per-cell avg/p50/p95/p99, error codes
  • セルあたり 200 リクエスト、同時実行数 1、40 rps にペースを合わせます。これは意図的に、ゲートウェイの IP あたりのトークンバケット(50 rps、バースト 100、pkg/gateway/gateway.go)より低くしています。ペースを合わせないベンチマークはリミッタに引っかかり、オーバーレイではなく 429 の拒否を測ってしまいます。
  • リクエストごとに一意のプロンプトにします。完全一致キャッシュが、計測対象の経路をショートカットすることはありません(キャッシュヒットのセルは約 1 ms を測るだけで、経路全体については何も分かりません)。
  • SSE の留保(率直): デモのモックはストリーミングを実装していません。stream:true には単一の JSON ボディで答えます。そのため stream のセルは同じ非 SSE 経路を通り、TTFT は省略されます(計時できる最初のフレームがありません)。SSE を話す上流が設定されているとき、ツールはリクエスト開始時点からの TTFT を測ります。

計測結果(ラップトップ、Docker Desktop。実行前にゲートウェイを再起動。3 回の実行の中央値、2026-09-27):

側モードp50p95p99
直接非ストリーム1.0 ms1.9 ms2.1 ms
直接stream*1.0 ms1.8 ms2.4 ms
ゲートウェイ非ストリーム5.5 ms(実行: 5.1–75.4)6.8–81.6 ms7.9–87.0 ms
ゲートウェイstream*5.8 ms(実行: 5.2–77.6)6.5–86.2 ms7.4–94.2 ms
  • 非ストリーミングのモックに対する stream のセルです。上記の留保を参照してください。

率直な読み方:

  • 静かなホストでは、中央値のリクエストにおけるオーバーレイは p50 約 5 ms、p95/p99 約 7 ms です(認証 + ガード + キャッシュのミス経路 + 経路 + イベント発行)。対するモックの応答は約 1 ms です。
  • 上に示した実行間の幅は、ゲートウェイのばらつきではありません。このラップトップは、ベンチマークを生成したエージェントのセッションも動かしており、悪化した実行はホストの同時負荷と重なります(3 回のうち 1 回は p50 が 75 ms でした)。約 5 ms を、静かなハードウェアでの下限として扱ってください。容量の数値は専用ホストで再実行してください。
  • この共有ホストで同時実行数 4 にすると、実行間で p50 が 70–379 ms に振れました。安定した数値として公開できるものではありません。成果物は上記の再現コマンドであり、約束ではありません。
  • エラーは公開したすべてのセルで 0 でした。ツールはセルごとにエラーのステータスコードを記録するため、赤くなった実行は JSON から診断できます。

v12 の前後​

50 RPS、20 秒、1,000 リクエスト、同じモックプロバイダ、同じプロンプト集合です。

指標前(v12-1)後(v12)
平均レイテンシ3 ms3 ms
ヒット率60.4%(exact 579 / semantic 19 / miss 392)59.7%(exact 597 / semantic 0 / miss 403)
キャッシュの管理点(≥ 25%)✅✅

ヒット率の差(±1 ポイント)は、実行間のキャッシュ状態のばらつきの範囲内です。v12 以降の 2 回の実行では 59.7% と 58.9% でした。semantic 列はウォームアップ段階のアーティファクトです。Redis が温まると、繰り返されるプロンプトはすべて、セマンティック検索が走る前に完全一致レイヤで捕捉されます(セマンティック経路自体はライブで確認済みです。ほぼ重複したプローブが、類似度 0.961 で X-Cache: SEMANTIC を返しました)。

このハーネスでオーバーレイの数値がほとんど動かない理由は、モックプロバイダがループバック上にあるためです。削減された往復はどれも 1 ミリ秒未満のローカル呼び出しで、ハーネスの 1 ms 丸めを下回ります。v12 の変更は、ホットパスから直列のネットワーク往復を取り除きます。それが効くのは、実際の導入条件です(別ホスト上の Postgres、インターネット越しのプロバイダ、処理中リクエストが数件を超える同時実行):

  • 上流トランスポート。 プロバイダへの HTTP/2(カスタムの http.Transport は h2 を暗黙には有効にしません)と、ホストあたり 100 本のアイドル接続です(以前は 4。同時実行が 4 を超えると、追加の処理中リクエストごとに新しい TCP+TLS ハンドシェイクを払っていました)。
  • pg-exact 検索は既定で無効。 キャッシュミスのたびに Postgres の往復がかかることはなくなりました。完全一致レイヤは Redis であり、Redis のデータ消失後は YABANIN_CACHE_PG_EXACT_LOOKUP=true で pg 検索を再び有効にします。
  • リーネージ鍵のキャッシュ。 リクエストごとの、Ed25519 署名鍵に対する SELECT は、5 分間のインメモリ検索になりました(失効の上限: TTL ウィンドウ 1 回分。モデルリゾルバのキャッシュと同じトレードオフです)。
  • バッチ化された非同期の台帳追記。 署名済みのアテストはハンドラを直ちに離れ、pgx のバッチで書き込まれます(バッチあたり往復 1 回)。キューのあふれとバッチの失敗では、同期の単一行追記を試みます。これはクラッシュに対して耐久ではありません。プロセス障害で、保留中のメモリが失われることがあり、失敗したフォールバック書き込みはログに残ります。厳密な証拠の耐久性には、別の耐久配信の設計が必要です。
  • リクエストごとのログは debug に下げ、chi のリクエストロガーは削除しました(エラー / 警告については、slog と構造化フィールドが info のまま残ります)。
  • automaxprocs。 GOMAXPROCS は、ホストのコア数ではなくコンテナの CPU 上限を追うようになりました(コンテキストスイッチが減り、K8s の上限のもとで P99 がより安定します)。