メインコンテンツまでスキップ

セマンティックキャッシュとベンダーのプロンプトキャッシュ

AWS Bedrock、OpenAI、Anthropic、Vertex は、いずれも現在ネイティブのプロンプトキャッシュを提供しています。 このページでは、各仕組みが何をするのかをはっきり述べます。判断できるようにするためです。あるいは、より良い方法として、ログに対して yb audit を実行し、トラフィックについて両者を分けて見てください。

ベンダーのプロンプトキャッシュYabanin のセマンティックキャッシュ
一致完全一致のプレフィックス(トークンが同一)意味: cosine ≥ 0.95、bge-small の埋め込み
範囲1 つのモデル、1 つのプロバイダ、1 つのアカウントモデル横断(ティアをキーとする)とプロバイダ横断
存続期間分単位(Anthropic の既定は 5 分)24 時間の TTL、組織ごとの方針
経済性割引された読み取りトークン(キャッシュ済み入力でおよそ 90% オフの桁)リクエストはまったく課金されない
その上に載るものなしティア経路、フォールバック、来歴
最も適する場面固定モデル上で長く繰り返されるシステムプレフィックス繰り返されるユーザーの質問、モデル構成の最適化、マルチプロバイダ構成

ベンダーキャッシュが勝つとき​

単一の固定モデルに対する、安定した数千トークン規模のシステムプロンプトです。オフライン監査の推奨は、まさにこれを述べています。繰り返されるプレフィックスの肥大はプロバイダのプロンプトキャッシュの問題であり、監査はキャッシュの節約を経路とは別に報告するため、二重に計上されることはありません。

セマンティックキャッシュが勝つとき​

  • 同じ質問が異なる言い回しで届きます(サポート、社内 FAQ、エージェントのループ)。
  • トラフィックは複数のモデルとプロバイダに広がります。ベンダーキャッシュがその境界を越えることはありません。
  • 節約の数値を信じる前に、自分のログで測定したヒット率が必要です。

両者は組み合わさる​

合うところではベンダーキャッシュを有効にしてください。ゲートウェイはプロバイダの使用量をそのまま通過させます(cache_read_tokens / cache_creation_tokens はリクエストごとに取得されます)。そのため両方の節約額はダッシュボードに別々に表示されます。どちらか一方ではありません。

精度​

セマンティックな一致は LLM の呼び出しではありません。固定の埋め込みモデルとコサインしきい値です。その判断がどれだけ精密か、そしてしきい値が偽のヒットと再現率をどう引き換えにするかは、断言ではなく測定されています。 キャッシュ精度 を参照してください。

上記の価格と TTL の数値は、2026 年中頃に公開されているベンダーの仕組みを反映しており、頻繁に変わります。外部に引用する前に、ベンダーの現行の価格ページと照合して再確認してください。