セマンティックキャッシュとベンダーのプロンプトキャッシュ
AWS Bedrock、OpenAI、Anthropic、Vertex は、いずれも現在ネイティブのプロンプトキャッシュを提供しています。
このページでは、各仕組みが何をするのかをはっきり述べます。判断できるようにするためです。あるいは、より良い方法として、ログに対して yb audit を実行し、トラフィックについて両者を分けて見てください。
| ベンダーのプロンプトキャッシュ | Yabanin のセマンティックキャッシュ | |
|---|---|---|
| 一致 | 完全一致のプレフィックス(トークンが同一) | 意味: cosine ≥ 0.95、bge-small の埋め込み |
| 範囲 | 1 つのモデル、1 つのプロバイダ、1 つのアカウント | モデル横断(ティアをキーとする)とプロバイダ横断 |
| 存続期間 | 分単位(Anthropic の既定は 5 分) | 24 時間の TTL、組織ごとの方針 |
| 経済性 | 割引された読み取りトークン(キャッシュ済み入力でおよそ 90% オフの桁) | リクエストはまったく課金されない |
| その上に 載るもの | なし | ティア経路、フォールバック、来歴 |
| 最も適する場面 | 固定モデル上で長く繰り返されるシステムプレフィックス | 繰り返されるユーザーの質問、モデル構成の最適化、マルチプロバイダ構成 |
ベンダーキャッシュが勝つとき
単一の固定モデルに対する、安定した数千トークン規模のシステムプロンプトです。オフライン監査の推奨は、まさにこれを述べています。繰り返されるプレフィックスの肥大はプロバイダのプロンプトキャッシュの問題であり、監査はキャッシュの節約を経路とは別に報告するため、二重に計上されることはありません。
セマンティックキャッシュが勝つとき
- 同じ質問が異なる言い回しで届きます(サポート、社内 FAQ、エージェントのループ)。
- トラフィックは複数のモデルとプロバイダに広がります。ベンダーキャッシュがその境界を越えることはありません。
- 節約の数値を信じる前に、自分のログで測定したヒット率が必要です。