キャッシュ精度
セマンティックキャッシュへの最も一般的な異議は、次です。「キャッシュされた答えがこの質問に合っていると、どうして分かるのか。その判断に、別の LLM 呼び出しが必要なのではないか。」
後半から先に答えます。判断のループに LLM はありません。 そうすると本末転倒です。キャッシュの判断は、固定の自社運用の埋め込みモデルとコサイン閾値です。決定的で、コストは低いです。
- 完全一致層 — 正規化したプロンプトの SHA-256 を Redis と照合します。バイトが同一ならヒットで、モデルは関与しません。
- セマンティック層 — 1億3700万パラメータのバイエンコーダ(bge-small、CPU で約 20 ms)でプロンプトを埋め込み、その後 pgvector 上で最近傍検索します。コサイン類似度が 0.95 以上(デフォルト閾値)ならヒットです。
残る問いは経験的なものです。その判断はどれほど良いのか。このページは、形容詞ではなく測定でそれに答えます。
手法
ハーネスは scripts/bench_cache_precision.py で、言い換えペアに対して実行します(データセット形式は datasets/cache/README.md)。
- 正例ペア(
same: true)— キャッシュされた答えを返すことが許容される言い換えです。 - 負例ペア(
same: false)— ニアミスです。同じ話題で意図が違う、エンティティが違う、否定です(キャッシュされた答えを返すと誤答になります)。
閾値ごとに、適合率(ヒットのうち本当に同じ質問である割合)、再現率(真の重複のうち捕捉した割合)、F1 を報告します。
結果
EN と JA を測定済みです。次で再現します。
docker compose --profile bge up -d embedder-bge # Xenova/bge-small-en-v1.5 (amd64 hosts)
docker compose --profile multilingual up -d embedder-multilingual # intfloat/multilingual-e5-small
python3 datasets/cache/gen_pairs.py --lang en --pos 60 --neg 31 --out datasets/cache/pairs_en.jsonl
python3 scripts/bench_cache_precision.py datasets/cache/pairs_en.jsonl \
--embedder http://localhost:6008 --model Xenova/bge-small-en-v1.5 --batch-size 8
python3 datasets/cache/gen_pairs.py --lang ja --pos 60 --neg 31 --out datasets/cache/pairs_ja.jsonl
python3 scripts/bench_cache_precision.py datasets/cache/pairs_ja.jsonl \
--embedder http://localhost:6007 --model intfloat/multilingual-e5-small --batch-size 8
| モデル | データセット | 閾値 | 適合率 | 再現率 | F1 |
|---|---|---|---|---|---|
| bge-small-en-v1.5 | pairs_en(N=91: 同一 60 / 異なる 31) | 0.95 | 0.0000 | 0.0000 | 0.0000 |
| multilingual-e5-small | pairs_ja(N=91: 同一 60 / 異なる 31) | 0.95 | 0.2857 | 0.0667 | 0.1081 |
完全な閾値スイープ(同じ実行):
bge-small-en-v1.5 / pairs_en:
| 閾値 | 適合率 | 再現率 | F1 | FP | FN |
|---|---|---|---|---|---|
| 0.85 | 0.4643 | 0.2167 | 0.2955 | 15 | 47 |
| 0.90 | 0.0833 | 0.0167 | 0.0278 | 11 | 59 |
| 0.92 | 0.0000 | 0.0000 | 0.0000 | 9 | 60 |
| 0.95 | 0.0000 | 0.0000 | 0.0000 | 3 | 60 |
| 0.97 | 0.0000 | 0.0000 | 0.0000 | 1 | 60 |
| 0.98 | 0.0000 | 0.0000 | 0.0000 | 1 | 60 |
最良の F1 は 閾値 0.85 で 0.2955 です。類似度の分布: 同一の質問は p10=0.7549 p50=0.8282 p90=0.8816。異なる質問は p50=0.8449 p90=0.9437 p99=0.9874。
multilingual-e5-small / pairs_ja:
| 閾値 | 適合率 | 再現率 | F1 | FP | FN |
|---|---|---|---|---|---|
| 0.85 | 0.6988 | 0.9667 | 0.8112 | 25 | 2 |
| 0.90 | 0.6346 | 0.5500 | 0.5893 | 19 | 27 |
| 0.92 | 0.5588 | 0.3167 | 0.4043 | 15 | 41 |
| 0.95 | 0.2857 | 0.0667 | 0.1081 | 10 | 56 |
| 0.97 | 0.0000 | 0.0000 | 0.0000 | 6 | 60 |
| 0.98 | 0.0000 | 0.0000 | 0.0000 | 3 | 60 |
最良の F1 は 閾値 0.85 で 0.8112 です。類似度の分布: 同一の質問は p10=0.8683 p50=0.9114 p90=0.9440。異なる質問は p50=0.9164 p90=0.9794 p99=0.9986。
率直に読むと、合成されたテンプレート FAQ のペアは、典型的な顧客の繰り返しプロンプトよりはるかに自由に言い換えられており、両モデルは2つの分布のあいだに弱くしか位置しません。本番の閾値 0.95 では、bge-small-en-v1.5 は EN の言い換え 60 件のうちゼロしか捕捉せず、multilingual-e5-small は JA の言い換え 60 件のうち 4 件を適合率 0.286 で捕捉します。一方、ニアミスは p99=0.9874(EN)と 0.9986(JA)に達します。JA のスイープは、実際の動作点がデフォルトよりかなり低いことも示します。multilingual-e5 が JA のペア空間を最もよく分けるのは 0.85 付近(F1 0.81)で、そこでも適合率は 0.70 です。この敵対的な集合では、ヒットのおよそ 10 件中 3 件が誤答を返すことになります。手法上の注意が2つあります。e5 モデルは query: / passage: プレフィックス付きで学習されていますが、このハーネスはそれを付けません(生テキストの数値は下限です)。また、テンプレート化されたニアミスは、実在の重複トラフィックより難しいです。これらの数値は保守的な下限として扱ってください。セマンティック層の価値は、テンプレート集合がモデル化しない実際の重複トラフィック(誤字、語順、ささいな言い換え)で現れます。完全一致層は高精度の基幹のままです。セマンティック層は再現率を補う層であり、精度が削減より重要なときは、組織ごとの exact プライバシーモードが安全な姿勢です。
自前の数値が揃うまでは、キャッシュの削減を自社のトラフィックで測定するものとして扱ってください。それが、オフラインの監査と、ライブのダッシュボード(cache_similarity_score のヒストグラム、閾値ごとのヒット会計)の目的です。
調整
- 適合率を上げる(影響の大きいトラフィック): 閾値 0.97 以上、またはプライバシーモード
exact。バイトが同一のプロンプトだけがヒットします。 - 再現率を上げる(コストに敏感なトラフィック): 閾値 0.92–0.95。測定済みの JA 集合では分離点はさらに低く、0.85 です(上のスイープを参照)。デフォルトではなく、測定から調整してください。
- 組織ごとのプライバシーモード(
off/exact/semantic)により、1つの導入で両方の姿勢を提供できます。キャッシュアーキテクチャ を参照してください。 - 非英語のトラフィックには多言語の embedder が必要です。多言語トラフィック を参照してください。
A/B フローとの関係
上の数値は実験室での測定です。ゲートウェイ組み込みのA/B 実験(対照 = キャッシュオフ、処置 = キャッシュオン、実際の savings_usd で比較)が、本番トラフィックで同じ問いを、採用を確定する前に検証する方法です。