Ketepatan cache
Bantahan paling lazim terhadap cache semantik: "bagaimana anda tahu jawapan yang dicache itu betul untuk soalan ini — dan bukankah menilai perkara itu memerlukan panggilan LLM yang lain?"
Bahagian kedua dahulu: tiada LLM dalam gelung penilaian. Itu akan mengalahkan tujuan sendiri. Penilaian cache ialah model pembenaman yang tetap dan kendalian sendiri, serta ambang kosinus — berketentuan dan murah:
- Lapisan tepat — SHA-256 prompt yang dinormalkan terhadap Redis. Bait yang sama: hit, sifar penglibatan model.
- Lapisan semantik — benamkan prompt dengan bi-encoder berparameter 137 juta (bge-small, ~20 ms pada CPU), kemudian carian jiran terdekat atas pgvector. Keserupaan kosinus ≥ 0.95 (ambang lalai): hit.
Soalan terbuka itu bersifat empirikal: sejauh manakah baiknya penilaian itu? Halaman ini wujud untuk menjawabnya dengan pengukuran, bukan dengan kata sifat.
Metodologi
Abah-abah ialah scripts/bench_cache_precision.py, dijalankan terhadap pasangan
parafrasa (format set data dalam datasets/cache/README.md):
- pasangan positif (
same: true) — parafrasa yang mana penyajian jawapan yang dicache boleh diterima; - pasangan negatif (
same: false) — hampir-terlepas: topik sama, niat berbeza, entiti berbeza, penafian (yang mana penyajian jawapan yang dicache akan menjadi jawapan yang salah).
Bagi setiap ambang, ia melaporkan kepersisan (bahagian hit yang benar-benar soalan yang sama), perolehan (bahagian pendua sebenar yang ditangkap), dan F1.
Hasil
EN dan JA telah diukur. Hasilkan semula dengan:
docker compose --profile bge up -d embedder-bge # Xenova/bge-small-en-v1.5 (amd64 hosts)
docker compose --profile multilingual up -d embedder-multilingual # intfloat/multilingual-e5-small
python3 datasets/cache/gen_pairs.py --lang en --pos 60 --neg 31 --out datasets/cache/pairs_en.jsonl
python3 scripts/bench_cache_precision.py datasets/cache/pairs_en.jsonl \
--embedder http://localhost:6008 --model Xenova/bge-small-en-v1.5 --batch-size 8
python3 datasets/cache/gen_pairs.py --lang ja --pos 60 --neg 31 --out datasets/cache/pairs_ja.jsonl
python3 scripts/bench_cache_precision.py datasets/cache/pairs_ja.jsonl \
--embedder http://localhost:6007 --model intfloat/multilingual-e5-small --batch-size 8
| Model | Set data | Ambang | Kepersisan | Perolehan | F1 |
|---|---|---|---|---|---|
| bge-small-en-v1.5 | pairs_en (N=91: 60 sama / 31 berbeza) | 0.95 | 0.0000 | 0.0000 | 0.0000 |
| multilingual-e5-small | pairs_ja (N=91: 60 sama / 31 berbeza) | 0.95 | 0.2857 | 0.0667 | 0.1081 |
Sapuan ambang penuh (larian yang sama):
bge-small-en-v1.5 / pairs_en:
| Ambang | Kepersisan | Perolehan | F1 | FP | FN |
|---|---|---|---|---|---|
| 0.85 | 0.4643 | 0.2167 | 0.2955 | 15 | 47 |
| 0.90 | 0.0833 | 0.0167 | 0.0278 | 11 | 59 |
| 0.92 | 0.0000 | 0.0000 | 0.0000 | 9 | 60 |
| 0.95 | 0.0000 | 0.0000 | 0.0000 | 3 | 60 |
| 0.97 | 0.0000 | 0.0000 | 0.0000 | 1 | 60 |
| 0.98 | 0.0000 | 0.0000 | 0.0000 | 1 | 60 |
F1 terbaik: 0.2955 pada ambang 0.85. Taburan keserupaan: soalan sama p10=0.7549 p50=0.8282 p90=0.8816; soalan berbeza p50=0.8449 p90=0.9437 p99=0.9874.
multilingual-e5-small / pairs_ja:
| Ambang | Kepersisan | Perolehan | F1 | FP | FN |
|---|---|---|---|---|---|
| 0.85 | 0.6988 | 0.9667 | 0.8112 | 25 | 2 |
| 0.90 | 0.6346 | 0.5500 | 0.5893 | 19 | 27 |
| 0.92 | 0.5588 | 0.3167 | 0.4043 | 15 | 41 |
| 0.95 | 0.2857 | 0.0667 | 0.1081 | 10 | 56 |
| 0.97 | 0.0000 | 0.0000 | 0.0000 | 6 | 60 |
| 0.98 | 0.0000 | 0.0000 | 0.0000 | 3 | 60 |
F1 terbaik: 0.8112 pada ambang 0.85. Taburan keserupaan: soalan sama p10=0.8683 p50=0.9114 p90=0.9440; soalan berbeza p50=0.9164 p90=0.9794 p99=0.9986.
Bacaan yang jujur: pasangan FAQ berasaskan templat yang sintetik diparafrasakan dengan jauh lebih
bebas daripada prompt pelanggan berulang yang tipikal, dan kedua-dua model hanya
berada di antara dua taburan itu secara lemah — pada ambang pengeluaran 0.95,
bge-small-en-v1.5 menangkap sifar daripada 60 parafrasa EN, dan
multilingual-e5-small menangkap 4 daripada 60 parafrasa JA pada kepersisan 0.286,
manakala hampir-terlepas mencapai p99=0.9874 (EN) dan 0.9986 (JA). Sapuan JA juga
menunjukkan titik operasi sebenar jauh lebih rendah daripada lalai: multilingual-e5
memisahkan ruang pasangan JA dengan paling baik sekitar 0.85 (F1 0.81), dan di situ pun
kepersisan ialah 0.70 — kira-kira 3 daripada 10 hit akan menyajikan jawapan yang salah pada set
adversari ini. Dua kaveat metodologi: model e5 dilatih dengan
awalan query: / passage: yang tidak ditambah oleh abah-abah ini (nombor teks mentah
ialah batas bawah), dan hampir-terlepas berasaskan templat lebih sukar daripada trafik pendua
yang sebenar. Anggap nombor ini sebagai lantai yang konservatif: nilai lapisan semantik
kelihatan pada trafik pendua sebenar (salah taip, susunan perkataan, parafrasa
remeh), yang tidak dimodelkan oleh set templat. Lapisan tepat kekal sebagai
tulang belakang berkepersisan tinggi; lapisan semantik ialah tambahan perolehan, dan
mod privasi exact bagi setiap organisasi ialah postur yang selamat apabila kepersisan lebih penting
daripada penjimatan.
Sehingga nombor anda sendiri tersedia, anggap penjimatan cache sebagai sesuatu untuk diukur
pada trafik anda sendiri, dan itulah tepatnya kegunaan
audit luar talian serta papan pemuka langsung (histogram cache_similarity_score,
perakaunan hit mengikut ambang).
Penalaan
- Naikkan kepersisan (trafik berkepentingan tinggi): ambang 0.97+, atau mod privasi
exact— hit hanya pada prompt yang sama bait demi bait. - Naikkan perolehan (trafik sensitif kos): ambang 0.92–0.95; pada set JA yang diukur, titik pemisahan masih lebih rendah — 0.85 (lihat sapuan di atas), jadi tala daripada pengukuran, bukan daripada lalai.
- Mod privasi bagi setiap organisasi (
off/exact/semantic) membolehkan satu pelaksanaan menyajikan kedua-dua postur; lihat Seni bina cache. - Trafik bukan Inggeris memerlukan embedder berbilang bahasa — lihat Trafik berbilang bahasa.
Hubungan dengan aliran A/B
Nombor di atas ialah pengukuran makmal. Eksperimen A/B terbina dalam
gerbang (kawalan =
cache mati, rawatan = cache hidup, dibandingkan pada savings_usd sebenar) ialah cara anda
mengesahkan soalan yang sama pada trafik pengeluaran sebelum membuat komitmen.