Skip to main content

Ketepatan cache

Bantahan paling lazim terhadap cache semantik: "bagaimana anda tahu jawapan yang dicache itu betul untuk soalan ini — dan bukankah menilai perkara itu memerlukan panggilan LLM yang lain?"

Bahagian kedua dahulu: tiada LLM dalam gelung penilaian. Itu akan mengalahkan tujuan sendiri. Penilaian cache ialah model pembenaman yang tetap dan kendalian sendiri, serta ambang kosinus — berketentuan dan murah:

  1. Lapisan tepat — SHA-256 prompt yang dinormalkan terhadap Redis. Bait yang sama: hit, sifar penglibatan model.
  2. Lapisan semantik — benamkan prompt dengan bi-encoder berparameter 137 juta (bge-small, ~20 ms pada CPU), kemudian carian jiran terdekat atas pgvector. Keserupaan kosinus ≥ 0.95 (ambang lalai): hit.

Soalan terbuka itu bersifat empirikal: sejauh manakah baiknya penilaian itu? Halaman ini wujud untuk menjawabnya dengan pengukuran, bukan dengan kata sifat.

Metodologi​

Abah-abah ialah scripts/bench_cache_precision.py, dijalankan terhadap pasangan parafrasa (format set data dalam datasets/cache/README.md):

  • pasangan positif (same: true) — parafrasa yang mana penyajian jawapan yang dicache boleh diterima;
  • pasangan negatif (same: false) — hampir-terlepas: topik sama, niat berbeza, entiti berbeza, penafian (yang mana penyajian jawapan yang dicache akan menjadi jawapan yang salah).

Bagi setiap ambang, ia melaporkan kepersisan (bahagian hit yang benar-benar soalan yang sama), perolehan (bahagian pendua sebenar yang ditangkap), dan F1.

Hasil​

EN dan JA telah diukur. Hasilkan semula dengan:

docker compose --profile bge up -d embedder-bge # Xenova/bge-small-en-v1.5 (amd64 hosts)
docker compose --profile multilingual up -d embedder-multilingual # intfloat/multilingual-e5-small

python3 datasets/cache/gen_pairs.py --lang en --pos 60 --neg 31 --out datasets/cache/pairs_en.jsonl
python3 scripts/bench_cache_precision.py datasets/cache/pairs_en.jsonl \
--embedder http://localhost:6008 --model Xenova/bge-small-en-v1.5 --batch-size 8

python3 datasets/cache/gen_pairs.py --lang ja --pos 60 --neg 31 --out datasets/cache/pairs_ja.jsonl
python3 scripts/bench_cache_precision.py datasets/cache/pairs_ja.jsonl \
--embedder http://localhost:6007 --model intfloat/multilingual-e5-small --batch-size 8
ModelSet dataAmbangKepersisanPerolehanF1
bge-small-en-v1.5pairs_en (N=91: 60 sama / 31 berbeza)0.950.00000.00000.0000
multilingual-e5-smallpairs_ja (N=91: 60 sama / 31 berbeza)0.950.28570.06670.1081

Sapuan ambang penuh (larian yang sama):

bge-small-en-v1.5 / pairs_en:

AmbangKepersisanPerolehanF1FPFN
0.850.46430.21670.29551547
0.900.08330.01670.02781159
0.920.00000.00000.0000960
0.950.00000.00000.0000360
0.970.00000.00000.0000160
0.980.00000.00000.0000160

F1 terbaik: 0.2955 pada ambang 0.85. Taburan keserupaan: soalan sama p10=0.7549 p50=0.8282 p90=0.8816; soalan berbeza p50=0.8449 p90=0.9437 p99=0.9874.

multilingual-e5-small / pairs_ja:

AmbangKepersisanPerolehanF1FPFN
0.850.69880.96670.8112252
0.900.63460.55000.58931927
0.920.55880.31670.40431541
0.950.28570.06670.10811056
0.970.00000.00000.0000660
0.980.00000.00000.0000360

F1 terbaik: 0.8112 pada ambang 0.85. Taburan keserupaan: soalan sama p10=0.8683 p50=0.9114 p90=0.9440; soalan berbeza p50=0.9164 p90=0.9794 p99=0.9986.

Bacaan yang jujur: pasangan FAQ berasaskan templat yang sintetik diparafrasakan dengan jauh lebih bebas daripada prompt pelanggan berulang yang tipikal, dan kedua-dua model hanya berada di antara dua taburan itu secara lemah — pada ambang pengeluaran 0.95, bge-small-en-v1.5 menangkap sifar daripada 60 parafrasa EN, dan multilingual-e5-small menangkap 4 daripada 60 parafrasa JA pada kepersisan 0.286, manakala hampir-terlepas mencapai p99=0.9874 (EN) dan 0.9986 (JA). Sapuan JA juga menunjukkan titik operasi sebenar jauh lebih rendah daripada lalai: multilingual-e5 memisahkan ruang pasangan JA dengan paling baik sekitar 0.85 (F1 0.81), dan di situ pun kepersisan ialah 0.70 — kira-kira 3 daripada 10 hit akan menyajikan jawapan yang salah pada set adversari ini. Dua kaveat metodologi: model e5 dilatih dengan awalan query: / passage: yang tidak ditambah oleh abah-abah ini (nombor teks mentah ialah batas bawah), dan hampir-terlepas berasaskan templat lebih sukar daripada trafik pendua yang sebenar. Anggap nombor ini sebagai lantai yang konservatif: nilai lapisan semantik kelihatan pada trafik pendua sebenar (salah taip, susunan perkataan, parafrasa remeh), yang tidak dimodelkan oleh set templat. Lapisan tepat kekal sebagai tulang belakang berkepersisan tinggi; lapisan semantik ialah tambahan perolehan, dan mod privasi exact bagi setiap organisasi ialah postur yang selamat apabila kepersisan lebih penting daripada penjimatan.

Sehingga nombor anda sendiri tersedia, anggap penjimatan cache sebagai sesuatu untuk diukur pada trafik anda sendiri, dan itulah tepatnya kegunaan audit luar talian serta papan pemuka langsung (histogram cache_similarity_score, perakaunan hit mengikut ambang).

Penalaan​

  • Naikkan kepersisan (trafik berkepentingan tinggi): ambang 0.97+, atau mod privasi exact — hit hanya pada prompt yang sama bait demi bait.
  • Naikkan perolehan (trafik sensitif kos): ambang 0.92–0.95; pada set JA yang diukur, titik pemisahan masih lebih rendah — 0.85 (lihat sapuan di atas), jadi tala daripada pengukuran, bukan daripada lalai.
  • Mod privasi bagi setiap organisasi (off / exact / semantic) membolehkan satu pelaksanaan menyajikan kedua-dua postur; lihat Seni bina cache.
  • Trafik bukan Inggeris memerlukan embedder berbilang bahasa — lihat Trafik berbilang bahasa.

Hubungan dengan aliran A/B​

Nombor di atas ialah pengukuran makmal. Eksperimen A/B terbina dalam gerbang (kawalan = cache mati, rawatan = cache hidup, dibandingkan pada savings_usd sebenar) ialah cara anda mengesahkan soalan yang sama pada trafik pengeluaran sebelum membuat komitmen.