Cache semantik berbanding caching prompt vendor
AWS Bedrock, OpenAI, Anthropic dan Vertex kini semuanya menyediakan caching prompt asli.
Halaman ini menerangkan dengan jelas apa yang dilakukan oleh setiap mekanisme, supaya anda boleh membuat keputusan — atau,
lebih baik, jalankan yb audit pada log anda dan biarkan ia memisahkan kedua-duanya bagi
trafik anda.
| Caching prompt vendor | Cache semantik Yabanin | |
|---|---|---|
| Dipadankan | awalan tepat (token seiras) | makna: kosinus ≥ 0.95, embedding bge-small |
| Skop | satu model, satu penyedia, satu akaun | rentas model (berkunci pada tingkat) dan rentas penyedia |
| Jangka hayat | minit (lalai Anthropic 5 min) | TTL 24 jam, dasar per organisasi |
| Ekonomi | token bacaan berdiskaun (dalam lingkungan ~90% kurang bagi input cache) | permintaan tidak dibayar langsung |
| Berada di atas | tiada | penghalaan tingkat, laluan ganti, garis keturunan |
| Paling sesuai untuk | awalan sistem yang panjang dan berulang pada model yang tetap | soalan pengguna yang berulang, pengoptimuman campuran model, persediaan berbilang penyedia |
Apabila cache vendor menang
Gesaan sistem berbilang-K yang stabil pada satu model yang disemat. Audit luar talian menyatakan perkara ini dengan tepat dalam syornya: bengkak awalan berulang ialah masalah cache prompt penyedia, dan audit melaporkan penjimatan cache secara berasingan daripada penghalaan supaya tiada yang dikira dua kali.
Apabila cache semantik menang
- Soalan yang sama tiba dalam susunan kata yang berbeza (sokongan, FAQ dalaman, gelung ejen).
- Trafik bercabang merentas model dan penyedia — cache vendor tidak sekali-kali melintasi sempadan itu.
- Dapatkan kadar hit yang diukur pada log anda sendiri sebelum mempercayai sebarang angka penjimatan.
Ia saling melengkapi
Hidupkan cache vendor di tempat yang sesuai; gerbang meneruskan penggunaan penyedia
(cache_read_tokens / cache_creation_tokens ditangkap bagi setiap
permintaan), jadi kedua-dua penjimatan kelihatan secara berasingan dalam papan pemuka. Bukan pilihan salah satu sahaja.
Ketepatan
Padanan semantik bukan panggilan LLM — ia ialah model embedding yang tetap serta ambang kosinus. Sejauh mana tepat pertimbangan itu, dan bagaimana ambang mengimbangi hit palsu berbanding recall, diukur dan bukan sekadar ditegaskan: lihat Ketepatan cache.
Angka harga dan TTL di atas mencerminkan mekanik vendor awam pada pertengahan 2026 dan sering berubah — sahkan semula terhadap halaman harga semasa vendor sebelum memetiknya kepada pihak luar.