Skip to main content

Cache semantik berbanding caching prompt vendor

AWS Bedrock, OpenAI, Anthropic dan Vertex kini semuanya menyediakan caching prompt asli. Halaman ini menerangkan dengan jelas apa yang dilakukan oleh setiap mekanisme, supaya anda boleh membuat keputusan — atau, lebih baik, jalankan yb audit pada log anda dan biarkan ia memisahkan kedua-duanya bagi trafik anda.

Caching prompt vendorCache semantik Yabanin
Dipadankanawalan tepat (token seiras)makna: kosinus ≥ 0.95, embedding bge-small
Skopsatu model, satu penyedia, satu akaunrentas model (berkunci pada tingkat) dan rentas penyedia
Jangka hayatminit (lalai Anthropic 5 min)TTL 24 jam, dasar per organisasi
Ekonomitoken bacaan berdiskaun (dalam lingkungan ~90% kurang bagi input cache)permintaan tidak dibayar langsung
Berada di atastiadapenghalaan tingkat, laluan ganti, garis keturunan
Paling sesuai untukawalan sistem yang panjang dan berulang pada model yang tetapsoalan pengguna yang berulang, pengoptimuman campuran model, persediaan berbilang penyedia

Apabila cache vendor menang​

Gesaan sistem berbilang-K yang stabil pada satu model yang disemat. Audit luar talian menyatakan perkara ini dengan tepat dalam syornya: bengkak awalan berulang ialah masalah cache prompt penyedia, dan audit melaporkan penjimatan cache secara berasingan daripada penghalaan supaya tiada yang dikira dua kali.

Apabila cache semantik menang​

  • Soalan yang sama tiba dalam susunan kata yang berbeza (sokongan, FAQ dalaman, gelung ejen).
  • Trafik bercabang merentas model dan penyedia — cache vendor tidak sekali-kali melintasi sempadan itu.
  • Dapatkan kadar hit yang diukur pada log anda sendiri sebelum mempercayai sebarang angka penjimatan.

Ia saling melengkapi​

Hidupkan cache vendor di tempat yang sesuai; gerbang meneruskan penggunaan penyedia (cache_read_tokens / cache_creation_tokens ditangkap bagi setiap permintaan), jadi kedua-dua penjimatan kelihatan secara berasingan dalam papan pemuka. Bukan pilihan salah satu sahaja.

Ketepatan​

Padanan semantik bukan panggilan LLM — ia ialah model embedding yang tetap serta ambang kosinus. Sejauh mana tepat pertimbangan itu, dan bagaimana ambang mengimbangi hit palsu berbanding recall, diukur dan bukan sekadar ditegaskan: lihat Ketepatan cache.

Angka harga dan TTL di atas mencerminkan mekanik vendor awam pada pertengahan 2026 dan sering berubah — sahkan semula terhadap halaman harga semasa vendor sebelum memetiknya kepada pihak luar.