Skip to main content

Prestasi gerbang

Apa yang dikenakan oleh lapisan penghalaan di atas kependaman penyedia sendiri. Diukur, bukan didakwa.

Metodologi​

  • Pengasingan penyedia olok-olok. Tindanan demo (make demo) menghalakan gerbang kepada penyedia OpenAI olok-olok dalam tindanan. Kependamannya rata dan kecil, jadi apa yang diukur oleh abah-abah ialah lapisan tambahan gerbang (pengesahan, cache, penghalaan, provenans) ditambah satu lompatan gelung balik ke olok-olok — bukan mana-mana rangkaian penyedia sebenar.
  • Trafik deterministik. scripts/loadtest/http memainkan semula set gesaan yang tetap, jadi keadaan cache berubah secara sama merentas larian dan perbandingan kadar hit bermakna.
  • Kaveat jujur. Nombor di bawah datang daripada satu komputer riba (Apple silicon, Docker). Untuk perbandingan yang sah, jalankan semula kedua-dua belah pada perkakasan yang sama dengan perintah yang sama.

Penghasilan semula​

make demo # bring up the demo stack
(cd scripts/loadtest/http && go build -o /tmp/loadtest .)
/tmp/loadtest -api-key demo-key-1234567890 -rps 50 -duration 20s

Abah-abah mencetak kependaman purata dan pecahan X-Cache (tepat / semantik / terlepas) dan lulus pada kadar hit ≥ 25% (titik kawalan cache).

Penanda aras sepadan: terus lwn gerbang (WEB-03)​

Trafik yang sama terus ke olok-olok penyedia (terus) dan melalui gerbang, berturut-turut pada hos yang sama — delta ialah lapisan tambahan gerbang (pengesahan, pengawal kredit, laluan cache terlepas, penghalaan, provenans, penerbitan peristiwa).

Persediaan (scripts/loadtest/matched, boleh dihasilkan semula):

make demo # fresh disposable stack
(cd scripts/loadtest/matched && go build -o bench .)
./bench -n 200 -c 1 -rps 40 # JSON: per-cell avg/p50/p95/p99, error codes
  • 200 permintaan setiap sel, keserentakan 1, dikadar pada 40 rps — sengaja di bawah baldi token per-IP gerbang (50 rps, letusan 100, pkg/gateway/gateway.go): penanda aras tanpa kadar akan mengaktifkan pengehad dan mengukur penolakan 429, bukan lapisan tambahan.
  • Gesaan unik bagi setiap permintaan: cache tepat tidak pernah memintas laluan yang diukur (sel cache hit akan mengukur ~1 ms dan tidak memberitahu apa-apa tentang laluan penuh).
  • Kaveat SSE (jujur): olok-olok demo tidak melaksanakan penstriman — ia menjawab stream:true dengan satu badan JSON — jadi sel strim menjalankan laluan bukan-SSE yang sama dan TTFT ditinggalkan (tiada bingkai pertama untuk ditetapkan masa). Alat mengukur TTFT dari permulaan permintaan apabila huluan yang bertutur SSE dikonfigurasi.

Diukur (komputer riba, Docker Desktop, gerbang dimulakan semula sebelum larian; median 3 larian, 2026-09-27):

BelahModp50p95p99
terusbukan strim1.0 ms1.9 ms2.1 ms
terusstrim*1.0 ms1.8 ms2.4 ms
gerbangbukan strim5.5 ms (larian: 5.1–75.4)6.8–81.6 ms7.9–87.0 ms
gerbangstrim*5.8 ms (larian: 5.2–77.6)6.5–86.2 ms7.4–94.2 ms
  • sel strim terhadap olok-olok bukan penstriman — lihat kaveat di atas.

Membacanya secara jujur:

  • Pada hos yang senyap, lapisan tambahan ialah ~5 ms p50, ~7 ms p95/p99 pada permintaan median (pengesahan + pengawal + laluan cache terlepas + penghalaan + penerbitan peristiwa), berbanding jawapan olok-olok ~1 ms.
  • Julat antara larian di atas bukan varians gerbang: komputer riba ini juga menjalankan sesi ejen yang menghasilkan penanda aras, dan larian yang merosot bertepatan dengan beban hos serentak (satu daripada tiga larian mendarat pada p50 75 ms). Anggap ~5 ms sebagai aras lantai pada perkakasan yang senyap dan jalankan semula pada hos khusus untuk nombor kapasiti.
  • Pada keserentakan 4 pada hos berkongsi ini, p50 berayun 70–379 ms merentas larian — tidak boleh diterbitkan sebagai nombor yang stabil; perintah penghasilan semula di atas ialah artifak, bukan janji.
  • Ralat ialah 0 dalam setiap sel yang diterbitkan; alat merekod kod status ralat bagi setiap sel supaya larian merah boleh didiagnosis daripada JSONnya.

v12 sebelum/selepas​

50 RPS, 20 s, 1,000 permintaan, penyedia olok-olok yang sama, set gesaan yang sama.

MetrikSebelum (v12-1)Selepas (v12)
Kependaman purata3 ms3 ms
Kadar hit60.4% (tepat 579 / semantik 19 / terlepas 392)59.7% (tepat 597 / semantik 0 / terlepas 403)
Titik kawalan cache (≥ 25%)✅✅

Delta kadar hit (±1 mata) berada dalam varians keadaan cache antara larian — dua larian selepas v12 mengukur 59.7% dan 58.9%. Lajur semantik ialah artifak fasa pemanasan: setelah Redis hangat, setiap gesaan berulang ditangkap oleh lapisan tepat sebelum carian semantik dijalankan (laluan semantik itu sendiri telah disahkan secara langsung: kuar hampir pendua memulangkan X-Cache: SEMANTIC pada keserupaan 0.961).

Mengapa nombor lapisan tambahan hampir tidak bergerak pada abah-abah ini: penyedia olok-olok berada pada gelung balik, jadi setiap perjalanan pergi balik yang dihapuskan ialah panggilan tempatan sub-milisaat — di bawah pembundaran 1 ms abah-abah. Perubahan v12 mengalih keluar perjalanan pergi balik rangkaian bersiri daripada laluan panas, dan di situlah ia membuahkan hasil di bawah keadaan pelaksanaan sebenar (Postgres pada hos lain, penyedia melalui internet, keserentakan melebihi segelintir permintaan yang sedang diproses):

  • Pengangkutan huluan. HTTP/2 ke penyedia (http.Transport tersuai tidak mendayakan h2 secara tersirat) dan 100 sambungan terbiar bagi setiap hos (dahulunya 4 — pada keserentakan > 4 setiap permintaan tambahan yang sedang diproses membayar jabat tangan TCP+TLS yang baharu).
  • Carian pg-exact ditutup secara lalai. Setiap cache terlepas tidak lagi menanggung perjalanan pergi balik Postgres; Redis ialah lapisan tepat, dan carian pg didayakan semula dengan YABANIN_CACHE_PG_EXACT_LOOKUP=true selepas kehilangan data Redis.
  • Cache kunci provenans. SELECT bagi setiap permintaan untuk kunci tandatangan Ed25519 kini ialah carian dalam memori selama 5 minit (batas pembatalan: satu tetingkap TTL, pertukaran yang sama seperti cache penyelesai model).
  • Tambahan lejar tak segerak berkelompok. Perakuan yang ditandatangani meninggalkan pengendali serta-merta dan ditulis dalam kelompok pgx (satu perjalanan pergi balik bagi setiap kelompok). Limpahan giliran dan kegagalan kelompok mencuba tambahan baris tunggal segerak. Ini tidak tahan ranap: memori yang belum selesai boleh hilang apabila proses gagal, dan penulisan sandaran yang gagal dilogkan. Ketahanan bukti yang ketat memerlukan reka bentuk penghantaran tahan lasak yang berasingan.
  • Pengelogan bagi setiap permintaan diturunkan ke debug dan pencatat permintaan chi dialih keluar (slog + medan berstruktur kekal pada info untuk ralat/amaran).
  • automaxprocs. GOMAXPROCS kini menjejak had CPU kontena dan bukannya kiraan teras hos (kurang pertukaran konteks, P99 yang lebih stabil di bawah had K8s).