Skip to main content

Pilihan model dan penggunaan model: kes penilaian dalaman

Kes kejuruteraan sintetik daripada stand penilaian kami sendiri. Bukti kejuruteraan dalaman — bukan tarikan pelanggan, bukan jaminan penjimatan.

Apa yang berlaku​

Penilaian awal pada stand kami sendiri membenarkan penghalaan automatik. Sesetengah permintaan dilayan oleh model selain daripada yang dinamakan oleh lengan ujian, manakala pelari menganggarkan kos menggunakan harga model yang diminta. Gerbang merekod keputusan penghalaan, model yang melayan dan penggunaan — jadi percanggahan itu dapat dikesan selepas itu.

Apa yang berubah​

Perbandingan dijalankan semula dengan laluan disemat dan semakan model yang melayan: gerbang ditukar kepada penghalaan passthrough dan model yang melayan setiap respons disahkan terhadap laluan yang diminta. Hasil laluan bercampur yang lebih awal bukan perbandingan model ke model yang sah.

Apa yang ditunjukkan oleh keputusan​

Model yang diminta, model yang dilayan dan atribusi harga mesti disemak bersama. Identiti model yang dilaporkan penyedia (medan model dalam respons) ialah bukti yang berguna — begitulah ketidakpadanan dikesan — tetapi ia bukan perakuan bebas tentang pemberat model atau lokasi pengiraan fizikal.

Apa yang tidak ditunjukkan​

Ujian asap pembangunan ini tidak menetapkan kualiti model yang setara, penjimatan pelanggan, kebolehpercayaan pengeluaran atau bil penyedia yang diselaraskan. Sesetengah senario dijalankan semula selepas ralat pelayan. Perbandingan kos penuh mesti menyatakan cara percubaan itu dimasukkan.

Kos tempatan dan langganan​

Tiada caj setiap token tidak bermaksud tiada kos operasi. Perkakasan, kuasa, pentadbiran dan peruntukan langganan berada di luar anggaran yang hanya menggunakan harga token penyedia.

Ringkasan kaedah​

MedanNilai
ID larian20260914T233306Z (larian semula disemat; larian laluan bercampur lebih awal 20260914T165059Z dibetulkan)
Dilaksanakan2026-09-14, cap masa UTC dalam rekod
PecahanSet benih pembangunan awam (smoke-selection.json), 18 kes × 2 lengan; bukan holdout
Versi tugas/pelari/pengesahPelari run-smoke.py @ HEAD repositori 0f2f152+; pengesah dalam repositori; temperature 0, max_tokens 2500
Identiti diminta/dilayanDiminta = lengan ujian; dilayan = medan model yang digemakan oleh respons penyedia, disemak silang setiap panggilan
Mod penghalaanLaluan disemat (passthrough gerbang); pengawal model pelayan menanda sebarang ketidakpadanan (0 ditanda)
Percubaan / peraturan larian semulaTiada cubaan semula dalam episod; empat episod ralat pengangkutan dijalankan semula sekali dan dilabel sebagai larian semula
Sumber harga / tarikhSyot harga konsol Nebius 2026-09-08 (setiap 1M token); lengan harga sifar ialah laluan tempatan/langganan
Liputan kosPenggunaan token penyedia sahaja; perkakasan, kuasa, pentadbiran dan peruntukan langganan dikecualikan
Populasi kependaman / kaedahMasa dinding setiap permintaan yang selesai di pemanggil, satu lompatan melalui gerbang; p50/p95 atas sampel setiap lengan
Inventori senarioA01, A02, A06, A07, A09 (ejen, asas+varian), D01–D03, D05 (pengekodan, asas+varian)

Medan yang ditanda Tidak ditetapkan daripada rekod yang tersedia: tiada perakuan di sisi penyedia tentang perkakasan yang melayan; tiada penyelarasan terhadap baki konsol penyedia selain jurnal pelari.