Pilihan model dan penggunaan model: kes penilaian dalaman
Kes kejuruteraan sintetik daripada stand penilaian kami sendiri. Bukti kejuruteraan dalaman — bukan tarikan pelanggan, bukan jaminan penjimatan.
Apa yang berlaku
Penilaian awal pada stand kami sendiri membenarkan penghalaan automatik. Sesetengah permintaan dilayan oleh model selain daripada yang dinamakan oleh lengan ujian, manakala pelari menganggarkan kos menggunakan harga model yang diminta. Gerbang merekod keputusan penghalaan, model yang melayan dan penggunaan — jadi percanggahan itu dapat dikesan selepas itu.
Apa yang berubah
Perbandingan dijalankan semula dengan laluan disemat dan semakan model yang melayan: gerbang ditukar kepada penghalaan passthrough dan model yang melayan setiap respons disahkan terhadap laluan yang diminta. Hasil laluan bercampur yang lebih awal bukan perbandingan model ke model yang sah.
Apa yang ditunjukkan oleh keputusan
Model yang diminta, model yang dilayan dan atribusi harga mesti disemak bersama. Identiti model yang dilaporkan penyedia (medan model dalam respons) ialah bukti yang berguna — begitulah ketidakpadanan dikesan — tetapi ia bukan perakuan bebas tentang pemberat model atau lokasi pengiraan fizikal.
Apa yang tidak ditunjukkan
Ujian asap pembangunan ini tidak menetapkan kualiti model yang setara, penjimatan pelanggan, kebolehpercayaan pengeluaran atau bil penyedia yang diselaraskan. Sesetengah senario dijalankan semula selepas ralat pelayan. Perbandingan kos penuh mesti menyatakan cara percubaan itu dimasukkan.
Kos tempatan dan langganan
Tiada caj setiap token tidak bermaksud tiada kos operasi. Perkakasan, kuasa, pentadbiran dan peruntukan langganan berada di luar anggaran yang hanya menggunakan harga token penyedia.
Ringkasan kaedah
| Medan | Nilai |
|---|---|
| ID larian | 20260914T233306Z (larian semula disemat; larian laluan bercampur lebih awal 20260914T165059Z dibetulkan) |
| Dilaksanakan | 2026-09-14, cap masa UTC dalam rekod |
| Pecahan | Set benih pembangunan awam (smoke-selection.json), 18 kes × 2 lengan; bukan holdout |
| Versi tugas/pelari/pengesah | Pelari run-smoke.py @ HEAD repositori 0f2f152+; pengesah dalam repositori; temperature 0, max_tokens 2500 |
| Identiti diminta/dilayan | Diminta = lengan ujian; dilayan = medan model yang digemakan oleh respons penyedia, disemak silang setiap panggilan |
| Mod penghalaan | Laluan disemat (passthrough gerbang); pengawal model pelayan menanda sebarang ketidakpadanan (0 ditanda) |
| Percubaan / peraturan larian semula | Tiada cubaan semula dalam episod; empat episod ralat pengangkutan dijalankan semula sekali dan dilabel sebagai larian semula |
| Sumber harga / tarikh | Syot harga konsol Nebius 2026-09-08 (setiap 1M token); lengan harga sifar ialah laluan tempatan/langganan |
| Liputan kos | Penggunaan token penyedia sahaja; perkakasan, kuasa, pentadbiran dan peruntukan langganan dikecualikan |
| Populasi kependaman / kaedah | Masa dinding setiap permintaan yang selesai di pemanggil, satu lompatan melalui gerbang; p50/p95 atas sampel setiap lengan |
| Inventori senario | A01, A02, A06, A07, A09 (ejen, asas+varian), D01–D03, D05 (pengekodan, asas+varian) |
Medan yang ditanda Tidak ditetapkan daripada rekod yang tersedia: tiada perakuan di sisi penyedia tentang perkakasan yang melayan; tiada penyelarasan terhadap baki konsol penyedia selain jurnal pelari.