Skip to main content

Yabanin — Audit Perbelanjaan Luar Talian (yb audit)

yb audit ialah penganalisis kos luar talian yang serba lengkap. Halakan ia kepada log permintaan LLM milik pelanggan sendiri, dan ia melaporkan anggaran perbelanjaan daripada penggunaan yang dilog dan harga yang dibundel, serta apa yang cache semantik serta penghalaan peringkat akan jimatkan pada trafik itu. Ia tidak memerlukan gerbang, tiada URL pentadbir, tiada kunci API, tiada organisasi, dan tidak membuat panggilan rangkaian — ia berjalan daripada satu binari terhadap file tempatan (atau stdin).

Penganalisis ini jujur mengikut pembinaan: setiap angka dolar boleh dijejak kepada baris input atau jadual harga, setiap nombor terbitan dilabel diukur atau dianggar, dan unjuran yang bersyarat (kesetaraan cache, kebolehterimaan penghalaan) membawa kaveat yang eksplisit. Apabila sampel terlalu kecil untuk dipercayai, laporan menyatakannya dalam sepanduk dan bukannya berpura-pura ketepatan.

Permulaan pantas: checkout bersih → laporan HTML​

Disahkan hujung ke hujung pada pepohon ini (2026-09-13):

# 1. Build the operator CLI (contains `yb audit`).
go build -o bin/yb ./cmd/yb

# 2. Run it against the bundled synthetic traffic fixture…
bin/yb audit datasets/audit/sample_traffic.jsonl \
--format html --output /tmp/my-report.html

# 3. …or against your own export (JSONL, one request per line):
bin/yb audit your-traffic.jsonl --format html --output your-report.html

Hasil dijangka: file HTML serba lengkap (terbuka tanpa JS/CDN/rangkaian) dengan perbelanjaan bagi setiap model, unjuran cache dan penghalaan. Harga model yang tidak diketahui dipaparkan sebagai tidak diketahui — tidak sekali-kali sifar; baris input yang rosak format dikira dan dilaporkan (perintah gagal apabila tiada apa yang dapat dihurai).

Penggunaan​

# Markdown report (default) to stdout
yb audit path/to/traffic.jsonl

# JSON
yb audit path/to/traffic.jsonl --format json

# Self-contained HTML (no CDN, no JS) to a file
yb audit path/to/traffic.jsonl --format html --output report.html

# Exact mode is the supported offline default.
# Semantic simulation is a library capability; the CLI has no embedder wiring.

# Share the report without leaking prompt content
yb audit path/to/traffic.jsonl --no-prompts

# Read from stdin
cat traffic.jsonl | yb audit -

Bendera:

BenderaLalaiMaksud
--format, -fmdmd, json, atau html
--cache-modeexactexact, semantic, atau off
--output, -o(stdout)tulis laporan ke file ini
--max-records5,000,000had atas rekod yang diambil
--no-promptsfalsegugurkan teks prompt mentah selepas dicincang
--provider(disimpulkan)tindih inferens penyedia bagi seluruh file

Nilai --format atau --cache-mode yang tidak sah ditolak, tidak sekali-kali dijadikan lalai secara senyap.

Format input​

Pengambilan mengesan format secara automatik, atau anda boleh bergantung pada pengesanan itu:

  • JSONL gaya OpenAI — satu objek JSON setiap baris, sama ada bentuk rata (model, usage.prompt_tokens, usage.completion_tokens, messages, timestamp, status_code, duration_ms pilihan) atau bentuk berbalut ({"request": {...}, "response": {...}}).
  • CSV — dipacu pengepala; nama lajur dipadankan dengan medan.
  • Format gerbang ini — JSONL/CSV yang dikeluarkan oleh logger Yabanin sendiri.

Baris yang rosak format dikira dan dilangkau, tidak sekali-kali maut. Input yang dipaut secara simbolik dilaporkan, tidak diikuti secara senyap. Apabila kiraan token tiada, ia dianggar daripada panjang teks pada kadar tetap 4 aksara/token, dan laporan mendedahkan bahagian baris yang kiraannya dianggar.

Enam bahagian​

  1. Ringkasan — kiraan permintaan, jumlah kos (pecahan input/output), permintaan tanpa harga (dikecualikan daripada semua jumlah dolar, tidak sekali-kali dihargakan pada $0), tetingkap, model teratas, penyedia teratas.
  2. Apa yang kami dapati — dapatan yang diukur: penumpuan perbelanjaan (p50/p90/p99 + bahagian 1% teratas/10%), bengkak awalan berulang, kelompok prompt teratas, ribut cubaan semula, pembaziran ralat, peruntukan berlebihan max_tokens, kependaman ekor, hanyutan campuran model. Hanya dapatan di atas ambang disenaraikan; tiada satu pun diisi dengan kata sifat.
  3. Simulasi cache — kadar hit, token yang dielakkan, dolar yang dielakkan, kadar hit bagi setiap model. Dalam mod semantic ia membawa kaveat bahawa hit semantik ialah padanan persamaan, bukan jawapan setara yang disahkan.
  4. Simulasi penghalaan — taburan kelas (mudah/sederhana/sukar) daripada pengelas peringkat-peraturan dalam proses, penjimatan penghalaan sahaja, penjimatan penghalaan-pada-miss, dan angka gabungan dengan pertindihan dinyatakan secara eksplisit.
  5. Kualiti data — kiraan dihurai/dilangkau, bahagian dengan kiraan token sebenar, bahagian dengan cap masa, kiraan permintaan tanpa harga, dan nama model tanpa harga.
  6. Cadangan — setiap aturan yang tercetus, secara verbatim, berpaut pada nombor yang mencetuskannya. Tiada cadangan dicetak melainkan dapatannya ada dalam data.

Cache dan penghalaan: tertib pengeluaran, tiada pengiraan berganda​

Angka penjimatan gabungan menggunakan kedua-dua pengoptimuman dalam tertib yang sama gerbang menggunakannya dalam pengeluaran: cache dahulu, penghalaan kepada cache-miss sahaja. Laporan menyatakan tiga nombor supaya pembaca tidak boleh mengira dua kali:

  • Cache sahaja — dolar yang cache sahaja akan elakkan.
  • Penghalaan sahaja — dolar yang penghalaan peringkat akan jimatkan jika setiap permintaan dihalakan.
  • Gabungan — cache sahaja + penghalaan-pada-miss. Pertindihan (penghalaan sahaja − penghalaan-pada-miss) ialah jumlah yang akan dikira dua kali jika anda menambah cache + penghalaan secara naif, dan ia dinyatakan secara eksplisit.

Sesuatu permintaan tidak sekali-kali menyumbang penjimatan penghalaan apabila model sasarannya tiada harga yang diketahui (ia digugurkan dan dikira), apabila sasaran sama dengan model asal, atau apabila sasaran tidak lebih murah. Model yang tidak diketahui tidak sekali-kali dihargakan secara senyap pada $0.

Mod cache​

  • exact (lalai) — dikunci pada hash prompt pengeluaran. Tiada kebergantungan, sepenuhnya luar talian, tiada rangkaian.
  • semantic — simulator pustaka memerlukan EmbedFunc yang disuntik. CLI tidak mendawai embedder dan menolak mod ini secara eksplisit; memulakan perkhidmatan embedder sahaja tidak mendayakannya.
  • off — langkau simulasi; penghalaan-pada-miss kemudian sama dengan penghalaan-semua.

Kedeterminan​

Bagi input dan mod yang diberikan, laporan ialah seiras bait dari larian ke larian, dengan satu pengecualian: baris generated, yang membawa cap masa. Segala yang lain — setiap jadual, setiap angka, susunan medan JSON (susunan pengisytiharan struct, peta diisih mengikut kunci) — adalah stabil. Inilah yang menjadikan laporan selamat untuk di-diff, diarkibkan, dan diserahkan kepada pelanggan.

Sampel tidak mencukupi​

Laporan membawa sepanduk sampel tidak mencukupi yang tegar apabila input mempunyai kurang daripada 50 permintaan, atau tetingkap lebih pendek daripada 24 jam (atau tiada tetingkap langsung). Sepanduk itu ialah fakta tentang sampel, bukan cadangan: angka masih ditunjukkan, tetapi laporan menandakan bahawa ia tidak boleh dipercayai secara statistik.

Contoh​

Log permintaan sampel dan laporan yang dijananya ada dalam datasets/audit/:

yb audit datasets/audit/sample_traffic.jsonl --format md
# or open the pre-generated HTML:
open datasets/audit/sample_report.html

Sampel itu ialah log 600 permintaan yang deterministik (prompt sistem berulang, campuran beban kerja mudah/sederhana/sukar, cubaan semula, ralat, dan model dalaman tanpa harga) yang menguji setiap bahagian.

Apa yang tidak dilakukannya​

  • Ia tidak memanggil model, gerbang, atau mana-mana perkhidmatan rangkaian dalam mod exact.
  • Ia tidak mengubah suai file input.
  • Ia tidak cuba mengesahkan bahawa jawapan cache setara dengan jawapan baharu (itu ialah keputusan seni bina cache); ia melaporkan kadar hit dan kaveat.
  • Ia tidak menghargakan model yang tidak diketahui pada $0 atau menuntut penjimatan yang tidak dapat disokongnya dengan jadual harga.

Laporan pertama daripada checkout bersih​

Pasang versi Go yang diisytiharkan dalam go.mod akar (kini Go 1.27.1 atau rantaian alat yang lebih baharu dan serasi). Daripada akar repositori:

go build -o /tmp/yabanin-audit ./cmd/yabanin
/tmp/yabanin-audit audit datasets/audit/sample_traffic.jsonl \
--cache-mode exact --format html --no-prompts \
--output /tmp/yabanin-sample-report.html

Buka /tmp/yabanin-sample-report.html dalam pelayar. Lekapan 600 permintaan yang dibundel adalah sintetik, bukan bukti pelanggan. Lihat laporan sampel sintetik. Tiada gerbang, kunci penyedia, Redis atau pangkalan data diperlukan untuk audit. Membina daripada sumber mungkin memuat turun modul Go; audit tepat yang terhasil itu sendiri adalah luar talian.

Laporan mengenal pasti sumber harga yang dibundel dan cap jari SHA-256-nya. Tarikh pengesahan huluan asal tidak direkodkan dan ditunjukkan sebagai tidak diketahui. Ini ialah anggaran harga senarai berasaskan penggunaan; diskaun input cache, kadar yang dirunding dan peringkat perkhidmatan tidak diselaraskan terhadap invois penyedia. Harga model yang tidak diketahui kekal dikecualikan, tidak dikira sebagai percuma.

Format yang tidak sah dan mod semantik yang tidak didawai keluar dengan ralat. Jika setiap baris input tidak sah, perintah gagal; jika tidak, kegagalan hurai muncul dalam Kualiti data. Penggunaan token yang tiada mungkin dianggar dan didedahkan. --no-prompts menggugurkan teks prompt mentah selepas dicincang; laluan sumber, nama model, cap masa dan dapatan terbitan masih boleh mengenal pasti beban kerja. Periksa keseluruhan eksport sebelum berkongsi. Menggugurkan prompt juga mengurangkan maklumat yang tersedia untuk pengelasan berasaskan prompt; tafsirkan unjuran penghalaan sewajarnya.

Untuk menghasilkan semula contoh awam dengan tepat, gunakan perintah yang sama dengan --output web/site/static/examples/audit-sample.html. Sepanduk data sintetik yang ditanda dengan jelas ditambah pada salinan awam. Cap masa yang dijana berbeza; semua angka asas mesti sepadan dengan larian baharu dengan sumber dan binari yang sama.