Skip to main content

Pengelas Tugas

Gambaran keseluruhan​

Pengelas tugas menganalisis gesaan pengguna untuk menentukan aras kerumitan, kemudian menghalakan permintaan ke peringkat model yang sesuai — model murah untuk tugas mudah, model premium untuk tugas kompleks. Ini ialah ciri parit #1 yang membezakan Yabanin daripada proxy generik.

Seni bina​

┌─────────────┐
Request ───────► │ Classifier │
│ Pipeline │
└──────┬──────┘
│
┌────────────┼────────────┐
▼ ▼ ▼
┌─────────┐ ┌─────────┐ ┌─────────┐
│ Easy │ │ Medium │ │ Hard │
│ ↓ │ │ ↓ │ │ ↓ │
│ Cheap │ │ Mid │ │ Premium │
│ Pool │ │ Pool │ │ Pool │
└─────────┘ └─────────┘ └─────────┘

Komponen​

KomponenPakejPerihalan
Antara muka pengelaspkg/classifier/classifier.goAntara muka Classifier dengan kaedah Classify() dan Name()
Peringkat aturan V0pkg/classifier/rule_tier.goPengelasan deterministik berdasarkan ciri gesaan (kata kunci, panjang, pagar kod)
Pengelas ML V1pkg/classifier/ml_v1.goKlien HTTP untuk perkhidmatan model bge-small-en-v1.5 kendalian sendiri
Cache pengelaspkg/classifier/registry_cached*.goCarian 4 peringkat: Redis tepat → DB tepat → DB semantik (pgvector) → pengelas dalaman
Penghala peringkatpkg/router/tier_pool.goPemilihan kolam round-robin berpemberat bagi setiap kelas kerumitan
Pemutus litarpkg/classifier/circuit_breaker.goMesin keadaan Tertutup/Terbuka/SeparuhTerbuka untuk kesihatan perkhidmatan ML
Hakim evalgatepkg/evalgate/judge.goPenilaian kualiti LLM-sebagai-hakim yang membandingkan respons murah lwn premium
Kalibrasipkg/classifier/calibration.goPenskalaan Platt untuk menyelaraskan keyakinan pengelas dengan ketepatan sebenar
Penetap A/Bpkg/classifier/ab_assigner.goPembuketan SHA-256 deterministik untuk eksperimen pengelas
Pengumpul maklum balaspkg/feedback/collector.goMerekod isyarat thumbs_up/down/regenerate untuk pembelajaran dalam talian

Kelas pengelasan​

KelasPerihalanKata kunci contohPeringkat dipetakan
MudahGesaan mudah dan pendek dengan niat yang jelassummarize, translate, list, extract, name, what isKolam murah (gpt-4o-mini)
PertengahanSoalan umum, kerumitan pertengahanTiada penanda kuat, 200–2000 tokenKolam pertengahan
SukarPenaakulan kompleks, penyahpepijatan, seni binadebug, architect, step by step, code review, troubleshootKolam premium (gpt-4o)

Mod penghalaan bagi setiap organisasi​

Setiap organisasi boleh menindih tingkah laku penghalaan melalui API pentadbir:

ModTingkah lakuAmbang
auto (lalai)Hala mengikut keyakinan pengelas0.6
aggressive_costPenghalaan murah yang agresif0.4
always_premiumSemua permintaan → kolam premiumtidak berkenaan
always_cheapSemua permintaan → kolam murahtidak berkenaan
classifier_onlyHala hanya apabila sangat yakin0.9
disabledLangkau pengelas sepenuhnyatidak berkenaan

API pentadbir​

GET /api/organizations/{id}/routing # Get org routing settings
PATCH /api/organizations/{id}/routing # Update routing_mode + threshold (root only)
POST /v1/feedback # Submit thumbs_up/down/regenerate feedback (Authorization: Bearer <org or agent API key>; the org is derived from the key)

Konfigurasi​

Pemboleh ubah persekitaranLalaiPerihalan
YABANIN_CLASSIFIER_SERVICE_URL""URL perkhidmatan pengelas ML (kosong = peringkat aturan sahaja)
YABANIN_EVALGATE_URL""Endpoint hakim untuk penilaian kualiti
YABANIN_EVALGATE_API_KEY""Kunci API untuk endpoint hakim
YABANIN_EVALGATE_MODELgpt-4o-miniModel untuk digunakan sebagai hakim
YABANIN_EVALGATE_SAMPLE_RATE0.05Pecahan permintaan Pertengahan/keyakinan rendah untuk disampel
YABANIN_CLASSIFIER_CIRCUIT_ENABLEDtrueDayakan pemutus litar untuk perkhidmatan ML
YABANIN_CLASSIFIER_CIRCUIT_THRESHOLD3Kegagalan berturut-turut sebelum keadaan terbuka
YABANIN_CLASSIFIER_CIRCUIT_TIMEOUT30sTempoh kekal dalam keadaan terbuka

Metrik​

MetrikJenisLabelPerihalan
classifier_class_totalKaunterclass, sourceKiraan pengelasan mengikut kelas dan sumber
classifier_confidenceHistogram—Taburan keyakinan pengelasan
classifier_latency_secondsHistogramsourceKependaman pengelasan
tier_routing_totalKaunterclass, from_model, to_modelKeputusan penghalaan model
tier_routing_skipped_totalKaunterreasonPenghalaan yang dilangkau (low_confidence, dan lain-lain)
classifier_cache_hit_totalKauntertypeCache hit mengikut jenis (exact/semantic)
classifier_circuit_breaker_stateTolokclassifierKeadaan pemutus litar (0=tertutup, 1=terbuka, 2=separuh terbuka)
evalgate_verdict_totalKauntershould_upgradeKiraan keputusan hakim
evalgate_latency_secondsHistogram—Kependaman penilaian hakim

Menambah aturan baharu​

Aturan ditakrifkan dalam pkg/classifier/rule_tier.go dalam kaedah Classify. Susunan aturan ialah:

  1. Aturan sukar disemak dahulu (gesaan >2000 token, kata kunci sukar, pagar kod >50 baris, panggilan alat)
  2. Aturan mudah disemak kedua (gesaan pendek + kata kunci mudah, tiada pagar kod)
  3. Lalai → Pertengahan

Untuk menambah aturan baharu:

  1. Tambah kata kunci atau corak ke senarai kata kunci features.go
  2. Tambah semakan dalam rule_tier.go sebelum pemulangan Pertengahan lalai
  3. Tetapkan nilai keyakinan yang sesuai (0.60–0.90)
  4. Tambah kes ujian dalam rule_tier_test.go

Melatih semula model ML​

  1. Jana set data: python scripts/build_dataset.py --output datasets/classifier/prompts_train.jsonl
  2. Penalaan halus: python scripts/train_classifier.py --train datasets/classifier/prompts_train.jsonl --test datasets/classifier/prompts_test.jsonl --output artifacts/classifier-v1.pt

Eksport ke ONNX untuk penyediaan (memerlukan pakej optimum):

optimum export onnx --model artifacts/classifier-v1.pt --task text-classification classifier.onnx
  1. Laksanakan pemberat model baharu ke perkhidmatan pengelas dan mulakan semula

Batasan​

  • Gesaan bahasa Inggeris sahaja (bge-small-en-v1.5)
  • Gesaan yang sangat pendek (bawah 20 aksara) mungkin tersalah kategori
  • Gesaan pelbagai mod (imej, file) dianalisis mengikut kandungan teks sahaja
  • Pengelas tidak mempertimbangkan kedalaman sejarah perbualan melebihi kiraan token