Pengelas Tugas
Gambaran keseluruhan
Pengelas tugas menganalisis gesaan pengguna untuk menentukan aras kerumitan, kemudian menghalakan permintaan ke peringkat model yang sesuai — model murah untuk tugas mudah, model premium untuk tugas kompleks. Ini ialah ciri parit #1 yang membezakan Yabanin daripada proxy generik.
Seni bina
┌─────────────┐
Request ───────► │ Classifier │
│ Pipeline │
└──────┬──────┘
│
┌────────────┼────────────┐
▼ ▼ ▼
┌─────────┐ ┌─────────┐ ┌─────────┐
│ Easy │ │ Medium │ │ Hard │
│ ↓ │ │ ↓ │ │ ↓ │
│ Cheap │ │ Mid │ │ Premium │
│ Pool │ │ Pool │ │ Pool │
└─────────┘ └─────────┘ └─────────┘
Komponen
| Komponen | Pakej | Perihalan |
|---|---|---|
| Antara muka pengelas | pkg/classifier/classifier.go | Antara muka Classifier dengan kaedah Classify() dan Name() |
| Peringkat aturan V0 | pkg/classifier/rule_tier.go | Pengelasan deterministik berdasarkan ciri gesaan (kata kunci, panjang, pagar kod) |
| Pengelas ML V1 | pkg/classifier/ml_v1.go | Klien HTTP untuk perkhidmatan model bge-small-en-v1.5 kendalian sendiri |
| Cache pengelas | pkg/classifier/registry_cached*.go | Carian 4 peringkat: Redis tepat → DB tepat → DB semantik (pgvector) → pengelas dalaman |
| Penghala peringkat | pkg/router/tier_pool.go | Pemilihan kolam round-robin berpemberat bagi setiap kelas kerumitan |
| Pemutus litar | pkg/classifier/circuit_breaker.go | Mesin keadaan Tertutup/Terbuka/SeparuhTerbuka untuk kesihatan perkhidmatan ML |
| Hakim evalgate | pkg/evalgate/judge.go | Penilaian kualiti LLM-sebagai-hakim yang membandingkan respons murah lwn premium |
| Kalibrasi | pkg/classifier/calibration.go | Penskalaan Platt untuk menyelaraskan keyakinan pengelas dengan ketepatan sebenar |
| Penetap A/B | pkg/classifier/ab_assigner.go | Pembuketan SHA-256 deterministik untuk eksperimen pengelas |
| Pengumpul maklum balas | pkg/feedback/collector.go | Merekod isyarat thumbs_up/down/regenerate untuk pembelajaran dalam talian |
Kelas pengelasan
| Kelas | Perihalan | Kata kunci contoh | Peringkat dipetakan |
|---|---|---|---|
| Mudah | Gesaan mudah dan pendek dengan niat yang jelas | summarize, translate, list, extract, name, what is | Kolam murah (gpt-4o-mini) |
| Pertengahan | Soalan umum, kerumitan pertengahan | Tiada penanda kuat, 200–2000 token | Kolam pertengahan |
| Sukar | Penaakulan kompleks, penyahpepijatan, seni bina | debug, architect, step by step, code review, troubleshoot | Kolam premium (gpt-4o) |
Mod penghalaan bagi setiap organisasi
Setiap organisasi boleh menindih tingkah laku penghalaan melalui API pentadbir:
| Mod | Tingkah laku | Ambang |
|---|---|---|
auto (lalai) | Hala mengikut keyakinan pengelas | 0.6 |
aggressive_cost | Penghalaan murah yang agresif | 0.4 |
always_premium | Semua permintaan → kolam premium | tidak berkenaan |
always_cheap | Semua permintaan → kolam murah | tidak berkenaan |
classifier_only | Hala hanya apabila sangat yakin | 0.9 |
disabled | Langkau pengelas sepenuhnya | tidak berkenaan |
API pentadbir
GET /api/organizations/{id}/routing # Get org routing settings
PATCH /api/organizations/{id}/routing # Update routing_mode + threshold (root only)
POST /v1/feedback # Submit thumbs_up/down/regenerate feedback (Authorization: Bearer <org or agent API key>; the org is derived from the key)
Konfigurasi
| Pemboleh ubah persekitaran | Lalai | Perihalan |
|---|---|---|
YABANIN_CLASSIFIER_SERVICE_URL | "" | URL perkhidmatan pengelas ML (kosong = peringkat aturan sahaja) |
YABANIN_EVALGATE_URL | "" | Endpoint hakim untuk penilaian kualiti |
YABANIN_EVALGATE_API_KEY | "" | Kunci API untuk endpoint hakim |
YABANIN_EVALGATE_MODEL | gpt-4o-mini | Model untuk digunakan sebagai hakim |
YABANIN_EVALGATE_SAMPLE_RATE | 0.05 | Pecahan permintaan Pertengahan/keyakinan rendah untuk disampel |
YABANIN_CLASSIFIER_CIRCUIT_ENABLED | true | Dayakan pemutus litar untuk perkhidmatan ML |
YABANIN_CLASSIFIER_CIRCUIT_THRESHOLD | 3 | Kegagalan berturut-turut sebelum keadaan terbuka |
YABANIN_CLASSIFIER_CIRCUIT_TIMEOUT | 30s | Tempoh kekal dalam keadaan terbuka |
Metrik
| Metrik | Jenis | Label | Perihalan |
|---|---|---|---|
classifier_class_total | Kaunter | class, source | Kiraan pengelasan mengikut kelas dan sumber |
classifier_confidence | Histogram | — | Taburan keyakinan pengelasan |
classifier_latency_seconds | Histogram | source | Kependaman pengelasan |
tier_routing_total | Kaunter | class, from_model, to_model | Keputusan penghalaan model |
tier_routing_skipped_total | Kaunter | reason | Penghalaan yang dilangkau (low_confidence, dan lain-lain) |
classifier_cache_hit_total | Kaunter | type | Cache hit mengikut jenis (exact/semantic) |
classifier_circuit_breaker_state | Tolok | classifier | Keadaan pemutus litar (0=tertutup, 1=terbuka, 2=separuh terbuka) |
evalgate_verdict_total | Kaunter | should_upgrade | Kiraan keputusan hakim |
evalgate_latency_seconds | Histogram | — | Kependaman penilaian hakim |
Menambah aturan baharu
Aturan ditakrifkan dalam pkg/classifier/rule_tier.go dalam kaedah Classify. Susunan aturan ialah:
- Aturan sukar disemak dahulu (gesaan >2000 token, kata kunci sukar, pagar kod >50 baris, panggilan alat)
- Aturan mudah disemak kedua (gesaan pendek + kata kunci mudah, tiada pagar kod)
- Lalai → Pertengahan
Untuk menambah aturan baharu:
- Tambah kata kunci atau corak ke senarai kata kunci
features.go - Tambah semakan dalam
rule_tier.gosebelum pemulangan Pertengahan lalai - Tetapkan nilai keyakinan yang sesuai (0.60–0.90)
- Tambah kes ujian dalam
rule_tier_test.go
Melatih semula model ML
- Jana set data:
python scripts/build_dataset.py --output datasets/classifier/prompts_train.jsonl - Penalaan halus:
python scripts/train_classifier.py --train datasets/classifier/prompts_train.jsonl --test datasets/classifier/prompts_test.jsonl --output artifacts/classifier-v1.pt
Eksport ke ONNX untuk penyediaan (memerlukan pakej optimum):
optimum export onnx --model artifacts/classifier-v1.pt --task text-classification classifier.onnx
- Laksanakan pemberat model baharu ke perkhidmatan pengelas dan mulakan semula
Batasan
- Gesaan bahasa Inggeris sahaja (bge-small-en-v1.5)
- Gesaan yang sangat pendek (bawah 20 aksara) mungkin tersalah kategori
- Gesaan pelbagai mod (imej, file) dianalisis mengikut kandungan teks sahaja
- Pengelas tidak mempertimbangkan kedalaman sejarah perbualan melebihi kiraan token