Perkhidmatan Pengelas ML
Gambaran keseluruhan
Pengelas ML ialah perkhidmatan FastAPI kendalian sendiri yang menjalankan BAAI/bge-small-en-v1.5 dengan kepala pengelasan 3 kelas. Ia memberikan ketepatan lebih tinggi daripada pengelas peringkat peraturan V0 (~75% berbanding ~60%).
Permulaan pantas
Docker Compose
classifier:
build:
context: .
dockerfile: deploy/classifier/Dockerfile
ports:
- "8082:8080"
deploy:
resources:
limits: { memory: 2G, cpus: "2.0" }
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:8080/health"]
interval: 30s
timeout: 5s
retries: 3
Jalankan secara manual
pip install fastapi uvicorn transformers torchsentencepiece
python deploy/classifier/server.py --port 8082
Endpoint API
POST /v1/classify
Kelaskan tahap kerumitan gesaan.
Permintaan:
{
"text": "Debug this Python code:\n\ndef calculate_sum(numbers):\n total = 0\n for n in numbers:\n total += n\n return total",
"org_id": "org-123"
}
Respons:
{
"class_name": "hard",
"confidence": 0.87
}
GET /health
Endpoint semakan kesihatan.
Respons: {"status": "healthy", "model": "BAAI/bge-small-en-v1.5"}
Butiran model
- Model asas:
BAAI/bge-small-en-v1.5(137M parameter, maksimum 512 token) - Kepala: pengelas linear 3 kelas (mudah/sederhana/sukar)
- Kependaman inferens: ~20ms pada CPU (permintaan tunggal)
- Dimensi pembenaman: 384 (digunakan untuk carian cache semantik)
Talian penalaan halus
Langkah 1: Bina set data
python scripts/build_dataset.py --output datasets/classifier/prompts_train.jsonl
# Generates 9k synthetic prompts (40% easy, 35% medium, 25% hard)
Langkah 2: Penalaan halus
python scripts/train_classifier.py \
--train datasets/classifier/prompts_train.jsonl \
--test datasets/classifier/prompts_test.jsonl \
--output artifacts/classifier-v1.pt \
--epochs 5 \
--batch-size 8
Langkah 3: Eksport ke ONNX
pip install optimum onnxruntime
optimum export onnx \
--model artifacts/classifier-v1.pt \
--task text-classification \
classifier.onnx
Langkah 4: Laksanakan
Gantikan model.pt dalam imej Docker dengan eksport ONNX baharu.
Penanda aras prestasi
| Metrik | Peringkat peraturan V0 | ML V1 |
|---|---|---|
| Ketepatan (sintetik) | ~60% | ~75%+ |
| Kependaman (p99) | <1ms | 20-50ms |
| Penjajaran keyakinan | N/A | Ditentukur Platt |
| Rantai sandaran | N/A | Peringkat peraturan V0 |
Integrasi pemutus litar
Perkhidmatan ML dibalut dalam pemutus litar (lihat pkg/classifier/circuit_breaker.go). Jika perkhidmatan gagal 3 kali berturut-turut, ia memasuki keadaan Open selama 30 saat — semua permintaan gagal pantas ke peringkat peraturan tanpa panggilan HTTP. Selepas 30s, satu permintaan prob menguji pemulihan.
Nota penskalaan
- Inferens CPU sahaja memadai bagi ~100 RPS
- Bagi >1000 RPS, pertimbangkan ONNX Runtime dengan berbilang bebenang atau pecutan GPU
- Output pembenaman (384-dim) digunakan untuk carian cache semantik dalam pgvector