Skip to main content

Perkhidmatan Pengelas ML

Gambaran keseluruhan​

Pengelas ML ialah perkhidmatan FastAPI kendalian sendiri yang menjalankan BAAI/bge-small-en-v1.5 dengan kepala pengelasan 3 kelas. Ia memberikan ketepatan lebih tinggi daripada pengelas peringkat peraturan V0 (~75% berbanding ~60%).

Permulaan pantas​

Docker Compose​

classifier:
build:
context: .
dockerfile: deploy/classifier/Dockerfile
ports:
- "8082:8080"
deploy:
resources:
limits: { memory: 2G, cpus: "2.0" }
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:8080/health"]
interval: 30s
timeout: 5s
retries: 3

Jalankan secara manual​

pip install fastapi uvicorn transformers torchsentencepiece
python deploy/classifier/server.py --port 8082

Endpoint API​

POST /v1/classify​

Kelaskan tahap kerumitan gesaan.

Permintaan:

{
"text": "Debug this Python code:\n\ndef calculate_sum(numbers):\n total = 0\n for n in numbers:\n total += n\n return total",
"org_id": "org-123"
}

Respons:

{
"class_name": "hard",
"confidence": 0.87
}

GET /health​

Endpoint semakan kesihatan.

Respons: {"status": "healthy", "model": "BAAI/bge-small-en-v1.5"}

Butiran model​

  • Model asas: BAAI/bge-small-en-v1.5 (137M parameter, maksimum 512 token)
  • Kepala: pengelas linear 3 kelas (mudah/sederhana/sukar)
  • Kependaman inferens: ~20ms pada CPU (permintaan tunggal)
  • Dimensi pembenaman: 384 (digunakan untuk carian cache semantik)

Talian penalaan halus​

Langkah 1: Bina set data​

python scripts/build_dataset.py --output datasets/classifier/prompts_train.jsonl
# Generates 9k synthetic prompts (40% easy, 35% medium, 25% hard)

Langkah 2: Penalaan halus​

python scripts/train_classifier.py \
--train datasets/classifier/prompts_train.jsonl \
--test datasets/classifier/prompts_test.jsonl \
--output artifacts/classifier-v1.pt \
--epochs 5 \
--batch-size 8

Langkah 3: Eksport ke ONNX​

pip install optimum onnxruntime
optimum export onnx \
--model artifacts/classifier-v1.pt \
--task text-classification \
classifier.onnx

Langkah 4: Laksanakan​

Gantikan model.pt dalam imej Docker dengan eksport ONNX baharu.

Penanda aras prestasi​

MetrikPeringkat peraturan V0ML V1
Ketepatan (sintetik)~60%~75%+
Kependaman (p99)<1ms20-50ms
Penjajaran keyakinanN/ADitentukur Platt
Rantai sandaranN/APeringkat peraturan V0

Integrasi pemutus litar​

Perkhidmatan ML dibalut dalam pemutus litar (lihat pkg/classifier/circuit_breaker.go). Jika perkhidmatan gagal 3 kali berturut-turut, ia memasuki keadaan Open selama 30 saat — semua permintaan gagal pantas ke peringkat peraturan tanpa panggilan HTTP. Selepas 30s, satu permintaan prob menguji pemulihan.

Nota penskalaan​

  • Inferens CPU sahaja memadai bagi ~100 RPS
  • Bagi >1000 RPS, pertimbangkan ONNX Runtime dengan berbilang bebenang atau pecutan GPU
  • Output pembenaman (384-dim) digunakan untuk carian cache semantik dalam pgvector