メインコンテンツまでスキップ

タスク分類器

概要​

タスク分類器はユーザーのプロンプトを分析して複雑さの水準を決め、そのあとリクエストを適切なモデルティアへ経路付けします。単純なタスクには安価なモデルを、複雑なタスクにはプレミアムなモデルを使います。これは、Yabanin を汎用プロキシと差別化する第 1 の堀となる機能です。

アーキテクチャ​

┌─────────────┐
Request ───────► │ Classifier │
│ Pipeline │
└──────┬──────┘
│
┌────────────┼────────────┐
▼ ▼ ▼
┌─────────┐ ┌─────────┐ ┌─────────┐
│ Easy │ │ Medium │ │ Hard │
│ ↓ │ │ ↓ │ │ ↓ │
│ Cheap │ │ Mid │ │ Premium │
│ Pool │ │ Pool │ │ Pool │
└─────────┘ └─────────┘ └─────────┘

コンポーネント​

コンポーネントパッケージ説明
分類器インターフェースpkg/classifier/classifier.goClassify() と Name() メソッドを持つ Classifier インターフェース
ルールティア V0pkg/classifier/rule_tier.goプロンプトの特徴(キーワード、長さ、コードフェンス)に基づく決定的な分類
ML 分類器 V1pkg/classifier/ml_v1.go自社運用の bge-small-en-v1.5 モデルサービス向け HTTP クライアント
分類器キャッシュpkg/classifier/registry_cached*.go4 段の検索: Redis の完全一致 → DB の完全一致 → DB のセマンティック(pgvector)→ 内部の分類器
ティアルータpkg/router/tier_pool.go複雑さのクラスごとに、重み付きラウンドロビンでプールを選ぶ
サーキットブレーカpkg/classifier/circuit_breaker.goML サービスの健全性のための Closed/Open/HalfOpen 状態機械
Evalgate ジャッジpkg/evalgate/judge.go安価な応答とプレミアムな応答を比べる、LLM をジャッジとする品質評価
較正pkg/classifier/calibration.go分類器の確信度を実際の精度に揃える Platt スケーリング
A/B 割り当てpkg/classifier/ab_assigner.go分類器の実験のための、決定的な SHA-256 バケット分け
フィードバック収集pkg/feedback/collector.goオンライン学習のために thumbs_up/down/regenerate のシグナルを記録する

分類クラス​

クラス説明キーワード例対応するティア
Easy意図が明確な、単純で短いプロンプトsummarize、translate、list、extract、name、what is安価プール(gpt-4o-mini)
Medium一般的な質問。中程度の複雑さ強い目印がない。200–2000 トークン中間プール
Hard複雑な推論、デバッグ、アーキテクチャdebug、architect、step by step、code review、troubleshootプレミアムプール(gpt-4o)

組織ごとの経路モード​

各組織は、管理 API から経路の振る舞いを上書きできます。

モード振る舞いしきい値
auto(既定)分類器の確信度で経路を決める0.6
aggressive_cost積極的に安価な経路を選ぶ0.4
always_premiumすべてのリクエスト → プレミアムプール該当なし
always_cheapすべてのリクエスト → 安価プール該当なし
classifier_only確信度が非常に高いときだけ経路を決める0.9
disabled分類器を完全にスキップする該当なし

管理 API​

GET /api/organizations/{id}/routing # Get org routing settings
PATCH /api/organizations/{id}/routing # Update routing_mode + threshold (root only)
POST /v1/feedback # Submit thumbs_up/down/regenerate feedback (Authorization: Bearer <org or agent API key>; the org is derived from the key)

設定​

環境変数既定説明
YABANIN_CLASSIFIER_SERVICE_URL""ML 分類器サービスの URL(空 = ルールティアのみ)
YABANIN_EVALGATE_URL""品質評価のためのジャッジのエンドポイント
YABANIN_EVALGATE_API_KEY""ジャッジのエンドポイント用 API キー
YABANIN_EVALGATE_MODELgpt-4o-miniジャッジとして使うモデル
YABANIN_EVALGATE_SAMPLE_RATE0.05サンプルする、Medium / 低確信度リクエストの割合
YABANIN_CLASSIFIER_CIRCUIT_ENABLEDtrueML サービス向けサーキットブレーカを有効にする
YABANIN_CLASSIFIER_CIRCUIT_THRESHOLD3open 状態になるまでの連続失敗回数
YABANIN_CLASSIFIER_CIRCUIT_TIMEOUT30sopen 状態のまま留まる時間

メトリクス​

メトリクス型ラベル説明
classifier_class_totalカウンタclass、sourceクラスとソースごとの分類回数
classifier_confidenceヒストグラム—分類の確信度の分布
classifier_latency_secondsヒストグラムsource分類のレイテンシ
tier_routing_totalカウンタclass、from_model、to_modelモデル経路の決定
tier_routing_skipped_totalカウンタreasonスキップされた経路(low_confidence など)
classifier_cache_hit_totalカウンタtype種類ごとのキャッシュヒット(exact/semantic)
classifier_circuit_breaker_stateゲージclassifierサーキットブレーカの状態(0=closed、1=open、2=half-open)
evalgate_verdict_totalカウンタshould_upgradeジャッジ判定の回数
evalgate_latency_secondsヒストグラム—ジャッジ評価のレイテンシ

新しいルールの追加​

ルールは pkg/classifier/rule_tier.go の Classify メソッドで定義されます。ルールの順序は次のとおりです。

  1. Hard ルールを最初に確認する(プロンプトが 2000 トークン超、hard キーワード、コードフェンスが 50 行超、ツール呼び出し)
  2. Easy ルールを次に確認する(短いプロンプト + easy キーワード、コードフェンスなし)
  3. 既定 → Medium

新しいルールを追加するには、次のようにします。

  1. features.go のキーワードリストに、キーワードまたはパターンを追加する
  2. 既定の Medium を返す前に、rule_tier.go へ判定を追加する
  3. 適切な確信度の値を設定する(0.60–0.90)
  4. rule_tier_test.go にテストケースを追加する

ML モデルの再学習​

  1. データセットを生成する: python scripts/build_dataset.py --output datasets/classifier/prompts_train.jsonl
  2. ファインチューンする: python scripts/train_classifier.py --train datasets/classifier/prompts_train.jsonl --test datasets/classifier/prompts_test.jsonl --output artifacts/classifier-v1.pt

サーブ用に ONNX へエクスポートします(optimum パッケージが必要です):

optimum export onnx --model artifacts/classifier-v1.pt --task text-classification classifier.onnx
  1. 新しいモデルの重みを分類器サービスへ導入し、再起動する

制限​

  • 英語のプロンプトのみ(bge-small-en-v1.5)
  • 非常に短いプロンプト(20 文字未満)は、誤って分類されることがあります
  • マルチモーダルなプロンプト(画像、ファイル)は、テキストの内容だけが分析されます
  • 分類器は、トークン数を超えて会話履歴の深さを考慮しません