モデルの選択とモデルの使用: 社内評価のケース
自社の評価スタンドによる、合成のエンジニアリングケースです。社内のエンジニアリングエビデンスであり、顧客の実績でも、節約の保証でもありません。
起きたこと
初期の評価では、自社のスタンドで自動経路が許可されていました。一部のリクエストは、テストアームが 名前を挙げたモデルとは別のモデルで処理されましたが、ランナーはリクエストされたモデルの価格を使ってコストを見積もっていました。ゲートウェイは、経路の決定、提供されたモデル、使用量を記録したため、事後に乖離を検出できました。
変わったこと
比較は、固定された経路と、提供モデルの検査とともに再実行されました。ゲートウェイはパススルー経路へ切り替えられ、すべてのレスポンスの提供モデルが、リクエストされた経路と照合されました。以前の混在経路の結果は、モデル同士の有効な比較ではありません。
結果が示すこと
リクエストされたモデル、提供されたモデル、価格の帰属は、まとめて確認しなければなりません。プロバイダが報告するモデルの識別(レスポンス内の model フィールド)は有用なエビデンスです。不一致はこれによって検出されました。ただし、モデルのウェイトや、物理的な計算の場所について、独立した証明ではありません。
結果が示さないこと
この開発スモークは、同等のモデル品質、顧客の節約、本番の信頼性、照合済みのプロバイダ請求を確立しません。一部のシナリオは、サーバーエラーの後に再実行されました。完全なコスト比較では、それらの試行をどう含めるかを述べなければなりません。
ローカルとサブスクリプションのコスト
トークンあたりの課金がないことは、運用コストがないことを意味しません。ハードウェア、電力、管理、サブスクリプションの配賦は、プロバイダのトークン価格だけを使う見積もりの外にあります。
手法の要約
| 項目 | 値 |
|---|---|
| 実行 ID | 20260914T233306Z(固定された再実行。以前の混在経路の実行 20260914T165059Z を訂正) |
| 実行日時 | 2026-09-14。記録内のタイムスタンプは UTC |
| 分割 | 公開の開発シードセット(smoke-selection.json)。18 ケース × 2 アーム。ホールドアウトではない |
| タスク/ランナー/検証器のバージョン | ランナー run-smoke.py @ リポジトリ HEAD 0f2f152+。検証器はリポジトリ内。temperature 0、max_tokens 2500 |
| リクエストされた識別/提供された識別 | リクエストされたもの = テストアーム。提供されたもの = プロバイダのレスポンスがエコーした model フィールド。呼び出しごとに照合 |
| 経路モード | 固定された経路(ゲートウェイのパススルー)。提供モデルのガードが不一致をフラグ(フラグは 0 件) |
| 試行/再実行の規則 | エピソード内の再試行はありません。トランスポートエラーのエピソード 4 件は 1 回再実行され、再実行としてラベル付けされています |
| 価格のソース/日付 | Nebius コンソールの価格スナップショット 2026-09-08(100 万トークンあたり)。価格がゼロのアームは、ローカルまたはサブスクリプションの経路です |
| コストの範囲 | プロバイダのトークン使用量のみ。ハードウェア、電力、管理、サブスクリプションの配賦は除外 |
| レイテンシの母集団/手法 | 完了したリクエストごとに、呼び出し側での壁時計時間。ゲートウェイを 1 ホップ経由。アームごとのサンプルに対する p50/p95 |
| シナリオ一覧 | A01、A02、A06、A07、A09(エージェント、base+variant)、D01–D03、D05(コーディング、base+variant) |
入手可能な記録からは確立されていない と記した項目: 提供ハードウェアについてのプロバイダ側の証明はありません。ランナーのジャーナルを超えて、プロバイダコンソールの残高と照合したものもありません。