ローカルデータセットのインポートとエクスポート
yb dataset は、呼び出し元が所有するファイルを、スキーマ バージョン 1 の評価リビジョンとの間で相互に変換します。ネットワークリクエストは行わず、ペイロードのアップロード、テナントの割り当て、評価も行いません。既存の yb evaluate guards --revision は、ペイロードがガード評価器のスキーマと一致する場合、生成されたリビジョンを利用できます。
リビジョンを作成する前に、交換ファイルを検証します。
yb dataset import --format jsonl --input samples.jsonl --preview
yb dataset import --format jsonl --input samples.jsonl --output revision.json
yb dataset export --format csv --input revision.json --output samples.csv
jsonl または csv を明示的に選びます。入力と出力はローカルパスです。出力パスは新しいものでなければなりません。出力はそのディレクトリ内にステージされ、書き込みが成功した後にのみ公開されます。ファイルシステムはハードリンクに対応している必要があります。ファイルは非公開の権限で作成されます。プレビューは出力ファイルを書き込まず、入力が無効な場合は非ゼロを返します。
JSONL は 1 行につき 1 オブジェクトです。
{"schema_version":1,"dataset_id":"demo","id":"sample-a","payload":{"text":"hello","type":"clean","expect":"clean"}}
CSV はちょうど 4 列です。
schema_version,dataset_id,sample_id,payload_json
1,demo,sample-a,"{""text"":""hello"",""type"":""clean"",""expect"":""clean""}"
すべての行は、同じ空でないデータセット ID とスキーマバージョンを繰り返します。サンプル ID は空でなく一意であり、順序は保持されます。ペイロードは JSON オブジェクトでなければならず、重複キーがあってはなりません。org_id を含む未知のフィールドや列は拒否されます。このコマンドは不透明なオブジェクトを運ぶだけで、下流の評価器が独自のペイロードスキーマを適用します。
入力、正規のリビジョン出力、エクスポート出力は 8 MiB までに制限されます。インポートは最大 10,000 行です。不正な行、重複した ID、一貫しないデータセット ID、未対応のスキーマバージョン、空の入力、サイズ超過のファイルは、インポート全体を拒否します。プレビューは、ソース値をコピーせず、汎用のエラーコードを付けた決定的な物理行およびフィールドの診断を報告します。終端していない引用レコードを消費してしまう CSV 構文の破損は、解析を停止します。後続レコードの位置を信頼して推定することはできません。報告されたソース行を修正し、プレビューを再実行します。10,000 行を超えるファイルは、行数の上限で検証を停止します。
同じ有効なファイルを繰り返しインポートすると、生成された ID やタイムスタンプなしで、バイト列が同一の正規 JSON が得られます。繰り返しのエクスポートはサンプルの順序を保持し、決定的です。リビジョン ID は、リビジョンの正確なバイト列の SHA-256 です。交換ファイルのダイジェストは別です。
CSV エクスポートは、スプレッドシートの数式文字(=、+、-、@、タブ、キャリッジリターン。先頭の ASCII 空白の後にある場合も含みます)で始まるデータセット識別子とサンプル識別子を、アポストロフィを前置して保護します。リテラルとして先頭にあるアポストロフィは二重にします。インポートはこの規約を正確に逆変換します。ペイロードオブジェクトはコンパクトな JSON セルのままです。CRLF の値を含む、引用された複数行の識別子は、正規化せずに往復します。この規約は、あらゆるスプレッドシートアプリケーションのインポート設定の動作を保証するものではありません。インポートは値をデータとして扱い、数式を評価することはありません。
出力の衝突から回復するには、新しい出力パスを選びます。失敗したインポートは、要求された宛先を存在しないままにし、既存のファイルを保持します。これらのコマンドが、既存のコーパスやリビジョンを書き換えることはありません。