Import dan eksport set data tempatan
yb dataset menukar file milik pemanggil kepada dan daripada revisi penilaian versi-skema-1. Ia tidak membuat permintaan rangkaian dan tidak memuat naik, menetapkan penyewa, atau menilai muatan. yb evaluate guards --revision yang sedia ada boleh menggunakan revisi yang dijana apabila muatannya sepadan dengan skema penilai pengawal.
Sahkan file pertukaran sebelum mencipta revisi:
yb dataset import --format jsonl --input samples.jsonl --preview
yb dataset import --format jsonl --input samples.jsonl --output revision.json
yb dataset export --format csv --input revision.json --output samples.csv
Pilih jsonl atau csv secara tersurat. Input dan output ialah laluan tempatan. Laluan output mesti baharu. Output dipentaskan dalam direktorinya dan diterbitkan hanya selepas penulisan berjaya; sistem file mesti menyokong pautan keras. File dicipta dengan kebenaran persendirian. Pratonton tidak menulis file output dan mengembalikan nilai bukan sifar jika input tidak sah.
JSONL mengandungi satu objek setiap baris:
{"schema_version":1,"dataset_id":"demo","id":"sample-a","payload":{"text":"hello","type":"clean","expect":"clean"}}
CSV mempunyai tepat empat lajur:
schema_version,dataset_id,sample_id,payload_json
1,demo,sample-a,"{""text"":""hello"",""type"":""clean"",""expect"":""clean""}"
Setiap baris mengulang ID set data dan versi skema tidak kosong yang sama. ID sampel tidak kosong dan unik; tertib dikekalkan. Muatan mesti objek JSON, tanpa kunci pendua. Medan atau lajur yang tidak dikenali, termasuk org_id, ditolak. Arahan ini mengangkut objek legap; penilai hiliran menggunakan skema muatannya sendiri.
Input, output revisi kanonik, dan output yang dieksport dihadkan kepada 8 MiB; import menyokong paling banyak 10,000 baris. Baris yang cacat, ID berulang, ID set data yang tidak konsisten, versi skema yang tidak disokong, input kosong dan file yang terlalu besar menolak keseluruhan import. Pratonton melaporkan diagnostik baris/medan fizikal yang berketentuan dengan kod ralat generik, tanpa menyalin nilai sumber. Kerosakan sintaks CSV yang memakan rekod berpetik yang tidak ditamatkan menghentikan penghuraian; kedudukan rekod seterusnya tidak dapat disimpulkan dengan pasti. Betulkan baris sumber yang dilaporkan dan jalankan pratonton semula. File dengan lebih daripada 10,000 baris menghentikan pengesahan pada had baris.
Import berulang bagi file sah yang sama menghasilkan JSON kanonik yang sepadan bait demi bait tanpa ID atau cap masa yang dijana. Eksport berulang mengekalkan tertib sampel dan bersifat berketentuan. ID revisi ialah SHA-256 bagi bait revisi yang tepat; cincangan file pertukaran adalah berasingan.
Eksport CSV melindungi pengecam set data dan sampel yang bermula dengan aksara formula hamparan (=, +, -, @, tab, pemulangan kereta, juga selepas ruang putih ASCII di hadapan) dengan menambah awalan apostrof. Apostrof di hadapan yang harfiah digandakan. Import membalikkan konvensyen ini dengan tepat. Objek muatan kekal sebagai sel JSON padat. Pengecam berbilang baris yang berpetik, termasuk nilai CRLF, ulang-alik tanpa penormalan. Konvensyen ini tidak menjamin tingkah laku tetapan import setiap aplikasi hamparan; import menganggap nilai sebagai data dan tidak pernah menilai formula.
Untuk pulih daripada perlanggaran output, pilih laluan output yang baharu. Import yang gagal meninggalkan destinasi yang diminta sebagai tiada dan mengekalkan file sedia ada. Tiada korpus atau revisi sedia ada ditulis semula oleh arahan ini.