Cara menerima pengiriman data AI berkala
Bahasa: Bahasa Indonesia
Sampaikan skema yang diharapkan, frekuensi pengiriman, dan apa yang dapat membuat suatu batch tidak dapat digunakan. Kami dapat membantu menentukan cakupan pemeriksaan penerimaan dan catatan tentang apa yang lolos atau perlu diperbaiki. Jelaskan proyekmu kepada sapien1
Sebelum menerapkan pengiriman dataset berkala, bandingkan pengiriman itu dengan versi terakhir yang diterima tim Anda. Periksa apakah berkas baru menggantikan kumpulan data yang disepakati atau memuat perubahan dari versi awal tertentu. Berkas dapat lolos pemeriksaan meskipun pembaruan menggunakan versi awal yang keliru.
Periksa cakupan pengiriman baru
Minta pengenal rilis, cakupan, dan manifesnya. Untuk penggantian, pastikan cakupan set lengkapnya. Untuk paket perubahan, periksa versi awal yang diperlukan dan cara pemasok menandai penambahan, pembaruan, serta penghapusan. Catatan yang tetap sama bisa saja tidak tercantum dalam berkas perubahan. AWS Data Exchange menjelaskan dataset lengkap yang diperbarui dan revisi yang memuat data baru sejak revisi sebelumnya. Dokumentasi revisi AWS Data Exchange
Cocokkan nama berkas dan checksum-nya dengan manifes yang disepakati. Periksa secara terpisah apakah versi awal dan perubahan catatan sesuai dengan kesepakatan pengiriman. BagIt menjelaskan manifes berkas dan verifikasi checksum. Spesifikasi BagIt
Terapkan pembaruan di lingkungan staging dan periksa hasilnya
Dalam contoh fiktif ini, pembeli menggunakan umpan katalog untuk memilih catatan bagi set pelatihan. Pemeriksaannya mensyaratkan versi awal yang tepat dan tujuan penggabungan yang masih aktif untuk setiap catatan gabungan yang dirujuk set pelatihan. Versi terakhir yang diterima adalah R12, dengan ID aktif A14, A27, A38, dan A52. Paket pertama untuk R13 lolos pemeriksaan berkas. Versi awal yang disyaratkannya adalah R11. Pembeli tetap menggunakan R12 dan meminta paket perubahan dari R12 atau penggantian lengkap untuk cakupan yang disepakati.
Pemasok mengirim R13b, paket koreksi yang menetapkan R12. Pembeli memeriksa berkas baru dan menerapkan perubahan pada salinan di lingkungan staging yang disetujui untuk data tersebut.
| Catatan | Perubahan R13b atau kondisi yang diharapkan | Yang perlu diperiksa sebelum menerima R13b |
|---|---|---|
A14 | Ubah topik dari returns menjadi exchanges | Periksa nilai lama di R12 dan nilai baru di hasil staging. |
A27 | Gabungkan ke A38 | Pastikan A27 keluar dari set aktif dan referensi saat ini mengarah ke A38. |
A38 | Tetap aktif sebagai tujuan penggabungan | Pastikan tujuan penggabungan tersedia. |
A52 | Tidak tercantum dalam paket perubahan | Pastikan catatan yang tidak berubah tetap aktif. |
A65 | Tambahkan catatan | Pastikan ID baru muncul tepat satu kali. |
ID yang seharusnya aktif setelah pembaruan adalah A14, A38, A52, dan A65. Menghitung baris saja tidak akan menemukan perubahan ID karena kedua versi memiliki empat catatan aktif. Jika A38 tidak ada, pembeli akan menahan R13b dan meminta pemasok memperbaiki referensi yang tidak dapat digunakan. Setelah pemeriksaan dalam contoh ini lolos, pembeli mencatat R13b diterima dan R13 ditahan karena versi awal tidak sesuai, beserta nilai hash manifes untuk setiap paket.
Pastikan referensi terkini dan historis tetap dapat digunakan
Tanyakan apakah catatan yang dihapus memiliki ID pengganti. OpenAlex mencantumkan ID karya yang dihapus karena digabungkan ke karya lain dalam berkas penghapusan. Peta penggabungan yang terpisah menunjukkan ID yang saat ini menjadi penggantinya, sejauh tersedia untuk ID yang tercantum. Jika perjanjian mengizinkan penyimpanan pengenal, catat ID dari pemasok, ID tujuan saat ini, dan versi pengiriman yang digunakan untuk menentukannya. Pastikan ID pengganti tersebut aktif dalam rilis itu. Dokumentasi sinkronisasi OpenAlex
Jika set pelatihan lama harus dibuat ulang setelah migrasi tabel, catat pengenal versi atau waktu yang digunakan sebelumnya, referensi tujuan yang diusulkan, serta zona waktu dan acuan jam untuk batas waktu yang dipakai. Uji kedua cara pemilihan tersebut pada sistem terkait sebelum mengandalkannya. Saat sapien1 mengulang migrasi secara lokal pada tabel Delta kosong dengan Iceberg 1.12.0, snapshot sebelumnya masih dapat diakses melalui tag versinya. Pencarian berdasarkan waktu berkas log Delta kedua tidak menemukan entri yang cocok dalam riwayat yang dipublikasikan Iceberg. Studi migrasi Iceberg
Catat keputusan untuk pengiriman berikutnya
Catat versi awal, rilis yang diterima, pengenal atau nilai hash manifes, hasil pemeriksaan ID aktif, referensi yang belum terselesaikan, serta keputusan untuk menerima atau meminta koreksi. Tanyakan kepada pemasok arti penanda penghapusan menurut perjanjian dan ikuti aturan yang berlaku untuk salinan atau pengenal yang disimpan.
Untuk bantuan menentukan pemeriksaan penerimaan, kirim email kepada sapien1 yang menyebutkan versi terakhir yang diterima, format pembaruan, dan keputusan yang perlu Anda ambil.
Jika masih memilih pemasok, mulai dengan panduan cara membeli data pelatihan AI. Untuk bantuan merumuskan tugas dan menentukan data yang dibutuhkan, lihat panduan pencarian sumber data.