Cara membeli data pelatihan AI
Bahasa: Bahasa Indonesia
Ceritakan kepada kami apa yang perlu dipelajari modelmu dan bagaimana kamu akan menilai sampel yang berguna. Kita dapat membahas sumber yang sesuai dan bukti yang perlu ditinjau sebelum kamu memutuskan apakah akan melisensikan sebuah koleksi. Jelaskan proyekmu kepada sapien1
Kamu dapat melisensikan dataset yang sudah ada, bekerja langsung dengan pemilik data, atau memesan pengumpulan data untuk tugas tertentu. Sebelum membuat komitmen, tentukan apa yang perlu dipelajari model, uji sampel berdasarkan kebutuhan tersebut, dan periksa apakah ketentuan yang diusulkan mencakup penggunaan yang dimaksud.
Pertanyaan yang berguna bukan hanya “Berapa banyak data yang tersedia?” Pertanyaan lainnya adalah apakah rekaman tersebut berisi contoh dan konteks yang dapat digunakan tim kamu, serta apakah lisensi yang disepakati mencakup orang, sistem, dan tujuan yang terlibat.
Pilih dari mana kamu akan mendapatkan data
| Cara | Kapan perlu dipertimbangkan | Apa yang perlu ditanyakan terlebih dahulu |
|---|---|---|
| Dataset yang sudah ada | Kamu membutuhkan kumpulan data yang mungkin sudah tersedia. | Versi, bidang, periode waktu, dan ketentuan penggunaan apa yang tercakup? |
| Kesepakatan langsung dengan pemilik data | Satu organisasi memiliki rekaman atau konten yang relevan. | Siapa yang dapat memberikan izin untuk penggunaan yang diusulkan, dan materi apa saja yang tercakup? |
| Pengumpulan atau persiapan khusus | Materi yang ada belum mencakup skenario, format, atau label penting. | Apa yang akan dikumpulkan atau disiapkan, bagaimana kualitasnya akan diperiksa, dan apa yang dapat kamu gunakan setelahnya? |
| Dataset publik | Kumpulan data yang dapat diakses mungkin sesuai untuk tugas tersebut atau dapat menjadi pembanding awal. | Apa yang dijelaskan dokumentasinya tentang sumber, keterbatasan, dan penggunaan yang diizinkan? |
Sebagai contoh, Opendatabay menyediakan marketplace berisi daftar dataset, sedangkan Clickworker menjelaskan layanan pengumpulan dan anotasi khusus. Keduanya adalah titik awal untuk ditelusuri; periksa penawaran dan ketentuan untuk data tertentu yang kamu butuhkan.
Panduan pencarian sumber data kami membahas cara menjelaskan tugas, cakupan, dan format sebelum menghubungi sumber data.
Tentukan apa yang perlu ada di setiap contoh
Tuliskan perilaku yang diharapkan dan informasi yang diperlukan untuk menilainya. Untuk agen dukungan, sebuah rekaman mungkin perlu memuat permintaan pelanggan, kebijakan yang berlaku saat itu, tindakan yang diambil, dan hasilnya. Untuk model dokumen, bidang yang penting mungkin meliputi gambar halaman, teks yang diekstrak, tata letak, dan label yang telah diverifikasi.
Jika sampel dokumen menyertakan kotak berlabel, periksa apakah kotak tersebut sejajar dengan gambar yang dikirimkan. Beberapa format menyatakan posisi sebagai pecahan dari dimensi halaman; format lainnya menggunakan piksel. Pastikan halaman, versi gambar, satuan, titik asal koordinat, serta perubahan ukuran, pemotongan, atau rotasi yang diterapkan, lalu tumpangkan kotak sampel pada gambar untuk memeriksa keselarasan. Tinjau juga apakah label tersebut menjelaskan area yang tepat.
Minta deskripsi versi dataset yang tepat: sumber, ukuran dan satuannya, cakupan waktu, format, label, pengecualian yang diketahui, dan riwayat pemrosesan. Panduan kartu dataset dari Hugging Face menjelaskan bagaimana sebuah kartu dapat mendokumentasikan isi, konteks, dan metadata seperti lisensi, bahasa, dan ukuran. Jadikan bidang tersebut sebagai informasi untuk ditinjau bersama dokumentasi yang mendasarinya.
Uji sampel berdasarkan kebutuhan kamu
Sepakati sampel dan pemeriksaannya sebelum memutuskan untuk memperluas cakupan. Sertakan situasi rutin yang akan dihadapi model dan kasus sulit yang penting bagi tugas tersebut. Catat cara sampel dipilih dan bagian mana dari kumpulan data yang diusulkan yang diwakilinya.
Ketentuan Marketplace Origin Lab, yang dibaca pada 18 November 2026, membatasi sampel marketplace sebagaimana didefinisikan di dalamnya hanya untuk evaluasi internal dan melarang penggunaannya untuk menguji atau mengevaluasi sistem AI, kecuali jika perjanjian komersial yang berlaku dan telah ditandatangani oleh Origin Lab secara tegas menyatakan sebaliknya. Pembatasan sampel tersebut tidak mencakup Bench Materials yang didefinisikan secara terpisah dan memiliki ketentuannya sendiri. Periksa ketentuan khusus sampel dan perjanjian apa pun sebelum memeriksa, menguji, menggunakannya untuk pelatihan, atau membagikannya.
Untuk sampel ujaran dengan penanda waktu kata, tanyakan rekaman dan satuan waktu yang digunakan. Jika penanda waktu merujuk pada salinan yang bagian heningnya telah dihapus, mintalah pengenal rekaman sumber dan pemetaan rentang yang dipertahankan ke linimasa asli. Periksa satu kata setelah pemotongan di bagian tengah. Dalam sampel fiktif yang menggabungkan detik 2–4 dan 7–9 dari sumber tanpa jeda tambahan, 2,5 detik dalam sampel dipetakan ke 7,5 detik dalam sumber. Menambahkan offset dua detik dari rentang pertama menghasilkan 4,5 detik, yang berada di dalam jeda yang dihapus. Pemetaan penanda waktu NeMo Curator
Periksa bagaimana data yang dikirimkan menandai kata dengan penanda waktu yang melintasi titik sambungan. Dalam sampel fiktif yang sama, fungsi pembantu faster-whisper yang diuji memilih satu offset untuk kedua ujung interval yang melintasi sambungan dan menempatkan awalnya di dalam jeda yang dihapus. Jika penggunaan kamu memerlukan interval yang berkesinambungan dalam rekaman asli, sepakati cara menandai dan meninjau kasus tersebut sebelum menerimanya. Pemulihan penanda waktu faster-whisper · Penghitungan offset faster-whisper
Pertimbangkan contoh fiktif ini. Sebuah tim ingin melakukan fine-tuning pada agen dukungan yang merekomendasikan langkah berikutnya untuk permintaan retur. Pemasok mengusulkan kumpulan kasus dukungan. Tim meminta 12 contoh diagnostik: enam retur rutin dan enam kasus pengecualian. Untuk tinjauan pertama ini, tim mensyaratkan setiap contoh memuat permintaan pelanggan, tautan ke versi kebijakan yang berlaku, dan hasil yang tercatat.
| Pemeriksaan | Persyaratan untuk sampel ini | Contoh hasil |
|---|---|---|
| Permintaan pelanggan | Ada di semua 12 contoh | Ada di 12 dari 12 contoh |
| Versi kebijakan yang berlaku | Ditautkan di semua 12 contoh | Ada di 10 dari 12 contoh; dua kasus pengecualian tidak memiliki tautan |
| Hasil yang tercatat | Ada di semua 12 contoh | Ada di 11 dari 12 contoh; satu kasus rutin tidak memiliki hasil |
Sampel tidak memenuhi dua pemeriksaan yang ditetapkan tim. Langkah berikutnya adalah menanyakan apakah tautan kebijakan dan hasil yang hilang dapat dipulihkan, lalu meninjau sampel yang telah diperbaiki. Jika tidak bisa, tim dapat mengubah persyaratannya atau mencari sumber lain. Hasil yang tercatat tidak otomatis merupakan keputusan yang benar: peninjau yang memahami bidang terkait juga perlu membandingkan hasil dengan kebijakan yang berlaku.
Jumlah ini hanya menjelaskan 12 kasus yang dipilih. Jumlah tersebut tidak memperkirakan tingkat kesalahan dalam seluruh kumpulan data. Untuk menilai cakupan yang lebih luas, tanyakan bagaimana dataset tersebar di berbagai skenario yang relevan dan sepakati sampel tambahan yang diambil dengan metode yang terdokumentasi. Panduan Google tentang kualitas data dan pengambilan sampel menjelaskan mengapa sampel yang dipilih dapat memberikan gambaran yang menyesatkan tentang populasi yang lebih besar.
Misalkan 12 kasus tersebut semuanya berasal dari tahun 2024, tetapi kumpulan data yang ditawarkan mencakup 2022–2024. Memeriksa salinan yang telah diperbaiki dapat memastikan perbaikan pada kasus-kasus tersebut; pemeriksaan itu tidak menunjukkan apakah bagian lain dari kumpulan data juga telah diperbaiki. Tanyakan versi dataset dan rekaman mana yang mendapat perbaikan, lalu sepakati cara memilih sampel baru dari versi yang ingin kamu beli. Jika hanya data tahun 2024 yang dapat ditinjau, biarkan data 2022–2023 berstatus belum dinilai dan putuskan apakah pembelian perlu dipersempit atau menunggu tinjauan yang lebih luas.
Jika rekaman asli tidak dapat dibagikan untuk tinjauan awal, tanyakan apakah sampel yang telah disanitasi atau akses terkendali dapat disediakan. Contoh sintetis dapat menunjukkan formatnya, tetapi tidak dapat memastikan kualitas atau cakupan kumpulan data yang sebenarnya.
Sepakati cara penerapan pembatasan akses sebelum menerima sampel: kueri yang memilih kolom tertentu saja tidak dengan sendirinya membatasi akses ke bagian lain dari file yang mendasarinya. Footer Parquet juga dapat memuat statistik kolom. Jika pengirim perlu membatasi informasi yang dikirimkan, pertimbangkan sampel yang disiapkan secara terpisah dengan bidang yang telah disetujui atau layanan yang menerapkan akses pada tingkat bidang. Tinjau metadata dan kontrol akses bersama rekaman yang dikembalikan.
Periksa cara penggunaan data yang diizinkan
Pastikan perjanjian dan dokumen pendukung sesuai dengan dataset dan proyek tertentu. Pertanyaan yang perlu dibahas dengan pemasok serta pihak yang bertanggung jawab atas tinjauan hukum dan pengadaan meliputi:
- Versi dataset mana yang tercakup, dan apakah pemasok berwenang memberikan izin untuk penggunaan yang diusulkan?
- Apakah pelatihan, fine-tuning, evaluasi, atau retrieval tercakup jika diperlukan? Apakah ketentuannya membahas penerapan komersial dan pembatasan yang relevan terhadap model atau output?
- Siapa yang boleh mengakses atau memproses data, termasuk kontraktor atau penyedia layanan? Apa ketentuan pengiriman, penyimpanan, retensi, dan penghapusannya?
- Apakah ada pengecualian, hak dari sumber sebelumnya, materi pihak ketiga, atau pembatasan lain yang perlu ditinjau? Bukti apa yang tersedia untuk mendukung penjelasan pemasok tentang asal data dan izin penggunaannya?
Catat secara terpisah hal-hal yang sudah dipastikan dan yang masih perlu ditinjau. Label lisensi atau kartu dataset membantu mengidentifikasi penggunaan yang diklaim diizinkan; keduanya tidak dengan sendirinya memverifikasi hak yang mendasarinya. Sebuah audit terhadap dataset teks, ujaran, dan video publik menemukan perbedaan antara deskripsi lisensi pada tingkat dataset dan pembatasan yang terkait dengan konten sumber. Temuan tersebut berkaitan dengan dataset publik yang diperiksa, bukan setiap kumpulan data komersial.
Sebagai contoh, kartu yang disematkan untuk dataset riset publik SciFact menjelaskan dataset tersebut sebagai CC BY-NC 2.0 dan menautkan file lisensi pada cabang master repositori, yang dapat berubah. Dalam snapshot lisensi tersebut yang disematkan, repositori secara terpisah menjelaskan CC BY 4.0 untuk klaim dan anotasi bukti, ODC-By 1.0 untuk abstrak korpus, dan Apache 2.0 untuk kodenya. Dokumen-dokumen tersebut mungkin menjelaskan versi, komponen, atau transformasi yang berbeda; dokumen itu sendiri tidak menetapkan ketentuan untuk file tertentu. Petakan file yang dikirimkan dan komponen dari sumber sebelumnya ke dokumentasi yang relevan, lalu minta pihak terkait meninjau pertanyaan hak yang belum terselesaikan.
Rencanakan evaluasi dan pengiriman
Tentukan cara data akan dikirimkan dan diterima: format file, manifes atau pengenal versi, dokumentasi, pemeriksaan sampel, serta cara masalah akan diperbaiki. Jika data juga akan digunakan untuk mengevaluasi model, lindungi set pengujian yang terpisah agar tidak digunakan untuk pelatihan dan periksa duplikat di antara bagian data yang dipisahkan. Panduan Google tentang pembagian dataset menjelaskan bagaimana duplikat dapat membuat hasil pengujian tampak lebih baik daripada kenyataannya.
Periksa kapan periode pemeriksaan dimulai, cara menyampaikan pemberitahuan, arti tidak adanya tanggapan, dan upaya pemulihan yang berlaku. Sebagai contoh, versi 1.0 lisensi standar pelatihan AI dari ai.market memberi pembeli waktu tujuh hari kalender setelah pengiriman pertama untuk memberi tahu marketplace tentang ketidaksesuaian material dengan daftar penawaran. Ketentuan induk micro1, diperbarui pada 12 November 2026, memberi micro1 sebagai penerima lisensi waktu 30 hari kerja setelah pengiriman selesai sesuai manifes untuk menolak data secara tertulis. Pemicu terpisah berlaku jika pemasok memberi tahu micro1 secara tertulis bahwa sisa data tidak dapat dikirimkan. Dokumen-dokumen tersebut berlaku untuk transaksi yang berbeda dan memuat ketentuan serta pengecualian tambahan. Tinjau ketentuan dan versi yang mengatur pesanan kamu.
Manifes dapat mencantumkan file dan checksum yang diharapkan untuk versi dataset yang disepakati. Sepakati cara memverifikasi sumber manifes, membandingkan daftar filenya dengan file yang diterima, dan menyelidiki file yang hilang, tidak diharapkan, atau tidak cocok. Sebagai contoh, jika manifes fiktif mencantumkan dua file tetapi hanya satu yang tiba, checksum yang cocok untuk file tersebut tidak membuat pengiriman menjadi lengkap. Spesifikasi BagIt membedakan kelengkapan dari validasi checksum untuk satu format pengemasan. Checksum yang cocok menunjukkan bahwa digest file yang dihitung sesuai dengan manifes; kecocokan itu sendiri tidak memastikan identitas pengirim, ketepatan label, cakupan yang representatif, atau hak untuk menggunakan data. Tinjau hal-hal tersebut secara terpisah.
Saat pemasok mengirimkan versi berikutnya, lihat cara menerima pengiriman data AI secara berkala.
Untuk contoh terperinci tentang pemeriksaan kebocoran set pengujian dan konteks yang hilang, lihat panduan evaluasi dataset kami.
sapien1 membantu tim menetapkan cakupan kebutuhan data, mengidentifikasi sumber yang memungkinkan, dan menilai sampel. Mulailah dari tugasnya, contoh yang kamu butuhkan, dan keputusan yang harus didukung oleh sampel. Pemilik data yang bersiap untuk berdiskusi dapat menggunakan panduan persiapan lisensi data kami.