Cara membeli data latihan AI
Bahasa: Bahasa Melayu
Beritahu kami perkara yang perlu dipelajari oleh model anda dan cara anda akan menilai sama ada sesuatu sampel berguna. Kami boleh membincangkan sumber yang sesuai dan bukti yang perlu disemak sebelum anda memutuskan sama ada hendak melesenkan koleksi. Terangkan projek anda kepada sapien1
Anda boleh melesenkan set data sedia ada, bekerjasama secara langsung dengan pemilik data atau menugaskan pengumpulan untuk tugas tertentu. Sebelum membuat komitmen, tentukan apa yang perlu dipelajari oleh model, uji sampel berdasarkan keperluan itu dan semak sama ada syarat yang dicadangkan meliputi penggunaan yang dimaksudkan.
Soalan yang berguna bukan sekadar “Berapa banyak data yang tersedia?” Yang penting ialah sama ada rekod mengandungi contoh dan konteks yang boleh digunakan oleh pasukan anda, serta sama ada lesen yang dipersetujui meliputi individu, sistem dan tujuan yang terlibat.
Pilih tempat untuk mendapatkan data
| Cara | Bila sesuai dipertimbangkan | Apa yang perlu ditanya dahulu |
|---|---|---|
| Set data sedia ada | Anda memerlukan koleksi yang mungkin sudah wujud. | Versi, medan, tempoh masa dan syarat penggunaan yang manakah disertakan? |
| Perjanjian langsung dengan pemilik data | Sebuah organisasi mempunyai rekod atau kandungan yang relevan. | Siapa yang boleh memberi kebenaran untuk penggunaan yang dicadangkan, dan bahan apakah yang termasuk dalam skop? |
| Pengumpulan atau penyediaan khusus | Bahan sedia ada tidak meliputi senario, format atau label yang penting. | Apakah yang akan dikumpulkan atau disediakan, bagaimana kualiti akan diperiksa, dan apakah yang boleh anda gunakan selepas itu? |
| Set data awam | Koleksi yang boleh diakses mungkin sesuai untuk tugas tersebut atau boleh dijadikan perbandingan awal. | Apakah yang dinyatakan dalam dokumentasinya tentang sumber, batasan dan penggunaan yang dibenarkan? |
Contohnya, Opendatabay menyediakan pasaran penyenaraian set data, manakala Clickworker menerangkan perkhidmatan pengumpulan dan anotasi khusus. Kedua-duanya ialah titik mula untuk diselidiki; semak tawaran dan syarat bagi data khusus yang anda perlukan.
Panduan mendapatkan data kami menerangkan cara menghuraikan tugas, liputan dan format sebelum menghubungi sumber.
Tentukan apa yang perlu ada dalam setiap contoh
Catatkan tingkah laku yang dikehendaki dan maklumat yang diperlukan untuk menilainya. Bagi ejen sokongan, sesuatu rekod mungkin perlu mengandungi permintaan pelanggan, dasar yang terpakai pada masa itu, tindakan yang diambil dan hasilnya. Bagi model dokumen, medan yang penting mungkin termasuk imej halaman, teks yang diekstrak, susun atur dan label yang telah disahkan.
Jika sampel dokumen mengandungi kotak berlabel, periksa sama ada kotak itu sejajar dengan imej yang dihantar. Sesetengah format menyatakan kedudukan sebagai pecahan dimensi halaman; yang lain menggunakan piksel. Sahkan halaman, versi imej, unit, titik asal koordinat dan sebarang perubahan saiz, pemangkasan atau putaran, kemudian tindihkan kotak sampel pada imej untuk memeriksa penjajarannya. Semak juga sama ada label menerangkan kawasan yang betul.
Minta penerangan tentang versi set data yang tepat: sumber, saiz dan unit, liputan masa, format, label, pengecualian yang diketahui dan sejarah pemprosesannya. Panduan kad set data Hugging Face menerangkan cara kad boleh mendokumenkan kandungan, konteks dan metadata seperti lesen, bahasa dan saiz. Anggap medan tersebut sebagai maklumat yang perlu disemak bersama dokumentasi asas.
Uji sampel berdasarkan keperluan anda
Persetujui sampel dan pemeriksaan yang akan dibuat sebelum memutuskan sama ada hendak memperluas skop. Sertakan situasi biasa yang akan dihadapi model dan kes sukar yang penting untuk tugas tersebut. Catatkan cara sampel dipilih dan bahagian koleksi yang dicadangkan yang diwakilinya.
Syarat Pasaran Origin Lab, yang dibaca pada 18 November 2026, mengehadkan sampel pasaran seperti yang ditakrifkan dalam syarat tersebut kepada penilaian dalaman dan melarang penggunaannya untuk menguji atau menilai sistem AI melainkan perjanjian komersial yang terpakai dan dimeterai oleh Origin Lab menyatakan sebaliknya secara jelas. Sekatan sampel itu tidak merangkumi Bench Materials yang ditakrifkan secara berasingan dan mempunyai syarat tersendiri. Semak syarat khusus sampel dan sebarang perjanjian sebelum memeriksa, menguji, melatih atau berkongsinya.
Bagi sampel pertuturan dengan cap masa perkataan, tanya rakaman dan unit masa yang digunakan. Jika cap masa merujuk kepada salinan yang bahagian senyapnya telah dibuang, minta pengecam rakaman sumber dan pemetaan rentang yang dikekalkan kepada garis masa asal. Periksa satu perkataan selepas potongan di bahagian tengah. Dalam sampel rekaan yang menggabungkan saat 2–4 dan 7–9 daripada sumber tanpa sisipan, 2.5 saat dalam sampel sepadan dengan 7.5 saat dalam sumber. Menambah ofset dua saat bagi rentang pertama menghasilkan 4.5 saat, iaitu dalam jurang yang dibuang. Pemetaan cap masa NeMo Curator
Periksa cara data yang dihantar menandakan perkataan yang cap masanya merentasi titik sambungan. Dalam sampel rekaan yang sama, fungsi pembantu faster-whisper yang diuji memilih satu ofset untuk kedua-dua hujung selang yang merentasi sambungan dan meletakkan titik mulanya dalam jurang yang dibuang. Jika penggunaan anda memerlukan selang yang berterusan dalam rakaman asal, persetujui cara menandakan dan menyemak kes tersebut sebelum menerimanya. Pemulihan cap masa faster-whisper · Pengiraan ofset faster-whisper
Pertimbangkan contoh rekaan ini. Sebuah pasukan mahu membuat penalaan halus pada ejen sokongan yang mencadangkan langkah seterusnya bagi permintaan pemulangan. Pembekal mencadangkan koleksi kes sokongan. Pasukan itu meminta 12 contoh diagnostik: enam pemulangan biasa dan enam pengecualian. Untuk semakan pertama ini, pasukan mensyaratkan setiap contoh mengandungi permintaan pelanggan, pautan kepada versi dasar yang terpakai dan hasil yang direkodkan.
| Pemeriksaan | Keperluan untuk sampel ini | Contoh hasil |
|---|---|---|
| Permintaan pelanggan | Ada dalam semua 12 contoh | 12 daripada 12 mempunyainya |
| Versi dasar yang terpakai | Dipautkan dalam semua 12 contoh | 10 daripada 12 mempunyainya; dua kes pengecualian tiada pautan |
| Hasil yang direkodkan | Ada dalam semua 12 contoh | 11 daripada 12 mempunyainya; satu kes biasa tiada hasil |
Sampel ini gagal memenuhi dua pemeriksaan yang ditetapkan oleh pasukan. Langkah seterusnya ialah bertanya sama ada pautan dasar dan hasil yang tiada boleh diperoleh semula, kemudian menyemak sampel yang telah diperbetulkan. Jika tidak boleh, pasukan boleh mengubah keperluannya atau mencari sumber lain. Hasil yang direkodkan tidak semestinya keputusan yang betul: penyemak yang pakar dalam bidang tersebut juga perlu membandingkan hasil dengan dasar yang terpakai.
Angka ini hanya menerangkan 12 kes yang dipilih. Angka ini tidak menganggarkan kadar ralat dalam keseluruhan koleksi. Untuk menilai liputan yang lebih luas, tanya bagaimana set data diagihkan mengikut senario yang relevan dan persetujui sampel tambahan yang dipilih menggunakan kaedah yang didokumenkan. Panduan Google tentang kualiti data dan pensampelan menerangkan sebab sampel yang dipilih boleh memberikan gambaran yang mengelirukan tentang populasi yang lebih besar.
Katakan 12 kes itu semuanya berasal dari tahun 2024, tetapi koleksi yang ditawarkan meliputi 2022–2024. Pemeriksaan salinan yang diperbetulkan boleh mengesahkan pembetulan pada kes tersebut; ia tidak menunjukkan sama ada baki koleksi telah diperbetulkan. Tanya versi set data dan rekod yang menerima pembetulan, kemudian persetujui cara memilih sampel baharu daripada versi yang ingin anda beli. Jika hanya tahun 2024 boleh disemak, biarkan tahun 2022–2023 tidak dinilai dan tentukan sama ada hendak mengecilkan skop pembelian atau menunggu semakan yang lebih luas.
Jika rekod sebenar tidak boleh dikongsi untuk semakan awal, tanya sama ada sampel yang telah dinyahkenal pasti atau akses terkawal boleh disediakan. Contoh sintetik mungkin dapat menunjukkan formatnya, tetapi tidak dapat membuktikan kualiti atau liputan koleksi sebenar.
Persetujui cara akses dikuatkuasakan sebelum menerima sampel: pertanyaan yang memilih medan tertentu tidak dengan sendirinya menyekat akses kepada bahagian lain dalam fail asas. Footer Parquet juga boleh mengandungi statistik lajur. Jika penghantar perlu mengehadkan maklumat yang dihantar merentasi sempadan akses, pertimbangkan sampel yang disediakan secara berasingan dengan medan yang diluluskan atau perkhidmatan yang menguatkuasakan akses pada peringkat medan. Semak metadata dan kawalan akses bersama rekod yang dikembalikan.
Semak cara penggunaan data yang dibenarkan
Padankan perjanjian dan dokumen sokongan dengan set data dan projek khusus. Antara soalan untuk dibincangkan dengan pembekal serta pihak yang bertanggungjawab terhadap semakan undang-undang dan perolehan ialah:
- Versi set data yang manakah diliputi, dan adakah pembekal diberi kuasa untuk membenarkan penggunaan yang dicadangkan?
- Adakah latihan, penalaan halus, penilaian atau perolehan semula disertakan apabila diperlukan? Adakah syarat tersebut meliputi penggunaan komersial dan sebarang sekatan yang relevan terhadap model atau output?
- Siapa yang boleh mengakses atau memproses data, termasuk kontraktor atau penyedia perkhidmatan? Apakah syarat penghantaran, penyimpanan, pengekalan dan pemadaman?
- Adakah terdapat pengecualian, hak di peringkat sumber, bahan pihak ketiga atau sekatan lain yang perlu disemak? Apakah bukti yang tersedia untuk menyokong keterangan pembekal tentang asal usul dan kebenaran bagi data tersebut?
Catatkan secara berasingan perkara yang telah disahkan dan perkara yang masih perlu disemak. Label lesen atau kad set data membantu mengenal pasti penggunaan yang didakwa dibenarkan; kedua-duanya tidak dengan sendirinya mengesahkan hak yang mendasarinya. Audit set data teks, pertuturan dan video awam mendapati perbezaan antara keterangan lesen pada peringkat set data dengan sekatan yang berkaitan dengan kandungan sumber. Dapatan itu berkaitan dengan set data awam yang diperiksa, bukan setiap koleksi komersial.
Contohnya, kad yang dipinkan untuk set data penyelidikan awam SciFact menerangkan set data itu sebagai CC BY-NC 2.0 dan memautkan fail lesen pada cabang master repositori, yang boleh berubah. Dalam syot kilat lesen tersebut yang dipinkan, repositori itu menerangkan secara berasingan CC BY 4.0 untuk anotasi dakwaan dan bukti, ODC-By 1.0 untuk abstrak korpus, serta Apache 2.0 untuk kodnya. Dokumen tersebut mungkin menerangkan versi, komponen atau transformasi yang berbeza; dokumen itu sendiri tidak menetapkan syarat bagi sesuatu fail tertentu. Padankan fail yang dihantar dan komponen asalnya dengan dokumentasi yang relevan, dan pastikan persoalan hak yang belum selesai disemak.
Rancang penilaian dan penghantaran
Tentukan cara data akan dihantar dan diterima: format fail, manifes atau pengecam versi, dokumentasi, pemeriksaan sampel dan cara masalah akan diperbetulkan. Jika data juga akan digunakan untuk menilai model, asingkan set ujian daripada latihan dan periksa pendua merentas pembahagian set. Panduan pembahagian set data Google menerangkan bagaimana pendua boleh menyebabkan keputusan ujian kelihatan lebih baik daripada keadaan sebenar.
Semak bila tempoh pemeriksaan bermula, cara memberikan notis, maksud jika tiada maklum balas dan remedi yang terpakai. Contohnya, versi 1.0 lesen standard latihan AI ai.market memberikan pembeli tujuh hari kalendar selepas penghantaran pertama untuk memaklumkan pasaran tentang ketidakpadanan material dengan penyenaraian. Syarat induk micro1, yang dikemas kini pada 12 November 2026, memberikan micro1 sebagai pemegang lesen 30 hari bekerja selepas penghantaran diselesaikan menurut manifes untuk menolak data secara bertulis. Pencetus yang berasingan terpakai jika pembekal memaklumkan kepada micro1 secara bertulis bahawa baki data tidak dapat dihantar. Dokumen tersebut terpakai kepada transaksi yang berbeza dan mengandungi syarat serta pengecualian lanjut. Semak syarat dan versi yang mengawal pesanan anda.
Manifes boleh menyenaraikan fail dan checksum yang dijangka bagi versi set data yang dipersetujui. Persetujui cara mengesahkan sumber manifes, membandingkan senarai failnya dengan fail yang diterima dan menyiasat fail yang tiada, tidak dijangka atau tidak sepadan. Contohnya, jika manifes rekaan menyenaraikan dua fail tetapi hanya satu diterima, checksum yang sepadan bagi fail itu tidak menjadikan penghantaran lengkap. Spesifikasi BagIt membezakan kelengkapan daripada pengesahan checksum bagi satu format pembungkusan. Padanan checksum menunjukkan bahawa digest fail yang dikira sepadan dengan manifes; ia tidak dengan sendirinya membuktikan identiti penghantar, ketepatan label, liputan yang mewakili keseluruhan data atau hak untuk menggunakan data tersebut. Semak perkara itu secara berasingan.
Apabila pembekal menghantar versi seterusnya, lihat cara menerima penghantaran data AI berulang.
Untuk contoh terperinci tentang pemeriksaan kebocoran set ujian dan konteks yang tiada, lihat panduan penilaian set data kami.
sapien1 membantu pasukan menentukan skop keperluan data, mengenal pasti sumber yang berpotensi dan menilai sampel. Mulakan dengan tugas, contoh yang anda perlukan dan keputusan yang perlu disokong oleh sampel. Pemilik data yang sedang membuat persediaan untuk perbincangan boleh menggunakan panduan persediaan pelesenan data kami.