Nilai kesesuaian set data AI dengan tugas yang ingin dilaksanakan
Bahasa: Bahasa Melayu
Kongsikan tujuan penggunaan anda, skema dan penerangan tentang sampel. Kami boleh menetapkan skop semakan liputan, kualiti dan kebenaran, dengan penemuan yang menerangkan penggunaan yang disokong oleh bukti tersebut. Terangkan projek anda kepada sapien1
Penilaian set data menyemak sama ada data sedia ada boleh menyokong keputusan tertentu tentang latihan, dapatan semula maklumat atau penilaian. Mulakan dengan tugas yang disasarkan, kemudian teliti contoh, konteks dan labelnya, liputannya serta cara data dibahagikan.
Sebagai contoh, set ujian mungkin kelihatan lengkap walaupun mengandungi kes yang telah dilihat oleh model semasa latihan. Perkara ini penting apabila ujian bertujuan menganggarkan prestasi pada kes baharu. Semakan yang baik menyatakan perkara yang diperiksa, perkara yang perlu dibaiki dan kesimpulan yang boleh disokong oleh bukti yang masih ada.
Mulakan dengan keputusan yang hendak dibuat
Catat tujuan penggunaan set data. Rekod yang sama mungkin berguna untuk satu tujuan dan tidak mencukupi untuk tujuan lain.
| Tujuan penggunaan | Soalan yang perlu dijawab |
|---|---|
| Latihan atau penalaan halus | Adakah contoh dan label menggambarkan tingkah laku yang perlu dipelajari oleh model? |
| Penilaian model atau ejen | Bolehkah hasil yang dijangka disemak, dan adakah kes ujian bebas daripada bahan yang digunakan untuk melatih atau menala sistem? |
| Dapatan semula maklumat | Adakah kandungannya terkini, boleh ditafsir dan tersedia apabila diperlukan oleh sistem? |
Catat versi set data, sumber, julat tarikh, medan dan sekatan yang diketahui. Kad set data boleh menerangkan kandungan, konteks dan metadata. Bandingkannya dengan fail sebenar serta sebarang terma penggunaan yang berkaitan.
Sebagai contoh semakan dokumentasi, lihat repositori lerobot/svla_so101_pickplace pada semakan f641879, yang diperiksa pada 17 November 2026. Kad set data menunjukkan contoh metadata dengan codebase_version v2.1 dan laluan fail berasaskan episod. Metadata sebenar pada semakan yang sama menyenaraikan codebase_version v3.0 dan laluan fail berasaskan cebisan data. Direktori data mengandungi sebuah fail yang dinamakan mengikut pola tersebut. Semak metadata dan fail bagi semakan repositori yang ingin digunakan sebelum bergantung pada laluan yang disalin daripada kad. Perbandingan ini tidak menentukan mutu contoh atau kesesuaiannya untuk latihan.
Sebelum menggabungkan rakaman robot, semak makna saluran tindakan dan keadaan serta tempoh yang diwakili oleh bilangan langkah yang tetap. FineART dan set data simulasi ALOHA sama-sama mengisytiharkan aloha serta vektor tindakan dan keadaan float32 dengan 14 unsur. FineART mengisytiharkan 30 bingkai sesaat dan set data simulasi mengisytiharkan 50. Jika setiap langkah bergerak satu selang bingkai pada kadar yang dinyatakan, tempoh 15 langkah meliputi 0.5 saat dalam satu set data dan 0.3 saat dalam set yang satu lagi. Semak pemasaan yang direkodkan dan cara saluran pemprosesan anda memilih langkah sebelum menganggap julat dari kedua-dua sumber setara. Metadata FineART · Metadata simulasi ALOHA
Semak pembahagian dan konteks melalui contoh
Andaikan sebuah pasukan ingin menggunakan set data sokongan pelanggan berlabel yang sedia ada untuk menyemak ejen sebelum dikeluarkan bagi mengendalikan perbualan baharu. Set data itu mengandungi 120 contoh, iaitu 90 contoh latihan dan 30 contoh dalam set ujian yang dicadangkan. Setiap contoh sepatutnya mempunyai ID kes, ID perbualan, versi dasar yang terpakai dan tindakan seterusnya yang dijangka.
Contoh ini rekaan. Pasukan menyemak 30 kes ujian dan membandingkannya dengan set latihan. Berikut ialah penemuannya.
| Semakan | Penemuan | Maknanya bagi keputusan ini |
|---|---|---|
| Kes berulang | Empat kes ujian disahkan sebagai salinan kes dalam set latihan. | Keempat-empat kes itu sudah ada dalam data latihan. |
| Perbualan bertindih | Tiga kes ujian lain mempunyai ID kes berbeza tetapi berasal daripada perbualan yang terdapat dalam set latihan. | Ini merupakan padanan tambahan antara set dalam ujian untuk perbualan baharu. |
| Konteks dasar | Dua daripada baki 23 kes ujian tidak mempunyai pautan kepada versi dasar. | Konteks yang direkodkan belum membolehkan penyemak mengesahkan tindakan yang dijangka berdasarkan dasar yang berkenaan. |
Dua semakan pertama menandakan tujuh kes ujian yang berlainan dan meninggalkan 23 tanpa padanan itu. Dua daripada 23 kes tersebut tiada konteks dasar. Maka, terdapat 21 kes ujian yang tidak ditandakan oleh semakan ini. Bilangan itu belum membuktikan bahawa labelnya betul, liputannya mencukupi atau 21 kes memadai untuk membuat keputusan pengeluaran.
Pasukan perlu menangguhkan penggunaan set semasa sebagai semakan bebas bagi perbualan baharu sebelum pengeluaran. Asingkan kes yang ditandakan untuk disemak dan dapatkan semula konteks yang hilang atau selesaikan isu tersebut. Semak kes mana yang telah dilihat oleh model dan pasukan pembangunan. Menyusun semula fail tidak memadamkan penggunaan terdahulu. Dalam pembahagian baharu, kekalkan setiap perbualan dalam satu set dan semak kes ujian berbanding rekod latihan dan pemilihan model. Jika asal usul data latihan terdahulu tidak dapat disahkan, rekodkan batasan itu. Jika keputusan sedia ada mempengaruhi penalaan, asingkan kes baharu yang tidak digunakan dalam keputusan tersebut. Latih semula dengan data yang dipisahkan jika perlu.
Panduan Google tentang pembahagian set data menerangkan bagaimana contoh pendua dalam latihan dan ujian boleh membuat keputusan kelihatan lebih baik daripada prestasi pada contoh baharu. Panduan scikit-learn tentang pengesahan silang berkumpulan menerangkan cara mengekalkan pemerhatian daripada kumpulan yang sama bersama-sama apabila menilai prestasi pada kumpulan yang belum dilihat. Kumpulan yang relevan bergantung pada soalannya dan boleh merujuk kepada perbualan, pelanggan atau dokumen. Jika ujian kapsyen imej sepatutnya menggunakan imej yang tiada dalam set latihan, kekalkan semua kapsyen bagi setiap imej bersama-sama. Jika baris kapsyen dibahagi secara berasingan, imej yang sama boleh muncul dalam kedua-dua set. Untuk ujian yang menyasarkan data masa hadapan, gunakan pembahagian mengikut masa agar latihan tidak mengandungi pemerhatian selepas tempoh ujian.
Andaikan pasukan itu juga ingin menguji perbualan baharu selepas tarikh pemisah. Dalam pembahagian baharu, perbualan A mempunyai rekod sebelum dan selepas tarikh pemisah. Kes pertama yang direkodkan bagi perbualan B muncul selepas tarikh tersebut. Satu pilihan ialah mengecualikan A daripada kedua-dua set dan menyimpan B untuk ujian, asalkan rekod B belum digunakan untuk latihan atau pemilihan model. Kekalkan data latihan dari sebelum tarikh pemisah dan semak seluruh set ujian bagi penggunaan terdahulu. Catat pengecualian dan semak sama ada baki kes meliputi kegunaan yang disasarkan. Ujian berasingan yang mematuhi turutan masa boleh menilai perbualan yang masih berlangsung. Jika sejarah yang tersedia tidak lengkap, mungkin tidak dapat dipastikan bahawa B benar-benar baharu.
Semak pengagihan sebenar alat pembahagian sebelum menganggap pecahan yang tidak dinyatakan akan diasingkan sebagai set simpanan. Sebagai contoh, fungsi pembahagian pecahan LeRobot pada semakan 7910c20 mengagihkan kesemua 50 episod dalam set rekaan apabila diberikan train: 0.6 diikuti test: 0.2. Sebanyak 30 episod masuk ke latihan dan 20 ke ujian, tanpa baki yang tidak diagihkan. Alat atau versi lain mungkin berbeza, dan set kecil boleh memerlukan pembundaran atau pengagihan semula. Semak keahlian sebenar setiap set. Jika kumpulan perlu kekal bersama, pilih dan rekodkan senarai episod yang mengekalkan kumpulan tersebut.
Nota penyelidikan LeRobot menunjukkan bagaimana pemproses Diffusion yang baharu boleh menerima statistik penormalan yang disimpan. Nota itu membandingkan julat statistik tersebut dengan ringkasan episod latihan dalam pembahagian hipotesis yang mengasingkan set simpanan. Semak asal usul dan skop statistik yang dimuatkan oleh pemproses anda.
Semak label dan liputan
Bagi data berlabel, bandingkan sampel jawapan yang dijangka dengan arahan dan bukti yang digunakan untuk menghasilkannya. Pakar bidang boleh menyiasat konteks yang hilang, label yang tidak konsisten dan kes yang jawapan betulnya memang samar. Catat percanggahan dan cara percanggahan itu diselesaikan. Persetujuan antara penyemak berguna, dan ketepatan label perlu disemak berdasarkan bukti. Kajian tentang pengurusan mutu anotasi membincangkan semakan, persetujuan dan penyelesaian pertikaian sebagai bahagian berasingan dalam proses itu.
Label kelas berangka memerlukan pemetaan ID kepada nama dan takrif kelas. Bandingkan takrif dan ID antara versi dan pecahan set data serta dengan pemetaan yang dijangka oleh model. Dokumentasikan sebarang perubahan pemetaan ID dan cara anda menangani kelas yang tiada atau digabungkan. Panduan set data Ultralytics Platform menyatakan bahawa penggabungan atau pemadaman kelas boleh mengubah ID selepasnya. Oleh itu, eksport lama mungkin tidak sepadan dengan senarai kelas yang dikemas kini. Sahkan pemetaan dalam eksport dan saluran pemprosesan anda sendiri.
Semak sama ada set data meliputi keadaan yang berkaitan dengan kegunaan yang disasarkan, seperti permintaan lazim, pengecualian penting, bahasa, tempoh masa atau kumpulan lain yang relevan. Kumpulan yang mempunyai sedikit contoh mungkin memerlukan data tambahan atau analisis berasingan. Bilangan contoh yang diperlukan boleh berbeza antara kumpulan.
Dokumentasikan cara contoh untuk semakan dipilih. Set yang dipilih secara manual boleh membantu mengesan masalah, tetapi kadar ralatnya tidak boleh dianggap sebagai kadar ralat seluruh set data. Panduan persampelan Google menerangkan bagaimana pemilihan sampel boleh memesongkan kesimpulan tentang populasi yang lebih besar.
Sampel rawak juga boleh terlepas ralat. Andaikan satu kelompok rekaan yang berasingan mengandungi 120 rekod dan enam daripadanya mempunyai label yang salah. Jika 20 rekod berbeza dipilih secara rawak dengan peluang yang sama tanpa pengembalian, kira-kira 33% sampel tidak mengandungi mana-mana daripada enam rekod itu. Memilih 47 rekod mengurangkan peluang terlepas kesemua enam kepada kurang daripada 5%, dengan syarat penyemak mengenal pasti setiap label salah dalam rekod yang dipilih. Ini contoh perancangan dengan andaian enam ralat. Sampel yang bersih tidak menetapkan bahawa terdapat tepat enam ralat atau membuktikan baki rekod bebas ralat. Pilih saiz sampel mengikut kekerapan ralat dan risiko terlepasnya yang relevan untuk keputusan anda. Catat cara contoh dipilih dan disemak. Pengenalan kepada persampelan daripada NIST membincangkan pemilihan dan saiz sampel, manakala kajian tentang mutu anotasi menerangkan penganggaran mutu secara statistik dan persampelan penerimaan.
Membandingkan skor bacaan merentas bahasa
Tentukan perkara yang perlu diubah
Jadikan penemuan itu tindakan yang boleh diambil oleh pasukan.
- Baiki. Dapatkan semula konteks yang hilang, betulkan ralat yang disahkan atau kemas kini arahan pelabelan, kemudian semak semula rekod yang terlibat.
- Hadkan. Gunakan set data hanya untuk tugas atau bahagian data yang boleh disokongnya, dan nyatakan jurang yang diketahui.
- Tangguhkan penggunaan. Kecualikan set data daripada latihan atau keputusan pengeluaran yang disasarkan sehingga isu yang penting selesai.
- Tambah data. Kumpul atau dapatkan contoh bagi keadaan yang belum diliputi, atau bina set ujian baharu yang belum digunakan untuk latihan atau penalaan.
Pastikan versi asal dan versi yang disemak dapat dikenal pasti. Catat semakan, kaedah pemilihan, penemuan, keputusan penyemak dan soalan yang belum diselesaikan supaya pasukan lain memahami perubahan dan sebabnya.
Sahkan set data Parquet yang ditulis semula
Jika penghantaran Parquet ditulis semula, kenal pasti ciri yang perlu dikekalkan oleh fail baharu untuk tugas anda. Catat versi fail asal dan versi yang disemak, kemudian jalankan semakan dengan pembaca yang digunakan oleh pasukan pada peringkat seterusnya. Contoh berikut menggunakan data rekaan.
- Medan sumber. Simpan skema setiap fail asal jika anda perlu membezakan medan yang tiada daripada nilai null yang dinyatakan secara eksplisit. Dalam contoh DuckDB 1.4.4, menukar sumber yang tidak mengandungi medan tertentu menghasilkan fail gabungan yang sama sepenuhnya walaupun nama sumber dikekalkan. Skema asal mengenal pasti kedua-dua perubahan itu. Penggabungan skema DuckDB
- Pasangan kes dan label. Semak bahawa ID kes tersedia dan unik, padankan dengan senarai yang dijangka dan bandingkan label mengikut ID. Dua penulisan semula dalam contoh lapan baris mengekalkan metadata pengaki dan kiraan label yang sama. Dalam satu hasil, dua label berpindah ke kes lain. Dalam hasil yang satu lagi, penyusunan semula baris secara utuh mengekalkan setiap pasangan. Susun atur fail Parquet
- Nombor yang dinyahkod. Semak jenis logik dan bandingkan nilai nombor yang akan dibaca. Dalam contoh perpuluhan, pertukaran skala daripada 2 kepada 3 menukar 12.34 menjadi 1.234 walaupun integer yang disimpan dan bait cebisan lajur kekal sama. Spesifikasi perpuluhan Parquet
- Tarikh tempatan. Jika laporan mengumpulkan peristiwa mengikut hari tempatan, bandingkan hari bagi setiap peristiwa dalam zon waktu yang dipersetujui. Dengan PyArrow 26.0.1, dua peristiwa mengekalkan detik asal selepas penulisan semula tanpa metadata skema Arrow. Bacaan UTC meletakkan kedua-duanya pada 1 Julai. Zon waktu New York yang dipersetujui memulihkan pengelasan kepada 30 Jun dan 1 Julai. Pilihan penulis PyArrow
Asaskan setiap semakan pada ciri yang dipersetujui. Jika turutan boleh berubah, penyusunan semula yang mengekalkan pasangan melepasi semakan kes dan label. Jika kontrak memerlukan semakan kewujudan medan bagi setiap sumber dan skema asal tidak tersedia, tangguhkan semakan tersebut sehingga bukti dipulihkan.
Semak penukaran data COCO
Apabila menukar set data pengesanan objek COCO, bandingkan pemetaan imej asal dengan pemetaan dalam eksport. Semak bahawa setiap imej asal mempunyai satu ID berangka yang unik dalam eksport dan anotasi serta ramalannya masih merujuk kepada imej yang betul. Apabila pemetaan ID tersimpan dikonfigurasi, pengeksport FiftyOne yang diuji menukar 01 dan 1 kepada integer yang sama. Indeks COCO yang diuji mengekalkan baris imej terakhir bagi ID tersebut dan mengumpulkan anotasi di bawahnya. Selesaikan pertindihan ID sebelum mengira skor. Pengeksport FiftyOne · Indeks COCO
Kekalkan ID asal jika boleh. Jika ID mesti diubah, kekalkan turutan angka relatifnya dan kira semula purata kejituan (AP) bagi data asal dan data yang ditukar. Gunakan semakan dan tetapan penilai yang sama serta skor ramalan yang tidak dibundarkan, dengan ramalan dipadankan kepada imej yang betul dalam setiap pengiraan. Sertakan satu semakan kecil menggunakan dua pengesanan dalam kategori yang sama pada imej berlainan, dengan skor keyakinan yang sama. Satu pengesanan mesti sepadan dengan anotasi rujukan dan satu lagi positif palsu. Penilai COCO yang diuji mengisih ID dan mengekalkan turutan itu apabila skor antara imej seri. Oleh itu, penomboran semula boleh mengubah AP walaupun padanan pengesanan tidak berubah. Selesaikan sebarang perbezaan skor sebelum membandingkan kedua-dua versi. Turutan imej COCO · Pengumpulan skor COCO
Panduan berkaitan
sapien1 membantu pasukan menilai set data dan merancang penilaian mengikut tugas yang perlu dilaksanakan oleh sistem AI. Selepas meneliti data, lihat panduan penilaian ejen kami untuk langkah seterusnya. Jika semakan mendedahkan jurang data, panduan pemerolehan data kami boleh membantu anda menyatakan data yang perlu dicari.