Evaluasi kecocokan dataset AI dengan tugas yang akan dijalankan
Bahasa: Bahasa Indonesia
Sampaikan tujuan penggunaan, skema, dan deskripsi sampelmu. Kami dapat menentukan cakupan peninjauan atas cakupan, kualitas, dan izin, dengan temuan yang menjelaskan penggunaan apa saja yang didukung oleh bukti tersebut. Jelaskan proyekmu kepada sapien1
Evaluasi dataset memeriksa apakah data yang sudah Anda miliki dapat mendukung keputusan tertentu tentang pelatihan, pengambilan informasi, atau evaluasi. Mulailah dengan tugas yang dituju, lalu periksa contoh, konteks dan labelnya, cakupannya, serta cara data dibagi.
Misalnya, set uji mungkin tampak lengkap meskipun memuat kasus yang sudah dilihat model saat pelatihan. Hal ini penting jika pengujian bertujuan memperkirakan kinerja pada kasus baru. Tinjauan yang baik merinci apa yang diperiksa, apa yang perlu diperbaiki, dan kesimpulan apa yang masih didukung oleh bukti.
Mulai dari keputusan yang akan diambil
Catat untuk apa dataset itu akan digunakan. Kumpulan catatan yang sama dapat berguna untuk satu tujuan dan kurang memadai untuk tujuan lain.
| Tujuan penggunaan | Pertanyaan yang perlu dijawab |
|---|---|
| Pelatihan atau penyetelan lanjutan | Apakah contoh dan label menggambarkan perilaku yang perlu dipelajari model? |
| Evaluasi model atau agen | Dapatkah hasil yang diharapkan diperiksa, dan apakah kasus uji independen dari materi yang dipakai untuk melatih atau menyetel sistem? |
| Pengambilan informasi | Apakah kontennya mutakhir, dapat ditafsirkan, dan tersedia saat sistem membutuhkannya? |
Catat versi dataset, sumber, rentang tanggal, bidang data, dan batasan yang diketahui. Kartu dataset dapat mendokumentasikan isi, konteks, dan metadata. Bandingkan kartu tersebut dengan berkas sebenarnya dan ketentuan penggunaan yang berlaku.
Sebagai contoh pemeriksaan dokumentasi, lihat repositori lerobot/svla_so101_pickplace pada revisi f641879, yang diperiksa pada 17 November 2026. Kartu dataset memuat contoh metadata dengan codebase_version v2.1 dan jalur berkas berbasis episode. Metadata sebenarnya pada revisi yang sama mencantumkan codebase_version v3.0 dan jalur berkas berbasis potongan. Direktori data berisi sebuah berkas yang namanya mengikuti pola itu. Periksa metadata dan berkas pada revisi repositori yang akan digunakan sebelum mengandalkan jalur yang disalin dari kartu. Perbandingan ini belum menetapkan mutu contoh maupun kelayakannya untuk pelatihan.
Sebelum menggabungkan rekaman robot, periksa arti kanal aksi dan keadaan serta durasi yang diwakili oleh sejumlah langkah tertentu. FineART dan dataset ALOHA hasil simulasi sama-sama mendeklarasikan aloha serta vektor aksi dan keadaan float32 berdimensi 14. FineART mendeklarasikan 30 frame per detik, sedangkan dataset simulasi mendeklarasikan 50. Jika setiap langkah maju satu interval frame pada laju yang dinyatakan, rentang 15 langkah mencakup 0,5 detik di satu dataset dan 0,3 detik di dataset lain. Periksa waktu yang tercatat dan cara pipeline memilih langkah sebelum menyamakan rentang data dari kedua sumber. Metadata FineART · Metadata ALOHA hasil simulasi
Periksa pembagian dan konteks melalui contoh
Misalkan sebuah tim ingin memakai dataset dukungan pelanggan berlabel yang sudah ada sebagai pemeriksaan sebelum merilis agen untuk menangani percakapan baru. Dataset tersebut berisi 120 contoh, dengan 90 contoh pelatihan dan 30 contoh di set uji yang diusulkan. Setiap contoh semestinya memuat ID kasus, ID percakapan, versi kebijakan yang berlaku, dan tindakan berikutnya yang diharapkan.
Contoh ini fiktif. Tim memeriksa 30 kasus uji dan membandingkannya dengan set pelatihan. Berikut hasilnya.
| Pemeriksaan | Temuan | Artinya bagi keputusan ini |
|---|---|---|
| Kasus berulang | Empat kasus uji dipastikan merupakan salinan kasus yang ada dalam set pelatihan. | Keempat kasus itu sudah tercakup dalam data pelatihan. |
| Percakapan yang sama | Tiga kasus uji lain memiliki ID kasus berbeda, tetapi berasal dari percakapan yang ada dalam set pelatihan. | Ini menambah kecocokan lintas set pada pengujian yang bertujuan mencakup percakapan baru. |
| Konteks kebijakan | Dua dari 23 kasus uji yang tersisa tidak memiliki tautan ke versi kebijakan. | Dengan konteks yang tercatat, peninjau belum dapat memeriksa tindakan yang diharapkan berdasarkan kebijakan yang relevan. |
Dua pemeriksaan pertama menandai tujuh kasus uji yang berbeda, menyisakan 23 kasus tanpa kecocokan tersebut. Dua dari 23 kasus itu tidak memiliki konteks kebijakan, sehingga tersisa 21 kasus uji yang tidak ditandai oleh pemeriksaan ini. Jumlah tersebut belum memastikan kebenaran label, kecukupan cakupan, maupun apakah 21 kasus cukup untuk mengambil keputusan rilis.
Tim perlu menunda penggunaan set saat ini sebagai pemeriksaan rilis yang independen untuk percakapan baru. Pisahkan kasus yang ditandai untuk ditinjau dan pulihkan konteks yang hilang atau selesaikan masalahnya. Periksa kasus mana yang sudah pernah dilihat model dan tim pengembangan. Mengatur ulang berkas saja tidak menghapus riwayat penggunaan kasus tersebut. Dalam pembagian baru, jaga agar seluruh bagian tiap percakapan tetap di satu set dan cocokkan kasus uji dengan catatan data pelatihan dan pemilihan model. Bila asal-usul data pelatihan sebelumnya tidak dapat diperiksa, catat keterbatasan itu. Jika hasil yang ada sudah memengaruhi penyetelan, sisihkan kasus baru yang tidak dipakai dalam keputusan tersebut. Latih ulang dengan data yang dipisahkan bila perlu.
Panduan Google tentang pembagian dataset menjelaskan bagaimana contoh yang sama dalam data pelatihan dan pengujian dapat membuat hasil terlihat lebih baik daripada kinerja pada contoh baru. Panduan validasi silang berkelompok dari scikit-learn menjelaskan cara mempertahankan observasi terkait dari grup yang sama dalam satu set saat mengukur kinerja pada grup yang belum pernah dilihat. Kelompok yang tepat bergantung pada pertanyaannya, misalnya percakapan, pelanggan, atau dokumen. Jika pengujian keterangan gambar harus memakai gambar yang tidak ada di set pelatihan, jaga agar semua keterangan untuk setiap gambar tetap bersama. Membagi baris keterangan secara terpisah dapat menempatkan gambar yang sama di set pelatihan dan set uji. Untuk pengujian yang berorientasi ke masa depan, gunakan pembagian yang mengikuti urutan waktu agar pelatihan tidak mencakup observasi setelah periode uji.
Misalkan tim juga ingin menguji percakapan baru setelah suatu batas waktu. Dalam pembagian baru, percakapan A memiliki catatan sebelum dan sesudah batas waktu, sedangkan kasus pertama yang tercatat untuk percakapan B muncul setelah batas itu. Salah satu pilihan adalah mengeluarkan A dari kedua set dan menyimpan B untuk pengujian, selama catatan B belum dipakai untuk pelatihan atau pemilihan model. Gunakan data pelatihan dari sebelum batas waktu dan periksa seluruh set uji untuk mengetahui apakah ada yang telah dipakai. Catat data yang dikeluarkan dan periksa apakah kasus yang tersisa mencakup penggunaan yang dituju. Pengujian terpisah yang mengikuti urutan waktu dapat menilai percakapan yang masih berlanjut. Jika riwayat tidak lengkap, mungkin tidak dapat dipastikan bahwa B benar-benar baru.
Periksa pembagian yang benar-benar dibuat alat sebelum menganggap porsi yang tidak ditentukan akan disisihkan untuk uji terpisah. Sebagai contoh, fungsi pembantu pembagian berdasarkan fraksi di LeRobot pada revisi 7910c20 membagi seluruh 50 episode dari set fiktif saat diberi train: 0.6 lalu test: 0.2. Sebanyak 30 masuk ke set pelatihan dan 20 ke set uji, tanpa episode tersisa. Alat atau versi lain dapat berperilaku berbeda, dan set kecil bisa memerlukan pembulatan atau pembagian ulang. Periksa episode yang benar-benar masuk ke tiap set. Jika anggota satu grup harus tetap bersama, pilih dan catat daftar episode yang menjaga keutuhan grup tersebut.
Catatan riset LeRobot menelusuri bagaimana prosesor Diffusion yang baru dibuat dapat menerima statistik normalisasi tersimpan. Catatan tersebut membandingkan rentang nilainya dengan ringkasan episode pelatihan dalam pembagian hipotetis yang menyisihkan data uji. Periksa asal dan cakupan statistik yang dimuat prosesor Anda.
Tinjau label dan cakupan
Untuk data berlabel, bandingkan sampel jawaban yang diharapkan dengan instruksi dan bukti yang dipakai saat membuat label. Peninjau yang memahami bidangnya dapat memeriksa konteks yang hilang, label yang tidak konsisten, dan kasus yang jawaban benarnya memang ambigu. Catat perbedaan pendapat dan cara penyelesaiannya. Kesepakatan antarpeninjau berguna, sedangkan kebenaran label perlu diperiksa berdasarkan bukti. Riset tentang pengelolaan mutu anotasi membahas peninjauan, kesepakatan, dan penyelesaian perbedaan sebagai bagian yang berbeda.
Label kelas numerik memerlukan pemetaan dari ID ke nama dan definisi kelas. Bandingkan definisi dan ID itu antarversi dan antarset, serta dengan pemetaan yang diharapkan model. Catat setiap perubahan pemetaan ID dan cara menangani kelas yang hilang atau digabung. Panduan dataset Ultralytics Platform menyebutkan bahwa penggabungan atau penghapusan kelas dapat menggeser ID setelahnya, sehingga ekspor lama mungkin tidak lagi cocok dengan daftar kelas terbaru. Verifikasi pemetaan di berkas ekspor dan pipeline Anda.
Periksa apakah dataset mencakup situasi yang relevan dengan penggunaan yang dituju, seperti permintaan umum, pengecualian penting, bahasa, periode waktu, atau kelompok lain yang bermakna. Kelompok dengan sedikit contoh mungkin memerlukan tambahan data atau analisis terpisah. Jumlah contoh yang dibutuhkan dapat berbeda antar kelompok.
Dokumentasikan cara memilih contoh untuk ditinjau. Set yang dipilih secara manual dapat membantu menemukan masalah, tetapi tingkat kesalahannya tidak boleh dianggap sebagai tingkat kesalahan seluruh dataset. Panduan pengambilan sampel Google menjelaskan bagaimana cara pemilihan dapat mendistorsi kesimpulan tentang populasi yang lebih besar.
Sampel acak pun dapat melewatkan kesalahan. Misalkan ada kelompok terpisah berisi 120 catatan fiktif, dengan enam label salah. Bila 20 catatan berbeda dipilih secara acak dengan peluang yang sama tanpa pengembalian, sekitar 33% sampel tidak memuat satu pun dari keenam catatan tersebut. Memilih 47 catatan menurunkan peluang melewatkan semuanya hingga di bawah 5%, asalkan peninjau menemukan setiap label yang salah di catatan yang terpilih. Contoh perencanaan ini mengasumsikan enam kesalahan. Sampel yang tampak bersih tidak menetapkan bahwa jumlah kesalahannya tepat enam atau membuktikan bahwa catatan lain bebas dari kesalahan. Pilih ukuran sampel berdasarkan frekuensi kesalahan dan peluang meleset yang relevan bagi keputusan Anda. Catat cara memilih dan meninjau contoh. Pengantar pengambilan sampel dari NIST membahas pemilihan dan ukuran sampel, sedangkan riset tentang mutu anotasi menjelaskan estimasi mutu secara statistik dan pengambilan sampel untuk keputusan penerimaan.
Membandingkan skor membaca antarbahasa
Tentukan apa yang perlu diubah
Ubah temuan menjadi tindakan yang dapat dilakukan tim.
- Perbaiki. Pulihkan konteks yang hilang, betulkan kesalahan yang terverifikasi atau perbarui petunjuk pelabelan, lalu periksa kembali catatan yang terdampak.
- Batasi. Gunakan dataset hanya untuk tugas atau bagian data yang dapat didukungnya dan jelaskan kesenjangan yang diketahui.
- Tunda. Jangan gunakan dataset dalam pelatihan yang direncanakan atau untuk keputusan rilis sampai masalah yang berdampak diselesaikan.
- Tambah data. Kumpulkan atau cari contoh untuk situasi yang belum tercakup, atau buat set uji baru yang belum digunakan untuk pelatihan atau penyetelan.
Pastikan versi asli dan versi revisi tetap dapat diidentifikasi. Catat pemeriksaan, metode pemilihan, temuan, keputusan peninjau, dan pertanyaan yang belum terselesaikan agar tim lain memahami apa yang berubah dan alasannya.
Verifikasi dataset Parquet yang ditulis ulang
Jika kiriman Parquet ditulis ulang, identifikasi properti yang harus dipertahankan oleh berkas baru untuk tugas Anda. Catat versi berkas asli dan versi revisi, lalu lakukan pemeriksaan dengan pembaca berkas yang dipakai tim pada tahap berikutnya. Contoh berikut memakai data rekaan.
- Bidang sumber. Simpan skema setiap berkas asli jika Anda harus membedakan bidang yang tidak ada dari nilai null eksplisit. Dalam contoh DuckDB 1.4.4, menukar sumber mana yang tidak memuat suatu bidang menghasilkan berkas gabungan yang identik, meskipun nama sumber dipertahankan. Skema asli mengungkap kedua perubahan itu. Penggabungan skema di DuckDB
- Pasangan kasus dan label. Periksa kelengkapan dan keunikan ID kasus, cocokkan dengan daftar yang diharapkan, lalu bandingkan label berdasarkan ID. Dua hasil penulisan ulang dalam contoh delapan baris kami mempertahankan metadata footer dan jumlah setiap label yang sama. Pada salah satunya, dua label berpindah ke kasus lain. Pada hasil lainnya, mengubah urutan baris secara utuh mempertahankan setiap pasangan. Tata letak berkas Parquet
- Angka hasil dekode. Periksa tipe logis dan bandingkan nilai angka yang akan dibaca. Dalam contoh desimal kami, perubahan skala dari 2 ke 3 mengubah 12,34 menjadi 1,234, meskipun bilangan bulat yang tersimpan dan byte potongan kolom tetap sama. Spesifikasi desimal Parquet
- Tanggal lokal. Jika laporan mengelompokkan kejadian menurut tanggal lokal, bandingkan tanggal tiap kejadian dalam zona waktu yang disepakati. Dengan PyArrow 26.0.1, dua kejadian tetap menunjuk saat yang sama sesudah penulisan ulang tanpa metadata skema Arrow. Pembacaan dalam UTC menempatkan keduanya pada 1 Juli. Zona waktu New York yang disepakati memulihkan pengelompokan ke 30 Juni dan 1 Juli. Opsi penulisan PyArrow
Dasarkan setiap pemeriksaan pada properti yang disepakati. Jika urutan boleh berubah, pengurutan ulang yang mempertahankan pasangan lolos pemeriksaan kasus dan label. Jika kontrak mensyaratkan pemeriksaan keberadaan bidang per sumber dan skema asli tidak tersedia, tunda pemeriksaan tersebut sampai buktinya ditemukan.
Periksa konversi data COCO
Saat mengonversi dataset deteksi objek COCO, bandingkan pemetaan gambar asli dan hasil ekspor. Periksa apakah tiap gambar sumber memiliki satu ID numerik yang unik pada hasil ekspor dan apakah anotasi serta prediksinya masih merujuk ke gambar yang dimaksud. Jika peta ID tersimpan dikonfigurasi, eksportir FiftyOne yang diuji mengubah 01 dan 1 menjadi bilangan bulat yang sama. Indeks COCO yang diuji mempertahankan baris gambar terakhir untuk ID tersebut dan mengelompokkan anotasi di bawah ID itu. Selesaikan duplikasi ID sebelum menghitung skor. Eksportir FiftyOne · Indeks COCO
Pertahankan ID asli jika memungkinkan. Jika ID harus berubah, pertahankan urutan numerik relatifnya dan hitung ulang average precision (AP) pada data asli dan hasil konversi. Gunakan revisi dan pengaturan evaluator yang sama serta skor prediksi tanpa pembulatan, dengan setiap prediksi dipetakan ke gambar yang sesuai pada tiap penghitungan. Sertakan pengujian kecil dengan dua deteksi yang memiliki skor keyakinan sama, berada dalam kategori yang sama, dan berasal dari gambar yang berbeda. Satu deteksi harus cocok dengan anotasi acuan dan satu lagi merupakan positif palsu. Evaluator COCO yang diuji mengurutkan ID dan mempertahankan urutan itu jika skor antargambar sama. Karena itu, penomoran ulang dapat mengubah AP sementara kecocokan deteksi tetap sama. Selesaikan perbedaan skor sebelum membandingkan kedua versi. Urutan gambar COCO · Akumulasi skor COCO
Panduan terkait
sapien1 membantu tim menilai dataset dan merencanakan evaluasi sesuai pekerjaan yang harus dilakukan sistem AI. Setelah meninjau data, lihat panduan evaluasi agen kami untuk langkah berikutnya. Jika tinjauan menemukan kesenjangan data, panduan pengadaan data kami dapat membantu Anda menentukan data yang perlu dicari.