Riset
Satu gambar bisa menjadi dua ID gambar COCO
Dalam konversi Label Studio SDK 2.1.2 yang terkontrol, dua penilaian kotak yang valid untuk satu tugas dan satu gambar lokal menghasilkan dua ID gambar COCO. Kedua baris gambar memuat jalur file yang persis sama. Setiap kotak merujuk ke ID gambar yang berbeda dan dibuat oleh konverter. Indeks Python COCO dengan versi yang ditetapkan kemudian mencantumkan kedua ID secara terpisah. Dalam fixture ini, saat LABEL_STUDIO_FORCE_ANNOTATOR_EXPORT tidak diatur, baris kotak memuat ID anotasi yang dibuat dan tidak menyertakan ID penilaian maupun pelaku aslinya. Baris gambar konverter · Baris kotak · Indeks COCO · ID gambar tanpa filter
| Sumber untuk satu gambar | Hasil COCO | Indeks COCO tanpa filter |
|---|---|---|
| Dua penilaian berbeda | Dua baris untuk jalur yang sama, dengan hasil B pada ID 0 dan A pada ID 1 | ID 0 dan 1 |
| Dua penilaian sama | Dua baris untuk jalur yang sama, dengan hasil A pada kedua ID | ID 0 dan 1 |
| Satu penilaian dipilih | Satu baris untuk jalur tersebut, dengan hasil A pada ID 0 | ID 0 |
Konverter menghasilkan satu item untuk setiap penilaian yang memenuhi syarat. Pada cabang yang diuji, konverter mengalokasikan ID gambar dan menambahkan entri gambar baru untuk setiap item. Penilaian yang sama maupun berbeda menghasilkan dua ID. Fixture YOLO pasangannya mengirim dua penilaian berbeda untuk satu gambar ke satu jalur output, tempat penulisan lama yang berhasil menggantikan penulisan yang lebih baru. Hitung jalur gambar berbeda yang dikirim dan periksa pemetaan penilaian sumber ke gambar saat dataset seharusnya memuat satu baris per gambar asli. ID numerik yang unik saja tidak memastikan hal tersebut. Skor evaluasi bergantung pada cara pemanggilnya menggunakan ID, dan tidak ada skor yang diukur di sini. Proyeksi anotasi bersama
Jalankan python3 -B check-coco-identity.py | cmp - coco-identity-observations.json dengan pemeriksaan kegagalan pipeline. Pemeriksa, SHA-256 fb6f5a0eb3b8f269576353203f40e81b46515e55182f9b377b45ba34e4925d82, menggunakan proyeksi anotasi, geometri persegi panjang, dan penulis COCO yang persis sama dengan SDK versi yang ditetapkan, serta indeks dan kueri ID yang persis sama dengan sumber Python COCO versi yang ditetapkan. Pengganti lokal untuk ukuran gambar menyediakan ukuran 100 kali 100 bagi gambar fiktif yang tetap. Bukti hasil membandingkan jalur lengkap gambar sumber sebelum menormalkannya menjadi nama file dasar yang stabil. Dua kali pengujian lokal dan satu pengulangan independen menghasilkan kecocokan byte demi byte untuk ketiga kasus. Hasil pengamatan yang disimpan, SHA-256 bb4b13aae5a7c471507f1ebcdb9cac2dcd7c2fe62f232489b0a00078ec12e222.
Laporan sebelumnya mendokumentasikan efek penilaian lama pada YOLO. Pencarian terkait COCO menemukan laporan terkait tentang hasil kosong yang ambigu dan anotasi tambahan dari mask kuas yang terlepas. Studi percontohan ini memeriksa ID gambar untuk beberapa penilaian atas satu gambar. Studi ini menggunakan kode SDK Apache-2.0 dan COCO berlisensi BSD yang tersedia untuk umum, dengan versi yang ditetapkan dan diambil saat runtime, serta menyertakan kode dan hasil fiktifnya sendiri. Aplikasi yang terpasang, dekode media, pelatihan model, dan evaluasi berada di luar cakupan fixture. Laporan YOLO sebelumnya · Masalah COCO kosong · Masalah mask kuas · Lisensi SDK · Lisensi COCO