Forskning
Ett bilde kan få to COCO-bilde-ID-er
I en kontrollert konvertering med Label Studio SDK 2.1.2 ga to gyldige vurderinger av avgrensningsbokser for én oppgave og ett lokalt bilde to COCO-bilde-ID-er. Begge bilderadene hadde nøyaktig samme filbane. Hver boks viste til en egen generert bilde-ID. Den versjonslåste COCO Python-indeksen listet deretter begge ID-ene separat. Med LABEL_STUDIO_FORCE_ANNOTATOR_EXPORT udefinert i dette testoppsettet hadde boksradene genererte annotasjons-ID-er og utelot de opprinnelige vurderings- og aktør-ID-ene. Bilderader fra konverteringen · Boksrader · COCO-indeks · Ufiltrerte bilde-ID-er
| Kilde for ett bilde | COCO-resultat | Ufiltrert COCO-indeks |
|---|---|---|
| To ulike vurderinger | To rader for samme bane, med resultat B på ID 0 og A på ID 1 | ID 0 og 1 |
| To like vurderinger | To rader for samme bane, med resultat A på begge ID-ene | ID 0 og 1 |
| Én valgt vurdering | Én rad for banen, med resultat A på ID 0 | ID 0 |
Konverteringsverktøyet oppretter ett element per vurdering som oppfyller kravene. I den testede grenen tildeler det en bilde-ID og legger til en ny bildeoppføring for hvert element. Både like og ulike vurderinger ga to ID-er. Det tilhørende YOLO-testoppsettet sender to ulike vurderinger for ett bilde til samme utfilbane, der den vellykkede eldre skrivingen erstatter den nyere. Tell ulike leverte bildebaner og kontroller koblingen mellom kildevurderinger og bilder når et datasett skal inneholde én rad per underliggende bilde. Unike numeriske ID-er alene bekrefter ikke dette. En evaluerings skår avhenger av hvordan den som kaller evalueringen, bruker ID-ene, og ingen skår ble målt her. Felles annotasjonsprojeksjon
Kjør python3 -B check-coco-identity.py | cmp - coco-identity-observations.json med feilkontroll for hele pipelinen. Kontrollprogrammet, SHA-256 fb6f5a0eb3b8f269576353203f40e81b46515e55182f9b377b45ba34e4925d82, bruker nøyaktig samme annotasjonsprojeksjon, rektangelgeometri og COCO-skriver som den versjonslåste SDK-en, samt nøyaktig samme indeks og ID-spørring som den versjonslåste COCO Python-kildekoden. En lokal erstatning for bildestørrelse oppgir 100 ganger 100 for et fast, fiktivt bilde. Resultatfilen sammenligner hele kildebildets filbane før den normaliseres til et stabilt basisnavn. To lokale kjøringer og en uavhengig gjentakelse ga samsvar byte for byte i alle tre tilfellene. Lagrede observasjoner, SHA-256 bb4b13aae5a7c471507f1ebcdb9cac2dcd7c2fe62f232489b0a00078ec12e222.
En tidligere rapport dokumenterer effekten av eldre vurderinger i YOLO. Søket etter COCO-relaterte saker fant nærliggende rapporter om tvetydige tomme resultater og ekstra annotasjoner fra frakoblede penselmasker. Denne pilotstudien undersøker bilde-ID-er ved flere vurderinger av ett bilde. Den bruker offentlig, versjonslåst SDK-kode under Apache-2.0-lisensen og COCO-kode under BSD-lisensen, som hentes ved kjøring, og inneholder egen kode og oppdiktede resultater. Den installerte appen, mediedekoding, modelltrening og evaluering inngår ikke i testoppsettet. Tidligere YOLO-rapport · Sak om tomme COCO-resultater · Sak om penselmasker · SDK-lisens · COCO-lisens