Naar de hoofdinhoud

Menu

Onderzoek

Eén afbeelding kan twee COCO-afbeeldings-ID's krijgen

Taal: Nederlands

Bij een gecontroleerde conversie met Label Studio SDK 2.1.2 leverden twee geldige rechthoekbeoordelingen voor één taak en één lokale afbeelding twee COCO-afbeeldings-ID's op. Beide afbeeldingsrijen hadden exact hetzelfde bestandspad. Elke rechthoek verwees naar een andere gegenereerde afbeeldings-ID. De vastgepinde COCO Python-index vermeldde beide ID's vervolgens afzonderlijk. Omdat LABEL_STUDIO_FORCE_ANNOTATOR_EXPORT in deze fixture niet was ingesteld, bevatten de rechthoekrijen gegenereerde annotatie-ID's en ontbraken de oorspronkelijke beoordelings- en actor-ID's. Afbeeldingsrijen van de converter · Rechthoekrijen · COCO-index · Ongefilterde afbeeldings-ID's

Bron voor één afbeeldingCOCO-resultaatOngefilterde COCO-index
Twee verschillende beoordelingenTwee rijen voor hetzelfde pad, met resultaat B op ID 0 en A op ID 1ID's 0 en 1
Twee overeenkomende beoordelingenTwee rijen voor hetzelfde pad, met resultaat A op beide ID'sID's 0 en 1
Eén geselecteerde beoordelingEén rij voor het pad, met resultaat A op ID 0ID 0

De converter geeft één item per in aanmerking komende beoordeling terug. In de geteste tak kent hij aan elk item een afbeeldings-ID toe en voegt hij een nieuwe afbeeldingsvermelding toe. Zowel overeenkomende als verschillende beoordelingen leverden twee ID's op. De bijbehorende YOLO-fixture stuurt twee verschillende beoordelingen voor één afbeelding naar hetzelfde uitvoerpad, waar de geslaagde schrijfactie van de oudere beoordeling die van de nieuwere vervangt. Tel unieke geleverde afbeeldingspaden en controleer de koppeling tussen bronbeoordelingen en afbeeldingen als een dataset één rij per onderliggende afbeelding moet bevatten. Unieke numerieke ID's alleen bevestigen dat niet. De score van een evaluatie hangt af van hoe de aanroeper de ID's gebruikt; hier is geen score gemeten. Gedeelde annotatieprojectie

Voer python3 -B check-coco-identity.py | cmp - coco-identity-observations.json uit met controle op fouten in de pipeline. Het controlescript, SHA-256 fb6f5a0eb3b8f269576353203f40e81b46515e55182f9b377b45ba34e4925d82, gebruikt exact de annotatieprojectie, rechthoekgeometrie en COCO-schrijver uit de vastgepinde SDK en exact de index en ID-query uit de vastgepinde COCO Python-broncode. Een lokale vervanger voor de afbeeldingsgrootte levert 100 bij 100 voor een vaste fictieve afbeelding. Het controlebewijs vergelijkt het volledige pad van de bronafbeelding voordat het wordt genormaliseerd tot een stabiele basisbestandsnaam. Twee lokale uitvoeringen en een onafhankelijke herhaling kwamen voor alle drie de gevallen byte voor byte overeen. Opgeslagen waarnemingen, SHA-256 bb4b13aae5a7c471507f1ebcdb9cac2dcd7c2fe62f232489b0a00078ec12e222.

Een eerder rapport beschrijft het effect van de oudere beoordeling in YOLO. Bij het zoeken naar COCO kwamen verwante meldingen naar voren over dubbelzinnige lege resultaten en extra annotaties door losgekoppelde penseelmaskers. Deze pilot controleert afbeeldings-ID's bij meerdere beoordelingen van één afbeelding. Hij gebruikt openbare, vastgepinde SDK-code onder Apache-2.0 en COCO-code onder de BSD-licentie, die tijdens de uitvoering worden opgehaald, en levert eigen code en verzonnen resultaten mee. De geïnstalleerde app, mediadecodering, modeltraining en evaluatie vallen buiten de fixture. Eerder YOLO-rapport · Melding over lege COCO-resultaten · Melding over penseelmaskers · SDK-licentie · COCO-licentie