Utvärdera om en AI-datamängd passar uppgiften
Språk: Svenska
Beskriv den avsedda användningen, ett schema och urvalet. Vi kan avgränsa en granskning av täckning, kvalitet och rättigheter med resultat som förklarar vilka användningar underlaget ger stöd för. Beskriv ditt projekt för sapien1
När du utvärderar en datamängd undersöker du om den data du redan har räcker som underlag för ett visst beslut om träning, informationssökning eller utvärdering. Utgå från uppgiften och granska sedan exemplen, deras sammanhang och etiketter, täckningen och hur datan har delats upp.
En testmängd kan till exempel se komplett ut samtidigt som den innehåller fall modellen redan har sett under träningen. Det spelar roll när testet ska uppskatta prestandan på nya fall. En bra granskning visar vad som har kontrollerats, vad som behöver åtgärdas och vilka slutsatser det återstående underlaget medger.
Utgå från beslutet som ska fattas
Skriv ned vad du vill använda datamängden till. Samma poster kan vara användbara för ett syfte och otillräckliga för ett annat.
| Avsedd användning | En fråga att besvara |
|---|---|
| Träning eller finjustering | Beskriver exemplen och etiketterna det beteende som modellen ska lära sig? |
| Utvärdering av en modell eller agent | Går det att kontrollera de förväntade resultaten, och är testfallen oberoende av materialet som användes för att träna eller justera systemet? |
| Informationssökning | Är innehållet aktuellt, begripligt och tillgängligt för systemet när det behövs? |
Dokumentera datamängdens version, källa, datumintervall, fält och kända begränsningar. Ett datamängdskort kan beskriva innehåll, sammanhang och metadata. Jämför kortet med de faktiska filerna och de användningsvillkor som gäller.
Ett konkret exempel på dokumentationskontroll är repot lerobot/svla_so101_pickplace i revision f641879, som granskades den 17 november 2026. I datamängdskortet finns ett metadataexempel med codebase_version v2.1 och sökvägar till filer som ordnas per episod. De faktiska metadatauppgifterna i samma revision anger codebase_version v3.0 och sökvägar till filer som ordnas i block. I datakatalogen finns en fil vars namn följer det mönstret. Kontrollera metadata och filer för den revision du tänker använda innan du förlitar dig på en sökväg från kortet. Jämförelsen visar varken kvaliteten på exemplen eller om de lämpar sig för träning.
Innan du slår ihop robotinspelningar bör du kontrollera vad åtgärds- och tillståndskanalerna betyder och hur mycket tid ett fast antal steg motsvarar. FineART och en simulerad ALOHA-datamängd anger båda aloha och 14-elementvektorer av typen float32 för åtgärder och tillstånd. FineART anger 30 bilder per sekund och den simulerade datamängden anger 50. Om varje steg motsvarar ett bildintervall vid den angivna frekvensen täcker 15 steg 0,5 sekunder i den ena datamängden och 0,3 sekunder i den andra. Kontrollera tidsinformationen i inspelningarna och hur din bearbetning väljer steg innan du behandlar tidsfönstren från de två källorna som likvärdiga. Metadata för FineART · Metadata för simulerad ALOHA
Kontrollera uppdelning och sammanhang med ett exempel
Anta att ett team vill använda en befintlig etiketterad datamängd från kundsupport för att inför lanseringen testa en agent som hanterar nya konversationer. Datamängden har 120 exempel, varav 90 ligger i träningsmängden och 30 i den föreslagna testmängden. Varje exempel ska innehålla ett ärende-ID, ett konversations-ID, den tillämpliga regelversionen och en förväntad nästa åtgärd.
Exemplet är påhittat. Teamet granskar de 30 testfallen och jämför dem med träningsmängden. Det här hittar de.
| Kontroll | Resultat | Vad det betyder för beslutet |
|---|---|---|
| Upprepade ärenden | Fyra testfall är bekräftade kopior av fall i träningsmängden. | De fyra fallen finns redan i träningsdatan. |
| Gemensamma konversationer | Tre andra testfall har andra ärende-ID:n men hör till konversationer som finns i träningsmängden. | Detta ger ytterligare överlapp mellan mängderna i ett test av nya konversationer. |
| Regelkontext | Två av de återstående 23 testfallen saknar en länk till regelversionen. | Med det dokumenterade sammanhanget kan granskaren ännu inte kontrollera de förväntade åtgärderna mot rätt regler. |
De två första kontrollerna markerar sju olika testfall. Kvar finns 23 utan de överlappen. Två av de 23 saknar regelkontext, så det återstår 21 testfall som inte markerades vid de här kontrollerna. Antalet säger inte om etiketterna är korrekta, om täckningen räcker eller om 21 fall är nog för ett lanseringsbeslut.
Teamet bör avvakta med att använda den aktuella mängden som en oberoende lanseringskontroll för nya konversationer. Lägg de markerade fallen åt sidan för granskning och återställ det saknade sammanhanget eller lös problemet. Kontrollera vilka fall modellen och utvecklingsteamet redan har sett. Att flytta filer tar inte bort den tidigare användningen. Håll varje konversation intakt i den nya uppdelningen och jämför testfallen med dokumenterade data för träning och modellval. Dokumentera begränsningen om det inte går att kontrollera tidigare träningsdatas ursprung. Om tidigare resultat har påverkat finjusteringen, reservera nya fall som inte användes för de besluten. Träna om modellen med separerade data vid behov.
Googles vägledning om att dela upp data förklarar hur dubbletter i träning och test kan få resultaten att se bättre ut än prestandan på nya exempel. Scikit-learns vägledning om grupperad korsvalidering visar hur relaterade observationer från samma grupp hålls ihop för att kunna bedöma prestandan på okända grupper. En relevant grupp kan vara en konversation, en kund eller ett dokument, beroende på frågan. Om ett test av bildtexter ska använda bilder som saknas i träningsmängden, håll alla bildtexter för varje bild tillsammans. Delas bildtextraderna upp enskilt kan samma bild hamna i både träning och test. Använd en tidsbaserad uppdelning när testet ska spegla framtida data, så att träningsdatan inte innehåller observationer från efter testperioden.
Anta att teamet också vill testa nya konversationer efter ett brytdatum. I en ny uppdelning har konversation A poster på båda sidor om brytdatumet. Det första registrerade fallet för konversation B inträffar efter brytdatumet. Ett alternativ är att utelämna A från båda mängderna och reservera B för testning, förutsatt att B:s poster inte har använts för träning eller modellval. Behåll träningsdata från före brytdatumet och kontrollera tidigare användning för hela testmängden. Dokumentera vad som uteslöts och kontrollera om de återstående fallen täcker det avsedda användningsområdet. Pågående konversationer kan bedömas i ett separat test som följer tidsordningen. Med ofullständig historik kan det vara omöjligt att bekräfta att B är ny.
Kontrollera vad uppdelningsverktyget faktiskt tilldelar innan du utgår från att en ospecificerad andel blir kvar för separat utvärdering. LeRobots funktion för andelsbaserad uppdelning i revision 7910c20 tilldelar till exempel samtliga 50 episoder i en påhittad mängd när den får train: 0.6 följt av test: 0.2. Träningen får 30 episoder och testet får 20. Ingen episod lämnas otilldelad. Andra verktyg och versioner kan bete sig annorlunda. Små mängder kan kräva avrundning eller omfördelning. Granska vilka episoder som faktiskt hamnar i varje mängd. Om grupperna måste hållas ihop, välj och dokumentera episodlistor som gör det.
En forskningsanteckning om LeRobot visar hur en ny Diffusion-processor kan få sparad normaliseringsstatistik och jämför värdeintervallen med sammanställningar för träningsepisoderna i en tänkt uppdelning där data reserveras för utvärdering. Kontrollera varifrån statistiken som din processor läser in kommer och vilka data den bygger på.
Granska etiketter och täckning
Jämför ett urval förväntade svar i etiketterade data med instruktionerna och underlaget som användes för att ta fram dem. En sakkunnig kan undersöka saknat sammanhang, inkonsekventa etiketter och fall där det rätta svaret verkligen är tvetydigt. Dokumentera oenigheter och hur de löstes. Samstämmighet mellan granskare är användbar information, och själva etiketten måste kontrolleras mot underlaget. Forskning om kvalitetsstyrning av annotering beskriver granskning, samstämmighet och avgörande av tvister som skilda delar av processen.
Numeriska klassetiketter kräver en mappning från ID:n till klassnamn och definitioner. Jämför definitionerna och ID-numren mellan olika versioner och delmängder samt med mappningen som modellen förväntar sig. Dokumentera eventuella ändringar i ID-mappningen och hur du hanterar klasser som saknas eller har slagits ihop. Datamängdsguiden för Ultralytics Platform påpekar att sammanslagning eller borttagning av klasser kan förskjuta senare ID:n. Äldre exporter kan då sluta stämma med den uppdaterade klasslistan. Verifiera mappningen i dina egna exporter och din bearbetning.
Kontrollera om datamängden täcker situationer som är viktiga för det avsedda användningsområdet, exempelvis vanliga förfrågningar, viktiga undantag, språk, tidsperioder eller andra relevanta grupper. En grupp med få exempel kan behöva fler data eller en separat analys. Hur många exempel som behövs kan variera mellan grupperna.
Dokumentera hur du valde exemplen för granskningen. Ett handplockat urval kan avslöja ett problem, men dess felfrekvens ska inte användas som felfrekvens för hela datamängden. Googles vägledning om urval beskriver hur urvalet kan snedvrida slutsatser om en större population.
Även ett slumpmässigt urval kan missa fel. Anta att en separat, påhittad omgång har 120 poster, varav sex har felaktiga etiketter. Väljer du 20 olika poster likformigt slumpmässigt utan återläggning innehåller ungefär 33 % av urvalen ingen av de sex. Med 47 poster sjunker sannolikheten att missa alla sex till under 5 %, förutsatt att granskarna identifierar varje felaktig etikett bland de utvalda posterna. Planeringsexemplet utgår från sex fel. Ett felfritt urval visar inte att det finns exakt sex fel och bevisar inte att övriga poster är felfria. Välj urvalsstorlek utifrån felfrekvensen och risken att missa fel som är relevanta för beslutet. Dokumentera hur exemplen valdes och granskades. NIST:s introduktion till urval tar upp urvalsmetod och storlek. Forskning om annoteringskvalitet förklarar statistisk kvalitetsuppskattning och acceptansprovtagning.
Jämför läsresultat mellan språk
Bestäm vad som ska ändras
Omsätt resultaten i åtgärder som teamet kan genomföra.
- Åtgärda. Återställ saknat sammanhang, rätta bekräftade fel eller uppdatera etikettningsinstruktionerna och kontrollera därefter de berörda posterna på nytt.
- Begränsa. Använd datamängden enbart för de uppgifter eller delgrupper den har tillräckligt underlag för och beskriv kända luckor.
- Avvakta. Håll datamängden utanför den avsedda träningen eller lanseringsbeslutet tills ett väsentligt problem har lösts.
- Lägg till data. Samla in eller hitta fall för situationer som saknas, eller skapa en ny testmängd som inte har använts för träning eller justering.
Se till att både den ursprungliga och den reviderade versionen kan identifieras. Dokumentera kontroller, urvalsmetod, fynd, granskarnas beslut och obesvarade frågor så att ett annat team kan förstå vad som ändrades och varför.
Verifiera en omskriven Parquet-datamängd
När en Parquet-leverans skrivs om, ange vilka egenskaper de nya filerna måste bevara för din uppgift. Dokumentera de ursprungliga och nya filversionerna. Utför kontrollerna med samma läsverktyg som ditt team använder i nästa steg. Exemplen nedan använder påhittade data.
- Fält i källorna. Spara schemat för varje originalfil om du behöver skilja ett fält som saknas från ett uttryckligt null-värde. I vårt DuckDB-exempel med version 1.4.4 gav ett byte av vilken källa som saknade fältet identiska sammanslagna filer även när källnamnen bevarades. Originalschemana visade båda ändringarna. Sammanslagning av scheman i DuckDB
- Par av fall och etikett. Kontrollera att alla ärende-ID:n finns och är unika, stäm av dem mot den förväntade listan och jämför etiketterna per ID. Två omskrivningar i exemplet med åtta rader behöll samma metadata i filslutet och samma antal per etikett. I den ena flyttades två etiketter till andra fall. I den andra bevarade omordningen av hela rader varje par. Parquets filstruktur
- Avkodade tal. Kontrollera den logiska typen och jämför de tal du kommer att läsa in. I decimalexemplet ändrades skalan från 2 till 3 så att 12,34 blev 1,234, trots att de lagrade heltalen och kolumnblockets byte var oförändrade. Parquets decimalspecifikation
- Lokala datum. Om en rapport grupperar händelser efter lokal dag, jämför dagen för varje händelse i den avtalade tidszonen. Med PyArrow 26.0.1 behöll två händelser sina ursprungliga tidpunkter efter en omskrivning utan Arrows schemametadata. Vid läsning i UTC hamnade båda den 1 juli. Den avtalade tidszonen för New York återställde fördelningen mellan 30 juni och 1 juli. Skrivalternativ i PyArrow
Utgå vid varje kontroll från den överenskomna egenskapen. Om ordningen får ändras, klarar en omordning som bevarar paren kontrollen av fall och etiketter. Om avtalet kräver att varje källas fältuppsättning kan verifieras och originalschemana saknas, avvakta med kontrollen tills underlaget återställts.
Kontrollera konverteringen av COCO-data
När en COCO-datamängd för objektdetektering konverteras, jämför de ursprungliga och exporterade bildmappningarna. Kontrollera att varje källbild har ett unikt numeriskt ID i exporten och att annoteringar och prediktioner fortfarande hänvisar till rätt bild. Med en sparad ID-mappning konfigurerad omvandlar den testade FiftyOne-exportören 01 och 1 till samma heltal. Det testade COCO-indexet behåller sista bildraden med det ID:t och samlar annoteringarna under det. Åtgärda dubbla ID:n före poängberäkningen. Exportören i FiftyOne · COCO-indexet
Behåll ursprungliga ID:n om möjligt. Om de måste ändras, behåll deras relativa numeriska ordning och beräkna average precision (AP) på nytt för originaldatan och den konverterade datan. Använd samma revision och inställningar av utvärderaren samt oavrundade prediktionspoäng. Mappa prediktionerna till rätt bilder vid båda körningarna. Gör en liten kontroll med två detekteringar i samma kategori på olika bilder och med samma konfidenspoäng. Den ena ska matcha referensannoteringen och den andra vara en falsk positiv. Den testade COCO-utvärderaren sorterar ID-numren och behåller ordningen när detekteringar på olika bilder har samma poäng. Omnumrering kan därför ändra AP även när detekteringarnas matchningar är oförändrade. Lös alla poängskillnader innan du jämför versionerna. Bildordning i COCO · Poängaggregering i COCO
Relaterade guider
sapien1 hjälper team att bedöma datamängder och planera utvärderingar kring det arbete som ett AI-system behöver utföra. Efter datagranskningen kan du gå vidare till vår guide för agentutvärdering. Om granskningen visar en lucka kan vår guide för att hitta data hjälpa dig att formulera vad du behöver leta efter.