Posuďte, zda se datová sada pro AI hodí k dané úloze
Jazyk: Čeština
Sdělte nám zamýšlené použití, schéma a popis vzorku. Můžeme vymezit rozsah posouzení pokrytí, kvality a oprávnění a připravit zjištění, která vysvětlí, jaká použití dostupné podklady podporují. Popište svůj projekt společnosti sapien1
Hodnocení datové sady ověřuje, zda data, která už máte, mohou podpořit konkrétní rozhodnutí o trénování, vyhledávání nebo vyhodnocování. Začněte zamýšlenou úlohou. Pak prozkoumejte příklady, jejich kontext a štítky, pokrytí a způsob rozdělení dat.
Testovací sada může například vypadat úplně, přestože obsahuje případy, se kterými se model setkal při trénování. To je důležité, má-li test odhadnout výkon na nových případech. Užitečná kontrola ukáže, co se ověřilo, co je potřeba opravit a jaké závěry dovolují zbývající důkazy.
Začněte rozhodnutím, které chcete udělat
Zapište si, k čemu chcete datovou sadu použít. Stejné záznamy mohou pro jeden účel stačit a pro jiný být nedostatečné.
| Účel použití | Otázka, kterou je třeba zodpovědět |
|---|---|
| Trénování nebo dolaďování | Popisují příklady a štítky chování, které se má model naučit? |
| Hodnocení modelu nebo agenta | Lze ověřit očekávané výsledky a jsou testovací případy nezávislé na materiálu použitém při trénování či dolaďování systému? |
| Vyhledávání | Je obsah aktuální, srozumitelný a dostupný systému právě tehdy, když ho potřebuje? |
Zaznamenejte verzi datové sady, zdroj, časové období, pole a známá omezení. Karta datové sady může popisovat obsah, kontext a metadata. Porovnejte ji se skutečnými soubory a příslušnými podmínkami použití.
Konkrétním příkladem kontroly dokumentace je repozitář lerobot/svla_so101_pickplace v revizi f641879, ověřený 17. listopadu 2026. Karta datové sady uvádí příklad metadat s hodnotou codebase_version v2.1 a cestami k souborům podle epizod. Skutečná metadata ve stejné revizi uvádějí codebase_version v3.0 a cesty k souborům členěným do bloků. V adresáři s daty je soubor pojmenovaný podle tohoto vzoru. Než se spolehnete na cestu z karty, prověřte metadata a soubory právě v revizi repozitáře, kterou chcete použít. Toto porovnání neprokazuje kvalitu příkladů ani jejich vhodnost pro trénování.
Před spojením záznamů robotů zkontrolujte, co znamenají kanály akcí a stavů a jaké době odpovídá pevný počet kroků. FineART i simulovaná sada ALOHA deklarují aloha a čtrnáctiprvkové vektory akcí a stavů typu float32. FineART deklaruje 30 snímků za sekundu a simulovaná sada 50. Pokud při deklarované frekvenci každý krok posune záznam o jeden interval mezi snímky, 15 kroků pokrývá 0,5 sekundy v jedné sadě a 0,3 sekundy v druhé. Než budete považovat okna z obou zdrojů za rovnocenná, zkontrolujte zaznamenané časování a způsob, jakým vaše zpracování vybírá kroky. Metadata FineART · Metadata simulované sady ALOHA
Zkontrolujte rozdělení a kontext na příkladu
Představme si tým, který chce použít existující datovou sadu označených případů zákaznické podpory ke kontrole před vydáním agenta pro nové konverzace. Sada obsahuje 120 příkladů, z toho 90 v trénovací sadě a 30 v navržené testovací sadě. Každý příklad má obsahovat identifikátor případu, identifikátor konverzace, příslušnou verzi pravidel a očekávanou další akci.
Tento příklad je smyšlený. Tým zkontroluje 30 testovacích případů a porovná je s trénovací sadou. Zjistí následující.
| Kontrola | Zjištění | Co to znamená pro toto rozhodnutí |
|---|---|---|
| Opakované případy | Čtyři testovací případy jsou prokazatelné kopie případů z trénovací sady. | Tyto čtyři případy už jsou obsažené v trénovacích datech. |
| Společné konverzace | Další tři testovací případy mají odlišné identifikátory případů, ale patří ke konverzacím obsaženým v trénovací sadě. | Jde o další shody napříč částmi sady v testu určeném pro nové konverzace. |
| Kontext pravidel | U dvou ze zbývajících 23 testovacích případů chybí odkaz na verzi pravidel. | Při kontrole zatím nelze ze zaznamenaného kontextu ověřit očekávané akce podle příslušných pravidel. |
První dvě kontroly označí sedm různých testovacích případů a zůstane 23 bez těchto shod. U dvou z těchto 23 případů chybí kontext pravidel, zbývá tedy 21 testovacích případů, které tyto kontroly neoznačily. Z tohoto počtu nelze vyvodit, že jsou štítky správné, pokrytí postačující nebo že 21 případů stačí k rozhodnutí o vydání.
Tým by měl použití současné sady pro nezávislou kontrolu nových konverzací před vydáním odložit. Oddělte označené případy ke kontrole a obnovte chybějící kontext nebo související problém vyřešte. Zjistěte, se kterými případy se už setkal model i vývojový tým. Pouhá změna uspořádání souborů nemění jejich předchozí použití. Při novém rozdělení ponechte každou konverzaci celou v jedné části a ověřte testovací případy proti evidovaným datům pro trénování a výběr modelu. Pokud nelze zjistit původ dřívějších trénovacích dat, uveďte toto omezení. Pokud už stávající výsledky ovlivnily dolaďování, vyhraďte nové případy, které při těchto rozhodnutích ještě nebyly použity. V případě potřeby model znovu natrénujte s oddělenými daty.
Pokyny Googlu k dělení datových sad vysvětlují, jak mohou duplicitní příklady v trénovací a testovací sadě nadhodnotit výkon na nových příkladech. Příručka scikit-learn ke skupinové křížové validaci popisuje, jak držet související pozorování z téže skupiny pohromadě, je-li cílem měřit výkon na dosud neviděných skupinách. Podle otázky může být skupinou konverzace, zákazník nebo dokument. Pokud test popisků obrázků má využít obrázky mimo trénovací sadu, ponechte všechny popisky jednoho obrázku pohromadě. Samostatné rozdělení řádků popisků může zařadit stejný obrázek do trénovací i testovací sady. Pro test zaměřený na budoucí data použijte dělení respektující čas, aby trénování nezahrnovalo pozorování z doby po testovacím období.
Představme si také, že tým chce testovat nové konverzace po mezním datu. V novém rozdělení má konverzace A záznamy před mezním datem i po něm. První zaznamenaný případ konverzace B nastal až po tomto datu. Jednou z možností je vyloučit A z obou sad a vyhradit B pro test, pokud její záznamy nebyly dříve použity k trénování ani výběru modelu. V trénovací sadě nechte data z doby před mezním datem a u všech položek testovací sady zkontrolujte předchozí použití. Zaznamenejte vyřazené případy a ověřte, zda ty zbývající pokrývají zamýšlené použití. Pokračující konverzace lze hodnotit samostatným testem, který zachovává časové pořadí. Pokud je dostupná historie neúplná, nemusí být možné potvrdit, že je B nová.
Než usoudíte, že neurčený podíl zůstane stranou pro samostatné ověření, zkontrolujte skutečné přiřazení nástrojem. Například funkce LeRobot pro dělení podle podílu v revizi 7910c20 při zadání train: 0.6 a následně test: 0.2 rozdělí všech 50 epizod ve smyšlené sadě. K trénování připadne 30 epizod, k testování 20 a žádná nezůstane nepřiřazená. Jiné nástroje či verze se mohou chovat jinak a malé sady mohou vyžadovat zaokrouhlení nebo nové přiřazení. Prověřte skutečný obsah sad. Musejí-li skupiny zůstat pohromadě, vyberte a zaznamenejte seznamy epizod, které skupiny nerozdělují.
Výzkumná poznámka k LeRobot ukazuje, jak lze novému procesoru Diffusion předat uložené normalizační statistiky, a porovnává jejich rozsahy se souhrny trénovacích epizod v hypotetickém rozdělení s vyhrazenou sadou. Ověřte původ a rozsah statistik, které načítá váš vlastní procesor.
Prověřte štítky a pokrytí
U označených dat porovnejte vzorek očekávaných odpovědí s pokyny a důkazy použitými při jejich vzniku. Odborník na danou oblast může prošetřit chybějící kontext, nekonzistentní štítky a případy, kde je správná odpověď skutečně nejednoznačná. Zaznamenejte neshody a způsob jejich řešení. Shoda hodnotitelů je užitečná informace a samotnou správnost štítku je třeba ověřit podle důkazů. Výzkum řízení kvality anotací popisuje kontrolu, shodu a rozhodování sporů jako samostatné součásti procesu.
Číselné štítky tříd vyžadují mapování identifikátorů na názvy a definice tříd. Porovnejte definice a identifikátory v různých verzích a částech sady i s mapováním očekávaným modelem. Zdokumentujte případná přemapování identifikátorů a způsob, jakým zacházíte s chybějícími nebo sloučenými třídami. Průvodce datovými sadami na platformě Ultralytics upozorňuje, že sloučení nebo odstranění tříd může posunout následující identifikátory. Starší exporty tak mohou přestat odpovídat aktualizovanému seznamu tříd. Ověřte mapování ve vlastních exportech a ve svém zpracování dat.
Zjistěte, zda sada pokrývá situace důležité pro zamýšlené použití, například běžné požadavky, podstatné výjimky, jazyky, časová období nebo jiné relevantní skupiny. Skupina s několika málo příklady může vyžadovat další data nebo samostatnou analýzu. Potřebný počet příkladů se může mezi skupinami lišit.
Zdokumentujte způsob výběru kontrolovaných příkladů. Ručně vybraný soubor může odhalit problém, ale jeho míru chyb byste neměli považovat za míru chyb celé datové sady. Pokyny Googlu k výběru vzorků popisují, jak způsob výběru může zkreslit závěry o širší populaci.
I náhodný vzorek může chyby minout. Představme si samostatnou smyšlenou dávku 120 záznamů, z nichž šest má nesprávné štítky. Pokud náhodně vyberete 20 různých záznamů bez vracení a se stejnou pravděpodobností, v přibližně 33 % vzorků nebude ani jeden z těchto šesti. Výběr 47 záznamů sníží pravděpodobnost, že minete všech šest, pod 5 %, pokud hodnotitelé rozpoznají každý nesprávný štítek ve vybraných záznamech. Tento příklad plánování předpokládá šest chyb. Vzorek bez chyb neprokazuje, že je chyb právě šest ani že jsou zbývající záznamy bez chyb. Zvolte velikost vzorku podle četnosti chyb a rizika jejich přehlédnutí, které jsou pro vaše rozhodnutí podstatné. Zaznamenejte výběr příkladů i způsob kontroly. Úvod do výběru vzorků od NIST pojednává o výběru a velikosti vzorku. Výzkum kvality anotací vysvětluje statistický odhad kvality a přejímací kontrolu vzorkováním.
Porovnat výsledky čtení v různých jazycích
Rozhodněte, co změnit
Převeďte zjištění na konkrétní kroky, které může tým provést.
- Opravit. Obnovte chybějící kontext, opravte potvrzené chyby nebo aktualizujte pokyny k označování. Poté dotčené záznamy znovu zkontrolujte.
- Omezit. Používejte datovou sadu pouze pro úlohy nebo podskupiny, které dokáže podpořit, a popište známé mezery.
- Odložit. Vyřaďte datovou sadu ze zamýšleného trénování nebo rozhodnutí o vydání do vyřešení podstatného problému.
- Přidat data. Shromážděte nebo vyhledejte příklady chybějících situací, případně vytvořte novou testovací sadu, která nebyla použita k trénování ani dolaďování.
Zachovejte identifikovatelnost původní i upravené verze. Zaznamenejte kontroly, metodu výběru, zjištění, rozhodnutí hodnotitelů i otevřené otázky, aby další tým věděl, co se změnilo a proč.
Ověřte přepsanou datovou sadu Parquet
Při přepisu dodávky ve formátu Parquet určete, které vlastnosti musí nové soubory zachovat pro vaši úlohu. Zaznamenejte verze původních i upravených souborů a proveďte kontroly s nástrojem pro čtení, který tým používá v navazujícím zpracování. Následující příklady používají vymyšlená data.
- Pole v původních zdrojích. Uložte schéma každého původního souboru, potřebujete-li rozlišit nepřítomné pole a explicitní hodnotu null. V našem příkladu s DuckDB 1.4.4 vznikly po záměně zdroje s vynechaným polem totožné sloučené soubory i při zachování názvů zdrojů. Původní schémata odhalila obě změny. Slučování schémat v DuckDB
- Dvojice případů a štítků. Zkontrolujte, že identifikátory případů jsou úplné a jedinečné, porovnejte je s očekávaným seznamem a ověřte štítky podle identifikátoru. Dva přepisy v našem příkladu s osmi řádky zachovaly stejná metadata v patičce i počty štítků. V jednom se dva štítky přesunuly k jiným případům. Ve druhém změna pořadí celých řádků zachovala každou dvojici. Struktura souboru Parquet
- Dekódovaná čísla. Zkontrolujte logický typ a porovnejte čísla, která se při čtení skutečně získají. V desetinném příkladu změna měřítka ze 2 na 3 změnila 12,34 na 1,234. Uložená celá čísla i bajty bloku sloupce přitom zůstaly stejné. Specifikace desetinných hodnot Parquet
- Místní data. Pokud sestava seskupuje události podle místního dne, porovnejte den každé události v dohodnutém časovém pásmu. V PyArrow 26.0.1 si dvě události po přepisu bez metadat schématu Arrow zachovaly původní časové okamžiky. Při čtení v UTC obě spadly na 1. července. Dohodnuté časové pásmo New Yorku obnovilo přiřazení ke 30. červnu a 1. červenci. Možnosti zápisu v PyArrow
Každou kontrolu postavte na dohodnuté vlastnosti. Pokud se pořadí může změnit, přeuspořádání zachovávající dvojice projde kontrolou případů a štítků. Pokud smlouva vyžaduje ověřit přítomnost pole v každém zdroji a původní schémata nejsou dostupná, odložte tuto kontrolu do obnovení potřebných důkazů.
Zkontrolujte převod dat COCO
Při převodu datové sady COCO pro detekci objektů porovnejte původní a exportované mapování obrázků. Ověřte, že každý zdrojový obrázek má v exportu vlastní jedinečný číselný identifikátor a že anotace i predikce stále odkazují na zamýšlený obrázek. Je-li nakonfigurované uložené mapování identifikátorů, testovaný exportér FiftyOne převede 01 a 1 na stejné celé číslo. Testovaný index COCO ponechá poslední řádek obrázku s tímto identifikátorem a seskupí pod ním anotace. Před výpočtem skóre odstraňte duplicitní identifikátory. Exportér FiftyOne · Index COCO
Pokud je to možné, zachovejte původní identifikátory. Musejí-li se změnit, ponechte jejich relativní číselné pořadí a znovu vypočtěte průměrnou přesnost (AP) na původních i převedených datech. Použijte stejnou revizi a nastavení vyhodnocovacího nástroje i nezaokrouhlená skóre predikcí. V každém běhu namapujte predikce na příslušné obrázky. Proveďte krátkou kontrolu se dvěma detekcemi ze stejné kategorie, na různých obrázcích a se stejným skóre jistoty. Jedna detekce má odpovídat referenční anotaci, druhá má být falešně pozitivní. Testovaný nástroj COCO řadí identifikátory a jejich pořadí ponechá při shodě skóre napříč obrázky. Přečíslování tedy může změnit AP při stejných shodách detekcí. Veškeré rozdíly ve skóre vyřešte před porovnáním verzí. Pořadí obrázků v COCO · Agregace skóre v COCO
Související příručky
sapien1 pomáhá týmům hodnotit datové sady a plánovat vyhodnocování podle úloh, které má systém AI řešit. V dalším kroku po kontrole dat využijte našeho průvodce hodnocením agentů. Pokud kontrola odhalí mezeru v datech, průvodce získáváním dat vám pomůže popsat, co hledat.