Przejdź do treści głównej

Menu

Oceń, czy zbiór danych dla AI nadaje się do zadania

Język: Polski

Przedstaw planowane zastosowanie, schemat i opis próbki. Możemy określić zakres przeglądu pokrycia, jakości i uprawnień oraz przygotować wnioski wyjaśniające, jakie zastosowania mają potwierdzenie w dostępnych dowodach. Opisz swój projekt zespołowi sapien1

Ocena zbioru danych pozwala sprawdzić, czy posiadane dane dają podstawę do konkretnej decyzji dotyczącej trenowania, wyszukiwania informacji lub ewaluacji. Zacznij od określenia zadania, a następnie przyjrzyj się przykładom, ich kontekstowi i etykietom, pokryciu oraz sposobowi podziału.

Zbiór testowy może na przykład wyglądać na kompletny, choć zawiera przypadki, które model poznał już podczas trenowania. Ma to znaczenie, gdy test ma oszacować wyniki na nowych przypadkach. Przydatny przegląd wskazuje, co sprawdzono, co trzeba naprawić i jakie wnioski można wyciągnąć z pozostałych dowodów.

Zacznij od decyzji

Zapisz, do czego chcesz użyć zbioru danych. Te same rekordy mogą być przydatne do jednego celu i niewystarczające do innego.

PrzeznaczeniePytanie, na które trzeba odpowiedzieć
Trenowanie lub dostrajanieCzy przykłady i etykiety opisują zachowanie, którego model ma się nauczyć?
Ewaluacja modelu lub agentaCzy można zweryfikować oczekiwane wyniki i czy przypadki testowe są niezależne od materiału użytego do trenowania lub dostrajania systemu?
Wyszukiwanie informacjiCzy treść jest aktualna, zrozumiała i dostępna dla systemu wtedy, gdy jej potrzebuje?

Zapisz wersję zbioru danych, źródło, zakres dat, pola i znane ograniczenia. Karta zbioru danych może opisywać zawartość, kontekst i metadane. Porównaj opis z faktycznymi plikami i odpowiednimi warunkami korzystania.

Konkretnym przykładem sprawdzenia dokumentacji jest repozytorium lerobot/svla_so101_pickplace w rewizji f641879, sprawdzone 17 listopada 2026 r. Karta zbioru danych zawiera przykład metadanych z codebase_version v2.1 oraz ścieżkami do plików według epizodów. Faktyczne metadane w tej samej rewizji podają codebase_version v3.0 oraz ścieżki do plików podzielonych na bloki. W katalogu danych znajduje się plik o nazwie zgodnej z tym wzorcem. Zanim użyjesz ścieżki skopiowanej z karty, sprawdź metadane i pliki w rewizji repozytorium, z której zamierzasz korzystać. Z tego porównania nie wynika, jaka jest jakość przykładów ani czy nadają się do trenowania.

Przed połączeniem nagrań z robotów sprawdź znaczenie kanałów akcji i stanu oraz czas odpowiadający ustalonej liczbie kroków. FineART i symulowany zbiór ALOHA deklarują aloha oraz 14-elementowe wektory akcji i stanu typu float32. FineART deklaruje 30 klatek na sekundę, a zbiór symulowany 50. Jeżeli każdy krok przesuwa się o jeden odstęp między klatkami przy deklarowanej częstotliwości, 15 kroków obejmuje 0,5 sekundy w jednym zbiorze i 0,3 sekundy w drugim. Sprawdź rzeczywisty czas zapisany w danych i sposób, w jaki potok wybiera kroki, zanim uznasz okna z obu źródeł za równoważne. Metadane FineART · Metadane symulowanego zbioru ALOHA

Sprawdź podział i kontekst na przykładzie

Załóżmy, że zespół chce użyć istniejącego zbioru oznaczonych zgłoszeń pomocy technicznej do weryfikacji przed wdrożeniem agenta obsługującego nowe rozmowy. Zbiór zawiera 120 przykładów, z czego 90 należy do zbioru treningowego, a 30 do proponowanego zbioru testowego. Każdy przykład powinien zawierać identyfikator sprawy, identyfikator rozmowy, stosowaną wersję zasad i oczekiwaną następną czynność.

To przykład fikcyjny. Zespół sprawdza 30 przypadków testowych i porównuje je ze zbiorem treningowym. Uzyskuje następujące wyniki.

KontrolaWynikZnaczenie dla decyzji
Powtórzone sprawyCztery przypadki testowe to potwierdzone kopie spraw ze zbioru treningowego.Te cztery sprawy występują już w danych treningowych.
Wspólne rozmowyTrzy inne przypadki testowe mają odmienne identyfikatory spraw, ale należą do rozmów obecnych w zbiorze treningowym.To dodatkowe powiązania między zbiorami w teście, który ma dotyczyć nowych rozmów.
Kontekst zasadDwa z pozostałych 23 przypadków testowych nie mają odsyłacza do wersji zasad.Na podstawie zapisanego kontekstu osoba weryfikująca nie może jeszcze sprawdzić zgodności oczekiwanych działań z właściwymi zasadami.

Pierwsze dwie kontrole wskazują siedem różnych przypadków testowych, pozostawiając 23 bez takich powiązań. Dwa z tych 23 nie mają kontekstu zasad, więc pozostaje 21 przypadków testowych bez zastrzeżeń w tych kontrolach. Na podstawie tej liczby nie da się stwierdzić, czy etykiety są poprawne, czy pokrycie jest wystarczające ani czy 21 przypadków wystarczy do decyzji o wdrożeniu.

Zespół powinien wstrzymać użycie obecnego zbioru jako niezależnej kontroli nowych rozmów przed wdrożeniem. Odłóż wykryte przypadki do osobnego przeglądu i odzyskaj brakujący kontekst lub rozwiąż związane z nim problemy. Sprawdź, z jakimi przypadkami zetknęli się już model i zespół odpowiedzialny za rozwój systemu. Zmiana ułożenia plików nie cofa wcześniejszego użycia przypadków. W nowym podziale trzymaj wszystkie części rozmowy razem i porównaj przypadki testowe z zapisanymi danymi treningowymi i danymi użytymi do wyboru modelu. Jeżeli nie można zweryfikować pochodzenia wcześniejszych danych treningowych, odnotuj to ograniczenie. Jeżeli dotychczasowe wyniki wpłynęły na dostrajanie, odłóż świeże przypadki niewykorzystane w tych decyzjach. W razie potrzeby ponownie wytrenuj model na rozdzielonych danych.

Wytyczne Google dotyczące podziału zbiorów danych wyjaśniają, dlaczego powtórzenia w zbiorach treningowych i testowych mogą zawyżać przewidywane wyniki na nowych przykładach. Dokumentacja scikit-learn o grupowej walidacji krzyżowej opisuje, jak nie rozdzielać obserwacji z jednej grupy przy ocenie wyników na nieznanych grupach. Właściwa grupa zależy od pytania. Może nią być rozmowa, klient lub dokument. Jeżeli test podpisów do obrazów ma używać obrazów nieobecnych w zbiorze treningowym, zachowuj wszystkie podpisy danego obrazu razem. Oddzielne rozdzielanie wierszy podpisów może umieścić ten sam obraz w zbiorze treningowym i testowym. W teście dotyczącym przyszłych obserwacji zastosuj podział uwzględniający czas, aby zbiór treningowy nie zawierał obserwacji późniejszych niż okres testowy.

Załóżmy też, że zespół chce przetestować nowe rozmowy po dacie granicznej. W nowym podziale rozmowa A ma rekordy po obu stronach tej daty. Pierwszy zarejestrowany przypadek rozmowy B występuje po niej. Można wykluczyć A z obu zbiorów i zachować B do testu pod warunkiem, że jej rekordów wcześniej nie użyto do trenowania ani wyboru modelu. Zachowaj w zbiorze treningowym dane sprzed daty granicznej i sprawdź cały zbiór testowy pod kątem wcześniejszego użycia. Odnotuj wykluczenia i oceń, czy pozostałe przypadki obejmują zakładany sposób użycia. Trwające rozmowy można ocenić w osobnym teście zachowującym kolejność czasową. Przy niepełnej historii potwierdzenie, że B jest nową rozmową, może być niemożliwe.

Zanim uznasz nieokreśloną część za odłożony podzbiór, sprawdź rzeczywisty przydział narzędzia do podziału. Na przykład funkcja LeRobot przydzielająca ułamki w rewizji 7910c20 po podaniu train: 0.6, a następnie test: 0.2, przydziela wszystkie 50 epizodów fikcyjnego zbioru. Do trenowania trafia 30, do testu 20 i nic nie pozostaje bez przydziału. Inne narzędzia lub wersje mogą działać inaczej. W małych zbiorach może być konieczne zaokrąglenie lub ponowny przydział. Sprawdź faktyczną zawartość podzbiorów. Gdy grupy muszą pozostać razem, wybierz i zapisz listy epizodów, które ich nie rozdzielają.

Notatka badawcza o LeRobot pokazuje, jak nowy procesor Diffusion może otrzymać zapisane statystyki normalizacji, i porównuje podane w nich zakresy z podsumowaniem epizodów treningowych w hipotetycznym podziale z odłożonym podzbiorem. Sprawdź pochodzenie i zakres statystyk wczytywanych przez twój procesor.

Sprawdź etykiety i pokrycie

W oznaczonych danych porównaj próbkę oczekiwanych odpowiedzi z instrukcjami i dowodami użytymi przy ich tworzeniu. Specjalista dziedzinowy może zbadać braki kontekstu, niespójne etykiety i przypadki, w których poprawna odpowiedź jest rzeczywiście niejednoznaczna. Zapisz rozbieżności i sposób ich rozstrzygnięcia. Zgodność osób weryfikujących jest użyteczną informacją, a poprawność etykiety trzeba ustalić na podstawie dowodów. Badania nad zarządzaniem jakością adnotacji opisują przegląd, zgodność i rozstrzyganie jako odrębne etapy.

Numeryczne etykiety klas wymagają mapowania identyfikatorów na nazwy i definicje klas. Porównaj te definicje i identyfikatory między wersjami i podzbiorami danych oraz z mapowaniem oczekiwanym przez model. Udokumentuj wszelkie zmiany w mapowaniu identyfikatorów i sposób obsługi brakujących lub scalonych klas. Przewodnik po zbiorach danych na platformie Ultralytics wskazuje, że scalanie lub usuwanie klas może przesunąć późniejsze identyfikatory. Przez to starsze eksporty mogą przestać pasować do aktualnej listy klas. Zweryfikuj mapowanie we własnych eksportach i potoku.

Sprawdź, czy zbiór obejmuje sytuacje istotne dla zamierzonego celu, na przykład częste zapytania, ważne wyjątki, języki, okresy lub inne istotne grupy. Grupa z niewielką liczbą przykładów może wymagać dodatkowych danych albo osobnej analizy. Potrzebna liczba przykładów zależy od zastosowania i może być różna dla poszczególnych grup.

Udokumentuj sposób wyboru przykładów do przeglądu. Ręcznie dobrany zbiór może pomóc ujawnić problem, ale jego odsetek błędów nie powinien być traktowany jako odsetek błędów całego zbioru. Wytyczne Google dotyczące doboru próby opisują, jak dobór przykładów może zniekształcić wnioski o całej populacji.

Nawet losowa próba może pominąć błędy. Załóżmy, że osobna fikcyjna partia zawiera 120 rekordów, z których sześć ma błędne etykiety. Po jednorodnym losowym wybraniu bez zwracania 20 rekordów w około 33% prób nie ma żadnego z tych sześciu. Wybór 47 rekordów zmniejsza ryzyko pominięcia wszystkich sześciu poniżej 5%, jeżeli osoby sprawdzające rozpoznają każdy błąd w wybranych rekordach. To przykład planowania z założeniem sześciu błędów. Czysta próba nie ustala, że jest ich dokładnie sześć, ani że pozostałe rekordy są bezbłędne. Dobierz liczebność próby do istotnej dla decyzji częstości błędów i ryzyka ich przeoczenia. Zapisz, jak przykłady wybierano i sprawdzano. Wprowadzenie NIST do doboru próby omawia wybór i liczebność próby, a badania nad jakością adnotacji wyjaśniają statystyczną ocenę jakości i odbiór na podstawie próby.

Porównaj wyniki czytania w różnych językach

Zdecyduj, co zmienić

Przełóż ustalenia na działania, które może podjąć zespół.

  • Napraw dane. Odzyskaj brakujący kontekst, popraw potwierdzone błędy lub zaktualizuj instrukcję etykietowania, a następnie sprawdź ponownie objęte zmianą rekordy.
  • Ogranicz użycie. Używaj zbioru tylko do zadań lub w tych podzbiorach, w których stanowi on odpowiednią podstawę, i opisz znane braki.
  • Wstrzymaj użycie. Wyłącz zbiór z zamierzonego trenowania lub decyzji o wdrożeniu do czasu rozwiązania istotnego problemu.
  • Dodaj dane. Zbierz lub pozyskaj przykłady brakujących sytuacji albo utwórz nowy zbiór testowy, którego wcześniej nie używano do trenowania ani dostrajania.

Zachowaj możliwość identyfikacji wersji oryginalnej i poprawionej. Zapisz przeprowadzone kontrole, metodę doboru przykładów, wyniki, decyzje osób weryfikujących i nierozstrzygnięte pytania, aby inny zespół zrozumiał, co zmieniono i dlaczego.

Sprawdź przepisany zbiór w formacie Parquet

Gdy dostarczone pliki Parquet zostaną zapisane ponownie, ustal, jakie właściwości nowe pliki muszą zachować dla danego zadania. Odnotuj oryginalne i poprawione wersje plików. Wykonaj kontrole tym samym czytnikiem, z którego zespół korzysta na dalszych etapach przetwarzania. W poniższych przykładach użyto wymyślonych danych.

  • Pola w źródłach. Zapisz schemat każdego oryginalnego pliku, jeśli trzeba odróżnić brak pola od jawnej wartości null. W naszym przykładzie z DuckDB 1.4.4 zamiana źródła, w którym pominięto pole, dała identyczne połączone pliki nawet po zachowaniu nazw źródeł. Oryginalne schematy pozwoliły wykryć obie zmiany. Łączenie schematów w DuckDB
  • Pary identyfikatorów spraw i etykiet. Sprawdź, czy wszystkie identyfikatory spraw są obecne i unikatowe, porównaj je z oczekiwanym wykazem i sprawdź etykiety według identyfikatora. W ośmiowierszowym przykładzie oba ponowne zapisy zachowały te same metadane stopki i liczebności etykiet. W jednym zapisie dwie etykiety trafiły do innych spraw. W drugim zmiana kolejności całych wierszy zachowała każdą parę. Układ pliku Parquet
  • Zdekodowane liczby. Sprawdź typ logiczny i porównaj odczytane wartości liczbowe. W naszym przykładzie dziesiętnym zmiana skali z 2 na 3 przekształciła 12,34 w 1,234, choć zapisane liczby całkowite i bajty fragmentu kolumny pozostały takie same. Specyfikacja liczb dziesiętnych w Parquet
  • Daty lokalne. Gdy raport grupuje zdarzenia według dnia lokalnego, porównaj datę każdego zdarzenia w uzgodnionej strefie czasowej. W PyArrow 26.0.1 dwa zdarzenia zachowały swoje chwile po ponownym zapisie bez metadanych schematu Arrow. Po odczycie w UTC oba przypadły na 1 lipca. Użycie uzgodnionej strefy czasowej Nowego Jorku przywróciło przypisania do 30 czerwca i 1 lipca. Opcje zapisu w PyArrow

Każdą kontrolę oprzyj na uzgodnionej właściwości. Jeżeli kolejność może się zmieniać, zmiana kolejności zachowująca pary przechodzi kontrolę identyfikatorów spraw i etykiet. Jeżeli warunki dostawy wymagają weryfikacji obecności pól według źródła, a oryginalne schematy są niedostępne, wstrzymaj tę kontrolę do odzyskania dowodów.

Sprawdź konwersję danych COCO

Przy konwersji zbioru danych COCO do wykrywania obiektów porównaj oryginalne i wyeksportowane mapowania obrazów. Sprawdź, czy każdy obraz źródłowy ma w eksporcie odrębny identyfikator numeryczny i czy jego adnotacje i predykcje nadal odwołują się do właściwego obrazu. Po skonfigurowaniu zapisanego mapowania identyfikatorów testowany eksporter FiftyOne przekształca 01 i 1 w tę samą liczbę całkowitą. Sprawdzany indeks COCO zachowuje ostatni wiersz obrazu z tym identyfikatorem i grupuje pod nim adnotacje. Usuń kolizje identyfikatorów przed obliczeniem wyników. Eksporter FiftyOne · Indeks COCO

W miarę możliwości zachowaj oryginalne identyfikatory. Jeśli muszą się zmienić, zachowaj ich względną kolejność numeryczną i ponownie oblicz średnią precyzję (AP) dla danych oryginalnych i po konwersji. Użyj tej samej rewizji i konfiguracji ewaluatora oraz niezaokrąglonych wyników predykcji, przypisując predykcje do odpowiednich obrazów w każdym przebiegu. Wykonaj małą kontrolę na dwóch detekcjach z takim samym wynikiem pewności w tej samej kategorii na różnych obrazach, z których jedna odpowiada adnotacji wzorcowej, a druga jest fałszywie dodatnia. Badany ewaluator COCO sortuje identyfikatory i zachowuje tę kolejność przy remisie wyników między obrazami. Zmiana numeracji może więc zmienić AP, choć dopasowania detekcji się nie zmieniły. Rozwiąż każdą rozbieżność wyników przed porównaniem wersji. Kolejność obrazów w COCO · Agregowanie wyników w COCO

sapien1 pomaga zespołom oceniać zbiory danych i planować ewaluacje dopasowane do zadań, które ma wykonywać system AI. Po przeglądzie danych zapoznaj się z naszym przewodnikiem po ewaluacji agentów. Jeżeli przegląd ujawni lukę w danych, przewodnik po pozyskiwaniu danych pomoże określić, czego szukać.