Zum Hauptinhalt springen

Menü

Einen KI-Datensatz für die vorgesehene Aufgabe bewerten

Sprache: Deutsch

Teile uns den vorgesehenen Verwendungszweck, ein Schema und eine Beschreibung der Stichprobe mit. Wir können den Umfang einer Prüfung von Abdeckung, Qualität und Berechtigungen festlegen. Die Ergebnisse erläutern, welche Nutzungen durch die vorliegenden Nachweise gestützt werden. Beschreibe sapien1 dein Projekt

Bei der Bewertung eines Datensatzes prüfen Sie, ob Ihre vorhandenen Daten eine konkrete Entscheidung zu Training, Informationsabruf oder Evaluation stützen können. Klären Sie zuerst den vorgesehenen Einsatz. Untersuchen Sie anschließend die Beispiele, ihren Kontext, ihre Labels, ihre Abdeckung und die Aufteilung der Daten.

Ein Testdatensatz kann zum Beispiel vollständig wirken und trotzdem Fälle enthalten, die das Modell bereits im Training gesehen hat. Das ist entscheidend, wenn der Test die Leistung an neuen Fällen abschätzen soll. Eine gute Prüfung hält fest, was geprüft wurde, was korrigiert werden muss und welche Schlüsse die verbleibenden Belege zulassen.

Mit der Entscheidung beginnen

Halten Sie schriftlich fest, wofür Sie den Datensatz einsetzen wollen. Dieselben Einträge können für einen Zweck ausreichen und für einen anderen zu wenig sein.

Vorgesehener EinsatzEine Frage zur Prüfung
Training oder FeinabstimmungBeschreiben die Beispiele und Labels das Verhalten, das das Modell erlernen soll?
Evaluation eines Modells oder AgentenLassen sich die erwarteten Ergebnisse prüfen? Sind die Testfälle unabhängig von den Daten, mit denen das System trainiert oder abgestimmt wurde?
InformationsabrufSind die Inhalte aktuell und verständlich, und stehen sie dem System bei Bedarf zur Verfügung?

Dokumentieren Sie Version, Quelle, Zeitraum, Felder und bekannte Einschränkungen. Eine Datensatzkarte kann Inhalte, Kontext und Metadaten erläutern. Gleichen Sie sie mit den tatsächlichen Dateien und den einschlägigen Nutzungsbedingungen ab.

Ein konkretes Beispiel für eine Dokumentationsprüfung ist das Repository lerobot/svla_so101_pickplace in der am 17. November 2026 geprüften Revision f641879. Die Datensatzkarte zeigt ein Metadatenbeispiel mit codebase_version v2.1 und Dateipfaden pro Episode. Die tatsächlichen Metadaten derselben Revision nennen codebase_version v3.0 und Pfade zu blockweise organisierten Dateien. Im Datenverzeichnis liegt eine Datei, deren Name diesem Muster entspricht. Prüfen Sie Metadaten und Dateien für die Revision, die Sie verwenden wollen, bevor Sie sich auf einen übernommenen Pfad aus der Datensatzkarte verlassen. Die Qualität der Beispiele und ihre Eignung für das Training bleiben bei diesem Vergleich offen.

Prüfen Sie vor dem Zusammenführen von Roboteraufzeichnungen, wofür die Aktions- und Zustandskanäle stehen und welcher Zeitspanne eine feste Anzahl von Schritten entspricht. FineART und ein simulierter ALOHA-Datensatz geben beide aloha sowie Aktions- und Zustandsvektoren mit je 14 Elementen des Typs float32 an. FineART gibt 30 Bilder pro Sekunde an, der simulierte Datensatz 50. Wenn jeder Schritt bei der angegebenen Rate um ein Bildintervall fortschreitet, umfassen 15 Schritte in einem Datensatz 0,5 Sekunden und im anderen 0,3 Sekunden. Prüfen Sie die aufgezeichneten Zeitabstände und die Schrittauswahl Ihrer Verarbeitungskette, bevor Sie Zeitfenster beider Quellen gleich behandeln. FineART-Metadaten · Metadaten des simulierten ALOHA-Datensatzes

Aufteilung und Kontext an einem Beispiel prüfen

Angenommen, ein Team möchte mit einem vorhandenen gelabelten Supportdatensatz entscheiden, ob es einen Agenten für neue Unterhaltungen freigeben kann. Der Datensatz umfasst 120 Beispiele, davon 90 für das Training und 30 im vorgeschlagenen Testdatensatz. Jedes Beispiel sollte eine Fall-ID, eine Gesprächs-ID, die geltende Fassung der Support-Richtlinie und die erwartete nächste Aktion enthalten.

Das Beispiel ist fiktiv. Das Team prüft die 30 Testfälle und vergleicht sie mit den Trainingsdaten. Dabei ergibt sich Folgendes.

PrüfungBefundBedeutung für die Entscheidung
Wiederholte FälleVier Testfälle sind nachweislich Kopien von Trainingsfällen.Diese vier Fälle sind bereits in den Trainingsdaten vertreten.
Gemeinsame UnterhaltungenDrei weitere Testfälle haben andere Fall-IDs, gehören aber zu Unterhaltungen, die in den Trainingsdaten vorkommen.Für einen Test an neuen Unterhaltungen sind dies zusätzliche Überschneidungen zwischen Training und Test.
RichtlinienkontextBei zwei der verbleibenden 23 Testfälle fehlt der Verweis auf die Fassung der Richtlinie.Mit dem dokumentierten Kontext kann eine prüfende Person die erwarteten Aktionen noch nicht mit der geltenden Richtlinie abgleichen.

Die ersten beiden Prüfungen markieren sieben verschiedene Fälle. Bei 23 Fällen fanden sie keine dieser Überschneidungen. Bei zwei davon fehlt der Richtlinienkontext. Damit bleiben 21 Testfälle, die bei diesen Prüfungen unauffällig waren. Offen bleibt, ob ihre Labels korrekt sind, ob die Abdeckung ausreicht und ob 21 Fälle als Grundlage für die Freigabe genügen.

Das Team sollte den aktuellen Datensatz vorerst nicht als unabhängigen Freigabetest für neue Unterhaltungen verwenden. Isolieren Sie die markierten Fälle für die Prüfung und ergänzen oder klären Sie den fehlenden Kontext. Prüfen Sie, welche Fälle das Modell und das Entwicklungsteam bereits kennen. Eine andere Anordnung der Dateien macht aus bekannten Fällen keine neuen. Halten Sie bei einer neuen Aufteilung jede Unterhaltung zusammen und gleichen Sie die Testfälle mit den dokumentierten Trainingsdaten und den Daten zur Modellauswahl ab. Wenn sich die Herkunft früherer Trainingsdaten nicht überprüfen lässt, halten Sie diese Einschränkung fest. Wenn vorhandene Ergebnisse die Abstimmung beeinflusst haben, reservieren Sie neue Fälle, die in diese Entscheidungen nicht eingeflossen sind. Trainieren Sie bei Bedarf mit getrennten Daten erneut.

Der Google-Leitfaden zur Aufteilung von Datensätzen erklärt, wie Duplikate zwischen Training und Test bessere Ergebnisse vortäuschen können, als das Modell bei neuen Beispielen erzielt. Die scikit-learn-Dokumentation zur gruppierten Kreuzvalidierung zeigt, wie zusammengehörige Beobachtungen einer Gruppe beieinanderbleiben, wenn die Leistung an bislang unbekannten Gruppen geprüft werden soll. Je nach Fragestellung kann die Gruppe eine Unterhaltung, einen Kunden oder ein Dokument umfassen. Soll ein Test zur Bildbeschreibung ausschließlich Bilder verwenden, die im Trainingsdatensatz fehlen, halten Sie alle Beschreibungen desselben Bildes zusammen. Wenn Sie die Beschreibungszeilen einzeln aufteilen, kann dasselbe Bild im Training und im Test auftauchen. Nutzen Sie für einen Test mit späteren Fällen eine Aufteilung nach Zeitfolge, damit die Trainingsdaten keine Beobachtungen aus der Zeit nach dem Testzeitraum enthalten.

Angenommen, das Team möchte außerdem neue Unterhaltungen nach einem Stichtag prüfen. Bei einer neuen Aufteilung gibt es zu Unterhaltung A Einträge vor und nach dem Stichtag. Der erste erfasste Fall von Unterhaltung B liegt danach. Eine Möglichkeit ist, A aus beiden Teilmengen auszuschließen und B für den Test zu reservieren, sofern die Einträge von B noch nie für das Training oder die Modellauswahl verwendet wurden. Verwenden Sie für das Training Daten aus der Zeit vor dem Stichtag und prüfen Sie bei allen Testfällen, ob sie schon einmal genutzt wurden. Dokumentieren Sie die Ausschlüsse und prüfen Sie, ob die übrigen Fälle den vorgesehenen Einsatz abdecken. Ein eigener Test, der die zeitliche Reihenfolge berücksichtigt, kann laufende Unterhaltungen abdecken. Bei lückenhafter Historie lässt sich möglicherweise nicht bestätigen, dass B neu ist.

Prüfen Sie die tatsächliche Zuordnung des Werkzeugs, bevor Sie einen nicht angegebenen Anteil als zurückgehaltene Teilmenge betrachten. Die LeRobot-Hilfsfunktion zur Aufteilung nach Anteilen in Revision 7910c20 ordnet zum Beispiel alle 50 Episoden eines fiktiven Datensatzes zu, wenn train: 0.6 und danach test: 0.2 angegeben werden. Sie teilt 30 Episoden dem Training und 20 dem Test zu. Keine Episode bleibt ohne Zuordnung. Andere Werkzeuge oder Versionen können anders vorgehen, und kleine Datensätze können Rundungen oder Umverteilungen erfordern. Kontrollieren Sie die tatsächliche Zuordnung. Wenn Gruppen zusammenbleiben müssen, wählen und dokumentieren Sie entsprechende Episodenlisten.

Eine Forschungsnotiz zu LeRobot zeigt, wie ein neu initialisierter Diffusion-Prozessor gespeicherte Normalisierungsstatistiken erhalten kann. Sie vergleicht diese Wertebereiche mit Zusammenfassungen der Trainingsepisoden bei einer hypothetischen Aufteilung mit zurückgehaltenen Daten. Prüfen Sie Herkunft und Geltungsbereich der Statistiken, die Ihr eigener Prozessor lädt.

Labels und Abdeckung prüfen

Vergleichen Sie bei gelabelten Daten eine Stichprobe der erwarteten Antworten mit den Anweisungen und Belegen, auf deren Grundlage sie erstellt wurden. Eine Fachperson kann fehlenden Kontext, widersprüchliche Labels und Fälle mit tatsächlich mehrdeutiger Antwort untersuchen. Dokumentieren Sie Abweichungen und ihre Klärung. Die Übereinstimmung zwischen Prüfenden ist aufschlussreich. Für die Richtigkeit eines Labels braucht es weitere Belege. Forschung zum Qualitätsmanagement bei Annotationen behandelt Prüfung, Übereinstimmung und Klärung von Streitfällen als getrennte Arbeitsschritte.

Numerische Klassenlabels brauchen eine Zuordnung von IDs zu Klassennamen und Definitionen. Vergleichen Sie Definitionen und IDs über Versionen und Teilmengen hinweg und gleichen Sie sie mit der Zuordnung ab, die das Modell erwartet. Dokumentieren Sie Umsetzungen sowie den Umgang mit fehlenden oder zusammengelegten Klassen. Der Datensatzleitfaden von Ultralytics Platform weist darauf hin, dass das Zusammenlegen oder Löschen von Klassen nachfolgende IDs verschieben kann. Frühere Exporte können dadurch von der aktualisierten Klassenliste abweichen. Prüfen Sie die Zuordnung in Ihren Exporten und Ihrer Verarbeitungskette.

Prüfen Sie, ob der Datensatz die für den Einsatz wichtigen Situationen abdeckt, etwa häufige Anfragen, wesentliche Ausnahmen, Sprachen, Zeiträume oder andere aussagekräftige Gruppen. Eine Gruppe mit wenigen Beispielen kann zusätzliche Daten oder eine eigene Analyse erfordern. Die notwendige Zahl von Beispielen kann von Gruppe zu Gruppe variieren.

Dokumentieren Sie, wie die Beispiele für die Prüfung ausgewählt wurden. Eine gezielte Auswahl kann ein Problem sichtbar machen. Ihre Fehlerquote darf aber nicht auf den gesamten Datensatz übertragen werden. Die Hinweise von Google zur Stichprobenauswahl erklären, wie die Auswahl Schlüsse über eine größere Grundgesamtheit verzerren kann.

Auch eine Zufallsstichprobe kann Fehler verfehlen. Angenommen, ein anderer fiktiver Bestand umfasst 120 Einträge, von denen sechs falsch gelabelt sind. Bei einer gleichverteilten Zufallsauswahl von 20 verschiedenen Einträgen enthält die Stichprobe in etwa 33 Prozent der Fälle keinen dieser sechs. Bei 47 Einträgen sinkt die Wahrscheinlichkeit, alle sechs zu verfehlen, auf unter 5 Prozent, sofern die Prüfenden jedes falsche Label in den ausgewählten Einträgen erkennen. Das Planungsbeispiel setzt sechs Fehler voraus. Eine fehlerfreie Stichprobe zeigt weder, dass es genau sechs sind, noch dass die übrigen Einträge fehlerfrei sind. Wählen Sie die Stichprobengröße nach der für Ihre Entscheidung relevanten Fehlerhäufigkeit und dem hinnehmbaren Risiko, Fehler zu verfehlen. Halten Sie fest, wie Beispiele ausgewählt und geprüft wurden. Die NIST-Einführung zu Stichproben behandelt Auswahl und Größe. Die Forschung zur Annotationsqualität erläutert die statistische Qualitätsbewertung und die Annahmestichprobe.

Lesetestergebnisse für mehrere Sprachen vergleichen

Über Änderungen entscheiden

Leiten Sie aus den Befunden Schritte ab, die das Team umsetzen kann.

  • Korrigieren. Stellen Sie fehlenden Kontext wieder her, korrigieren Sie bestätigte Fehler oder aktualisieren Sie die Label-Anweisungen. Prüfen Sie die betroffenen Einträge erneut.
  • Einschränken. Verwenden Sie den Datensatz nur für Aufgaben oder Ausschnitte, die er ausreichend abdeckt, und beschreiben Sie bekannte Lücken.
  • Zurückstellen. Verwenden Sie den Datensatz für das geplante Training oder die Freigabeentscheidung erst, wenn das wesentliche Problem geklärt ist.
  • Daten ergänzen. Sammeln oder beschaffen Sie Fälle für fehlende Situationen oder erstellen Sie einen neuen Testdatensatz, der noch nicht für Training oder Abstimmung verwendet wurde.

Sorgen Sie dafür, dass Original und überarbeitete Version eindeutig erkennbar bleiben. Dokumentieren Sie Prüfungen, Auswahlmethode, Befunde, Entscheidungen der Prüfenden und offene Fragen, damit ein anderes Team die Änderungen und ihre Gründe nachvollziehen kann.

Einen neu geschriebenen Parquet-Datensatz prüfen

Legen Sie bei einer neu geschriebenen Parquet-Lieferung fest, welche Eigenschaften die neuen Dateien für Ihre Aufgabe erhalten müssen. Dokumentieren Sie die ursprünglichen und die überarbeiteten Dateiversionen. Prüfen Sie die Dateien mit dem Lesewerkzeug, das Ihr Team später einsetzt. Die folgenden Beispiele verwenden fiktive Daten.

  • Felder der Quelldateien. Speichern Sie das Schema jeder Originaldatei, wenn ein fehlendes Feld von einem expliziten Nullwert zu unterscheiden ist. In unserem Beispiel mit DuckDB 1.4.4 entstanden beim Tausch der Quelle, in der ein Feld fehlte, identische zusammengeführte Dateien. Das galt auch bei erhaltenen Quellnamen. Die Originalschemata zeigten beide Änderungen. Schemata in DuckDB kombinieren
  • Zuordnung von Fall und Label. Prüfen Sie, ob Fall-IDs vorhanden und eindeutig sind. Gleichen Sie die IDs mit der erwarteten Liste ab und vergleichen Sie die Labels anhand der IDs. Zwei neu geschriebene Fassungen unseres Beispiels mit acht Zeilen hatten dieselben Footer-Metadaten und dieselbe Anzahl je Label. In einer Fassung wurden zwei Labels anderen Fällen zugeordnet. In der anderen blieben durch eine reine Umordnung unveränderter Zeilen alle Zuordnungen erhalten. Aufbau einer Parquet-Datei
  • Dekodierte Zahlen. Prüfen Sie den logischen Datentyp und vergleichen Sie die ausgelesenen Zahlen. Im Dezimalbeispiel machte eine Änderung der Skalierung von 2 auf 3 aus 12,34 den Wert 1,234, obwohl die gespeicherten Ganzzahlen und Bytes des Spaltenblocks gleich blieben. Parquet-Spezifikation für Dezimalzahlen
  • Lokale Datumsangaben. Wenn ein Bericht nach Kalendertagen vor Ort gruppiert, vergleichen Sie das Datum jedes Ereignisses in der vereinbarten Zeitzone. Mit PyArrow 26.0.1 behielten zwei Ereignisse nach dem Neuschreiben ohne Arrow-Schemametadaten ihre ursprünglichen Zeitpunkte. Beim Einlesen in UTC fielen beide auf den 1. Juli. Die vereinbarte Zeitzone New York stellte die Zuordnungen zum 30. Juni und 1. Juli wieder her. Schreiboptionen von PyArrow

Richten Sie jede Prüfung an der vereinbarten Eigenschaft aus. Wenn sich die Reihenfolge ändern darf, besteht eine Umordnung mit unveränderten Zuordnungen die Prüfung von Fällen und Labels. Wenn vertraglich festgelegt ist, dass die vorhandenen Felder pro Quelle nachweisbar sein müssen, warten Sie bei fehlenden Originalschemata mit dieser Prüfung, bis die Belege vorliegen.

Konvertierung von COCO-Daten prüfen

Vergleichen Sie beim Konvertieren eines COCO-Datensatzes zur Objekterkennung die ursprünglichen und exportierten Bildzuordnungen. Prüfen Sie, ob jedes Quellbild im Export eine eindeutige numerische ID hat und seine Annotationen und Vorhersagen weiterhin auf das vorgesehene Bild verweisen. Mit einer konfigurierten, gespeicherten ID-Zuordnung wandelt der getestete FiftyOne-Exporter 01 und 1 in dieselbe Ganzzahl um. Der getestete COCO-Index behält die letzte Bildzeile zu dieser ID und gruppiert die Annotationen darunter. Klären Sie doppelte IDs vor der Auswertung. FiftyOne-Exporter · COCO-Index

Behalten Sie möglichst die ursprünglichen IDs. Müssen sich IDs ändern, erhalten Sie ihre relative numerische Reihenfolge und berechnen Sie die Average Precision (AP) anhand der ursprünglichen und der konvertierten Daten erneut. Verwenden Sie in beiden Läufen dieselbe Revision der Auswertung, dieselben Einstellungen und ungerundete Vorhersagewerte. Ordnen Sie die Vorhersagen jeweils den zugehörigen Bildern zu. Prüfen Sie auch zwei Erkennungen gleicher Konfidenz und Kategorie auf unterschiedlichen Bildern. Eine sollte einer Referenzannotation entsprechen, die andere ein falsch positiver Treffer sein. Die geprüfte COCO-Auswertung sortiert die IDs und nutzt diese Reihenfolge bei gleichen Scores über verschiedene Bilder hinweg. Eine neue Nummerierung kann daher die AP verändern, obwohl die Zuordnungen der Erkennungen gleich bleiben. Klären Sie Abweichungen im Ergebnis vor dem Vergleich der Versionen. Bildreihenfolge in COCO · Score-Akkumulation in COCO

sapien1 hilft Teams, Datensätze zu prüfen und Evaluationen an den Aufgaben eines KI-Systems auszurichten. Ergänzend zur Datenprüfung finden Sie die nächsten Schritte im Leitfaden zur Agentenevaluation. Zeigt die Prüfung eine Datenlücke, hilft der Leitfaden zur Datenbeschaffung dabei, den Bedarf zu beschreiben.