Zum Hauptinhalt springen

Menü

So kaufst du KI-Trainingsdaten

Sprache: Deutsch

Teile uns mit, was dein Modell lernen muss und anhand welcher Kriterien du eine nützliche Stichprobe beurteilst. Wir können geeignete Quellen und die vor deiner Entscheidung über die Lizenzierung einer Sammlung zu prüfenden Nachweise besprechen. Beschreibe sapien1 dein Projekt

Du kannst einen bestehenden Datensatz lizenzieren, direkt mit einem Dateninhaber zusammenarbeiten oder eine Datenerhebung für eine bestimmte Aufgabe beauftragen. Bevor du dich festlegst, definiere, was das Modell lernen soll, prüfe eine Stichprobe anhand dieser Anforderung und kläre, ob die vorgeschlagenen Bedingungen die beabsichtigte Nutzung abdecken.

Die entscheidende Frage lautet nicht nur: „Wie viele Daten sind verfügbar?“ Entscheidend ist auch, ob die Datensätze die Beispiele und den Kontext enthalten, die dein Team nutzen kann, und ob die vereinbarte Lizenz die beteiligten Personen, Systeme und Zwecke abdeckt.

Entscheide, woher du die Daten beziehst

BezugswegWann er infrage kommtWas du zuerst fragen solltest
Bestehender DatensatzDu benötigst eine Sammlung, die möglicherweise bereits existiert.Welche Version, Felder, Zeiträume und Nutzungsbedingungen sind enthalten?
Direkte Vereinbarung mit einem DateninhaberEine Organisation verfügt über relevante Datensätze oder Inhalte.Wer kann die vorgeschlagene Nutzung genehmigen, und welches Material ist umfasst?
Individuelle Erhebung oder AufbereitungVorhandenem Material fehlen wichtige Szenarien, Formate oder Labels.Was wird erhoben oder aufbereitet, wie wird die Qualität geprüft und was darfst du anschließend nutzen?
Öffentlicher DatensatzEine zugängliche Sammlung könnte zur Aufgabe passen oder einen ersten Vergleich ermöglichen.Was sagt ihre Dokumentation über Herkunft, Einschränkungen und zulässige Nutzung aus?

Opendatabay bietet beispielsweise einen Marktplatz mit Datensatzangeboten, während Clickworker individuelle Erhebungs- und Annotationsdienste beschreibt. Das sind Ansatzpunkte für deine Recherche; prüfe das Angebot und die Bedingungen für die konkreten Daten, die du benötigst.

Unser Leitfaden zur Datenbeschaffung erläutert, wie du Aufgabe, Abdeckung und Format beschreibst, bevor du dich an eine Datenquelle wendest.

Lege fest, was jedes Beispiel enthalten soll

Halte das gewünschte Verhalten und die Informationen fest, die du zu seiner Beurteilung benötigst. Für einen Support-Agenten könnte ein Datensatz die Anfrage des Kunden, die zu diesem Zeitpunkt geltende Richtlinie, die ergriffene Maßnahme und das Ergebnis enthalten müssen. Für ein Dokumentenmodell könnten Seitenbilder, extrahierter Text, Layout und überprüfte Labels die wichtigen Felder sein.

Wenn eine Dokumentstichprobe mit Labels versehene Begrenzungsrahmen enthält, prüfe, ob die Rahmen mit den gelieferten Bildern übereinstimmen. Manche Formate geben Positionen als Bruchteile der Seitenabmessungen an, andere verwenden Pixel. Kläre Seite, Bildversion, Einheiten, Koordinatenursprung sowie etwaige Größenänderungen, Zuschnitte oder Drehungen. Lege dann beispielhafte Rahmen über die Bilder, um ihre Ausrichtung zu prüfen. Prüfe auch, ob die Labels die richtigen Bereiche beschreiben.

Bitte um eine Beschreibung der genauen Datensatzversion: ihrer Herkunft, Größe und Einheiten, zeitlichen Abdeckung, Formate, Labels, bekannten Ausschlüsse und Verarbeitungshistorie. Der Leitfaden von Hugging Face zu Datensatzkarten beschreibt, wie eine solche Karte Inhalte, Kontext und Metadaten wie Lizenz, Sprache und Größe dokumentieren kann. Betrachte diese Felder als Informationen, die du zusammen mit der zugrunde liegenden Dokumentation prüfst.

Prüfe eine Stichprobe anhand deiner Anforderungen

Vereinbare die Stichprobe und die Prüfungen, bevor du über eine Ausweitung entscheidest. Berücksichtige sowohl die alltäglichen Situationen, auf die dein Modell treffen wird, als auch die schwierigen Fälle, die für die Aufgabe relevant sind. Halte fest, wie die Stichprobe ausgewählt wurde und welche Teile der angebotenen Sammlung sie repräsentiert.

Die am 18. November 2026 eingesehenen Marketplace Terms von Origin Lab beschränken die dort definierten Marktplatz-Stichproben auf die interne Bewertung. Sie untersagen deren Nutzung zum Testen oder Bewerten eines KI-Systems, sofern eine anwendbare, von Origin Lab unterzeichnete kommerzielle Vereinbarung nicht ausdrücklich etwas anderes festlegt. Von dieser Beschränkung ausgenommen sind die gesondert definierten Bench Materials, für die eigene Bedingungen gelten. Prüfe die spezifischen Bedingungen der Stichprobe und etwaige Vereinbarungen, bevor du sie einsiehst, testest, damit trainierst oder sie teilst.

Frage bei einer Sprachstichprobe mit Wortzeitstempeln, auf welche Aufnahme und Zeiteinheit sie sich beziehen. Wenn sich die Zeitstempel auf eine Kopie beziehen, aus der stille Abschnitte entfernt wurden, frage nach der Kennung der Quellaufnahme und einer Zuordnung der beibehaltenen Abschnitte zur ursprünglichen Zeitleiste. Prüfe ein Wort nach einem Schnitt innerhalb der Aufnahme. In einer fiktiven Stichprobe, die die Sekunden 2–4 und 7–9 der Quellaufnahme ohne Zwischenraum aneinanderfügt, entsprechen 2,5 Sekunden in der Stichprobe 7,5 Sekunden in der Quelle. Addiert man den Versatz des ersten Abschnitts von zwei Sekunden, ergibt sich 4,5 Sekunden – ein Zeitpunkt innerhalb der entfernten Lücke. NeMo Curator: Zuordnung von Zeitstempeln

Prüfe, wie die Lieferung Wörter kennzeichnet, deren Zeitstempel eine Schnittstelle überschreiten. In derselben fiktiven Stichprobe wählte die getestete Hilfsfunktion von faster-whisper für beide Enden eines solchen Zeitintervalls denselben Versatz und platzierte dessen Anfang in der entfernten Lücke. Wenn deine Nutzung ein durchgängiges Intervall in der Originalaufnahme erfordert, vereinbare vor der Annahme, wie solche Fälle gekennzeichnet und geprüft werden. faster-whisper: Wiederherstellung von Zeitstempeln · faster-whisper: Berechnung des Versatzes

Betrachte dieses fiktive Beispiel: Ein Team möchte einen Support-Agenten per Fine-Tuning darauf abstimmen, den nächsten Schritt für eine Rückgabeanfrage zu empfehlen. Ein Anbieter schlägt eine Sammlung von Supportfällen vor. Das Team bittet um 12 Beispiele zur Prüfung: sechs reguläre Rückgaben und sechs Ausnahmefälle. Für diese erste Prüfung verlangt es, dass jedes Beispiel die Kundenanfrage, einen Link zur damals geltenden Richtlinienversion und das dokumentierte Ergebnis enthält.

PrüfungAnforderung für diese StichprobeBeispielhaftes Ergebnis
KundenanfrageIn allen 12 Beispielen vorhandenIn 12 von 12 vorhanden
Geltende RichtlinienversionIn allen 12 Beispielen verlinktIn 10 von 12 verlinkt; bei zwei Ausnahmefällen fehlt der Link
Dokumentiertes ErgebnisIn allen 12 Beispielen vorhandenIn 11 von 12 vorhanden; bei einem regulären Fall fehlt das Ergebnis

Die Stichprobe erfüllt zwei der vom Team festgelegten Prüfkriterien nicht. Als Nächstes sollte das Team fragen, ob sich die fehlenden Richtlinienlinks und das fehlende Ergebnis ergänzen lassen, und eine korrigierte Stichprobe prüfen. Ist das nicht möglich, kann es seine Anforderung ändern oder eine andere Quelle suchen. Ein dokumentiertes Ergebnis ist nicht automatisch eine korrekte Entscheidung: Eine fachkundige Person sollte die Ergebnisse auch mit der jeweils geltenden Richtlinie vergleichen.

Diese Zahlen beschreiben nur die 12 ausgewählten Fälle. Sie sind keine Schätzung der Fehlerquote in der gesamten Sammlung. Um die Abdeckung umfassender zu beurteilen, frage, wie sich der Datensatz auf die relevanten Szenarien verteilt, und vereinbare eine weitere Stichprobe, die nach einer dokumentierten Methode gezogen wird. Der Leitfaden von Google zu Datenqualität und Stichproben erläutert, warum eine ausgewählte Stichprobe ein irreführendes Bild einer größeren Grundgesamtheit vermitteln kann.

Angenommen, alle 12 Fälle stammen aus dem Jahr 2024, die angebotene Sammlung deckt aber 2022–2024 ab. Die Prüfung einer korrigierten Kopie kann die Korrekturen an diesen Fällen bestätigen; sie zeigt nicht, ob der Rest der Sammlung korrigiert wurde. Frage, welche Datensatzversion und welche Datensätze korrigiert wurden, und vereinbare dann, wie eine neue Stichprobe aus der Version ausgewählt wird, die du kaufen möchtest. Wenn nur 2024 geprüft werden kann, bleibt 2022–2023 ungeprüft. Entscheide dann, ob du den Kauf eingrenzt oder eine umfassendere Prüfung abwartest.

Wenn echte Datensätze für die erste Prüfung nicht geteilt werden können, frage, ob eine bereinigte Stichprobe oder ein kontrollierter Zugang möglich ist. Ein synthetisches Beispiel kann das Format zeigen, aber weder die Qualität noch die Abdeckung der tatsächlichen Sammlung belegen.

Vereinbare vor Erhalt einer Stichprobe, wie der Zugriff technisch beschränkt wird: Eine Abfrage, die bestimmte Spalten auswählt, schränkt für sich genommen den Zugriff auf den Rest der zugrunde liegenden Datei nicht ein. Auch ein Parquet-Footer kann Spaltenstatistiken enthalten. Wenn der Absender begrenzen muss, was die Grenze des geschützten Bereichs überschreitet, kommen eine separat aufbereitete Stichprobe mit freigegebenen Feldern oder ein Dienst infrage, der den Zugriff auf Feldebene durchsetzt. Prüfe Metadaten und Zugriffskontrollen zusammen mit den zurückgegebenen Datensätzen.

Prüfe, wie du die Daten verwenden darfst

Stimme die Vereinbarung und die unterstützenden Unterlagen auf den konkreten Datensatz und das Projekt ab. Besprich mit dem Anbieter und den für die rechtliche Prüfung und Beschaffung zuständigen Personen unter anderem diese Fragen:

  • Welche Datensatzversion ist abgedeckt, und ist der Anbieter berechtigt, die vorgeschlagene Nutzung einzuräumen?
  • Sind Training, Fine-Tuning, Evaluation oder Retrieval enthalten, soweit benötigt? Regeln die Bedingungen den kommerziellen Einsatz und etwaige relevante Einschränkungen für Modelle oder Ausgaben?
  • Wer darf auf die Daten zugreifen oder sie verarbeiten, einschließlich Auftragnehmern und Dienstleistern? Welche Bedingungen gelten für Lieferung, Speicherung, Aufbewahrung und Löschung?
  • Gibt es Ausschlüsse, vorgelagerte Rechte, Material Dritter oder andere Einschränkungen, die geprüft werden müssen? Welche Nachweise gibt es für die Angaben des Anbieters zur Herkunft der Daten und zu den Nutzungsberechtigungen?

Halte gesondert fest, was bestätigt ist und was noch geprüft werden muss. Eine Lizenzangabe oder Datensatzkarte hilft dabei, eine angegebene Nutzung zu erkennen; sie bestätigt für sich genommen nicht die zugrunde liegenden Rechte. Eine Untersuchung öffentlicher Text-, Sprach- und Videodatensätze stellte Unterschiede zwischen Lizenzbeschreibungen auf Datensatzebene und Einschränkungen fest, die mit den Quellinhalten verbunden waren. Die Ergebnisse betreffen die untersuchten öffentlichen Datensätze, nicht jede kommerzielle Sammlung.

Eine festgeschriebene Karte für den öffentlichen Forschungsdatensatz SciFact bezeichnet den Datensatz beispielsweise als CC BY-NC 2.0 und verweist auf eine Lizenzdatei im master-Branch des Repositorys, die sich ändern kann. In einem festgeschriebenen Stand dieser Lizenz nennt das Repository gesondert CC BY 4.0 für Behauptungen und Evidenzannotationen, ODC-By 1.0 für Abstracts im Korpus und Apache 2.0 für seinen Code. Die Dokumente können unterschiedliche Versionen, Komponenten oder Verarbeitungsschritte beschreiben; sie legen für sich genommen nicht die Bedingungen für eine bestimmte Datei fest. Ordne die gelieferten Dateien und ihre vorgelagerten Bestandteile der jeweils relevanten Dokumentation zu und lass ungeklärte Rechtefragen prüfen.

Plane Evaluation und Lieferung

Lege fest, wie die Daten geliefert und abgenommen werden: Dateiformate, ein Manifest oder eine Versionskennung, Dokumentation, Stichprobenprüfungen und die Behebung von Problemen. Wenn die Daten auch zur Evaluation eines Modells verwendet werden, halte einen separaten Testsatz vom Training getrennt und prüfe auf Duplikate über die Datensatzaufteilung hinweg. Der Leitfaden von Google zur Aufteilung von Datensätzen erläutert, wie Duplikate ein Testergebnis besser erscheinen lassen können, als es tatsächlich ist.

Prüfe, wann die Prüffrist beginnt, wie du Mängel anzeigen musst, welche Bedeutung Schweigen hat und welche Abhilfen gelten. Beispielsweise räumt Version 1.0 der Standardlizenz für KI-Training von ai.market einem Käufer sieben Kalendertage nach der ersten Lieferung ein, um dem Marktplatz eine wesentliche Abweichung vom Angebot anzuzeigen. Die am 12. November 2026 aktualisierten Rahmenbedingungen von micro1 räumen micro1 als Lizenznehmer 30 Geschäftstage nach Abschluss der Lieferung gemäß Manifest ein, um Daten schriftlich zurückzuweisen. Ein gesonderter Fristauslöser gilt, wenn der Anbieter micro1 schriftlich mitteilt, dass die restlichen Daten nicht geliefert werden können. Die Dokumente gelten für unterschiedliche Transaktionen und enthalten weitere Bedingungen und Ausnahmen. Prüfe die Bedingungen und die Version, die für deine Bestellung gelten.

Ein Manifest kann die erwarteten Dateien und Prüfsummen für die vereinbarte Datensatzversion aufführen. Vereinbare, wie du die Herkunft des Manifests überprüfst, seine Dateiliste mit den eingegangenen Dateien vergleichst und fehlende, unerwartete oder nicht übereinstimmende Dateien untersuchst. Führt ein fiktives Manifest beispielsweise zwei Dateien auf, aber nur eine kommt an, macht eine übereinstimmende Prüfsumme für diese Datei die Lieferung nicht vollständig. Die BagIt-Spezifikation unterscheidet bei einem Verpackungsformat zwischen Vollständigkeit und Prüfsummenvalidierung. Eine übereinstimmende Prüfsumme besagt, dass der berechnete Hashwert einer Datei mit dem Wert im Manifest übereinstimmt; sie belegt für sich genommen weder die Identität des Absenders noch korrekte Labels, eine repräsentative Abdeckung oder Rechte zur Nutzung der Daten. Prüfe diese Punkte gesondert.

Wenn ein Anbieter die nächste Version sendet, erfährst du unter So nimmst du wiederkehrende KI-Datenlieferungen ab mehr.

Ein durchgearbeitetes Beispiel zur Prüfung auf Datenleckagen im Testsatz und fehlenden Kontext findest du in unserem Leitfaden zur Datensatzevaluation.

sapien1 unterstützt Teams dabei, Datenanforderungen festzulegen, mögliche Quellen zu identifizieren und Stichproben zu beurteilen. Beginne mit der Aufgabe, den benötigten Beispielen und der Entscheidung, die eine Stichprobe unterstützen soll. Dateninhaber, die sich auf ein Gespräch vorbereiten, können unseren Leitfaden zur Vorbereitung der Datenlizenzierung nutzen.