Datenbeschaffung für KI-Training und -Evaluierung
Seitensprache: Deutsch
Beschreibe die Aufgabe des Modells, das benötigte Material und dessen zulässige Nutzung. sapien1 kann dabei helfen, potenzielle Quellen zu identifizieren und den Umfang einer Stichprobe sowie Kriterien für die Entscheidung über das weitere Vorgehen festzulegen. Beschreibe sapien1 dein Projekt
Finden Sie Daten, die zur Aufgabe Ihres KI-Systems passen. sapien1 hilft Ihnen, den Bedarf zu beschreiben, mögliche Quellen zu finden und einen Datensatz für Training, Evaluierung oder Informationsabruf zu beurteilen.
Beginnen Sie mit dem Verhalten, das Sie verbessern möchten. Soll das System ein Dokument verstehen, einen Arbeitsablauf abschließen, ein Werkzeug nutzen oder eine Szene interpretieren? Davon hängt ab, welche Beispiele, welcher Kontext und welche Qualitätsprüfungen nötig sind.
Festlegen, wofür die Daten gebraucht werden
Dieselbe Sammlung kann verschiedenen Zwecken dienen. Trainingsbeispiele vermitteln ein Verhalten. Evaluierungsbeispiele prüfen es. Inhalte für den Informationsabruf liefern dem System Material, das es beim Beantworten einer Frage heranziehen kann.
Beschreiben Sie den beabsichtigten Einsatz, bevor Sie Quellen vergleichen. Ein Trainingsbeispiel für einen Support-Agenten könnte eine Anfrage mit der zutreffenden Richtlinie und der ausgeführten Handlung verbinden. Bei einer Evaluierungsaufgabe muss sich außerdem klar prüfen lassen, ob die Entscheidung richtig war. Eine Sammlung für den Informationsabruf braucht die Richtlinien selbst und genügend Kontext, um die jeweils gültige Fassung zu erkennen.
Was in eine Anforderung für die Datenbeschaffung gehört
| Anforderung | Was zu beschreiben ist |
|---|---|
| Aufgabe | Was das Modell oder der Agent tun soll und wo derzeit Schwierigkeiten auftreten |
| Abdeckung | Relevante Fachgebiete, Sprachen, Regionen, Zeiträume und schwierige Fälle |
| Datenformate | Dokumente, Code, Datensätze, Audio, Bilder, Video, Werkzeugprotokolle oder eine Kombination daraus |
| Kontext | Labels, Zeitstempel, Beziehungen, Anweisungen oder Ergebnisse, die zum Verständnis eines Beispiels erforderlich sind |
| Einsatz | Training, Evaluierung oder Informationsabruf sowie die Art des Datenzugriffs |
| Abnahme | Was eine brauchbare Stichprobe zeigen soll, bevor Sie das Projekt ausweiten |
In einem ersten Briefing dürfen Fragen offenbleiben. Eine konkrete Aufgabe und einige repräsentative Beispiele bieten meist einen besseren Einstieg als eine angestrebte Dateizahl allein.
Eine Stichprobe prüfen, bevor das Projekt wächst
Die Prüfung einer Stichprobe kann fehlenden Kontext, uneinheitliche Labels, Duplikate und Lücken bei wichtigen Situationen sichtbar machen. Ihr Team kann das vorgeschlagene Format dabei im eigenen Arbeitsablauf erproben. Eine Beispielprüfung finden Sie in unserem Leitfaden zum Kauf von KI-Trainingsdaten.
Halten Sie Quelle und zulässige Nutzung zusammen mit der technischen Bewertung fest. Die Beschreibung eines Datensatzes sollte die Inhalte und relevanten Einschränkungen verständlich machen. Die Empfehlungen von Hugging Face zu Datensatzkarten bieten eine Orientierung für die Dokumentation.
Wie Eigentümer eine Sammlung beschreiben und welche Berechtigungen sie prüfen können, erläutern wir in unserem Leitfaden zur Vorbereitung der Lizenzierung von Unternehmensdaten.
Wenn Ihnen eine Sammlung gehört, über die Sie sprechen möchten, beschreiben Sie Ihre Daten.
Legen Sie bei einem Projekt mit sapien1 den Umfang der Beschaffung, die Stichprobenprüfung, die Liefergegenstände und die Abnahmekriterien gemeinsam fest. Der nächste Schritt kann eine gezielte Datenerhebung, die Prüfung bereits vorhandener Daten oder ein Aufgabensatz für die Evaluierung von Agenten sein.