Zum Hauptinhalt springen

Menü

Datenbeschaffung für KI-Training und -Evaluierung

Seitensprache: Deutsch

Beschreibe die Aufgabe des Modells, das benötigte Material und dessen zulässige Nutzung. sapien1 kann dabei helfen, potenzielle Quellen zu identifizieren und den Umfang einer Stichprobe sowie Kriterien für die Entscheidung über das weitere Vorgehen festzulegen. Beschreibe sapien1 dein Projekt

Finden Sie Daten, die zur Aufgabe Ihres KI-Systems passen. sapien1 hilft Ihnen, den Bedarf zu beschreiben, mögliche Quellen zu finden und einen Datensatz für Training, Evaluierung oder Informationsabruf zu beurteilen.

Beginnen Sie mit dem Verhalten, das Sie verbessern möchten. Soll das System ein Dokument verstehen, einen Arbeitsablauf abschließen, ein Werkzeug nutzen oder eine Szene interpretieren? Davon hängt ab, welche Beispiele, welcher Kontext und welche Qualitätsprüfungen nötig sind.

Festlegen, wofür die Daten gebraucht werden

Dieselbe Sammlung kann verschiedenen Zwecken dienen. Trainingsbeispiele vermitteln ein Verhalten. Evaluierungsbeispiele prüfen es. Inhalte für den Informationsabruf liefern dem System Material, das es beim Beantworten einer Frage heranziehen kann.

Beschreiben Sie den beabsichtigten Einsatz, bevor Sie Quellen vergleichen. Ein Trainingsbeispiel für einen Support-Agenten könnte eine Anfrage mit der zutreffenden Richtlinie und der ausgeführten Handlung verbinden. Bei einer Evaluierungsaufgabe muss sich außerdem klar prüfen lassen, ob die Entscheidung richtig war. Eine Sammlung für den Informationsabruf braucht die Richtlinien selbst und genügend Kontext, um die jeweils gültige Fassung zu erkennen.

Was in eine Anforderung für die Datenbeschaffung gehört

AnforderungWas zu beschreiben ist
AufgabeWas das Modell oder der Agent tun soll und wo derzeit Schwierigkeiten auftreten
AbdeckungRelevante Fachgebiete, Sprachen, Regionen, Zeiträume und schwierige Fälle
DatenformateDokumente, Code, Datensätze, Audio, Bilder, Video, Werkzeugprotokolle oder eine Kombination daraus
KontextLabels, Zeitstempel, Beziehungen, Anweisungen oder Ergebnisse, die zum Verständnis eines Beispiels erforderlich sind
EinsatzTraining, Evaluierung oder Informationsabruf sowie die Art des Datenzugriffs
AbnahmeWas eine brauchbare Stichprobe zeigen soll, bevor Sie das Projekt ausweiten

In einem ersten Briefing dürfen Fragen offenbleiben. Eine konkrete Aufgabe und einige repräsentative Beispiele bieten meist einen besseren Einstieg als eine angestrebte Dateizahl allein.

Eine Stichprobe prüfen, bevor das Projekt wächst

Die Prüfung einer Stichprobe kann fehlenden Kontext, uneinheitliche Labels, Duplikate und Lücken bei wichtigen Situationen sichtbar machen. Ihr Team kann das vorgeschlagene Format dabei im eigenen Arbeitsablauf erproben. Eine Beispielprüfung finden Sie in unserem Leitfaden zum Kauf von KI-Trainingsdaten.

Halten Sie Quelle und zulässige Nutzung zusammen mit der technischen Bewertung fest. Die Beschreibung eines Datensatzes sollte die Inhalte und relevanten Einschränkungen verständlich machen. Die Empfehlungen von Hugging Face zu Datensatzkarten bieten eine Orientierung für die Dokumentation.

Wie Eigentümer eine Sammlung beschreiben und welche Berechtigungen sie prüfen können, erläutern wir in unserem Leitfaden zur Vorbereitung der Lizenzierung von Unternehmensdaten.

Wenn Ihnen eine Sammlung gehört, über die Sie sprechen möchten, beschreiben Sie Ihre Daten.

Legen Sie bei einem Projekt mit sapien1 den Umfang der Beschaffung, die Stichprobenprüfung, die Liefergegenstände und die Abnahmekriterien gemeinsam fest. Der nächste Schritt kann eine gezielte Datenerhebung, die Prüfung bereits vorhandener Daten oder ein Aufgabensatz für die Evaluierung von Agenten sein.