Zum Hauptinhalt springen

Menü

Forschung

So prüfst du die Klassenabdeckung einer gruppierten Testaufteilung

Sprache: Deutsch

Halte zusammengehörige Beispiele in derselben Gruppe, wenn sie bei der Aufteilung in Training und Test zusammenbleiben müssen. Gruppen können Gespräche, Kunden oder andere Einheiten der Auswertung sein. Halte vor der Wahl des Verfahrens fest, welche Klassen in jedem Testfold vorkommen und welche Mindestanzahlen gelten. Klassenabdeckung und exakte Ausgewogenheit sind unterschiedliche Anforderungen.

Prüfe die erzeugte Aufteilung

Speichere die Zuordnung der Gruppen zu den Folds und zähle je Testfold die Fälle jeder Klasse. Prüfe getrennt, ob die Gruppen ungeteilt sind und alle benötigten Klassen vorkommen. Fehlt eine Pflichtklasse, halte die Aufteilung zurück und prüfe, ob eine andere Zuordnung ganzer Gruppen die Anforderung erfüllt.

In einem fiktiven Beispiel mit 24 Zeilen nutzte StratifiedGroupKFold aus scikit-learn 1.7.2 drei Folds ohne zufälliges Mischen. Ein Satz numerischer Gruppen-IDs ergab die Klassenanzahlen (4, 2), (4, 6) und (4, 4). Mit umgekehrten IDs ergaben sich (4, 6), (4, 0) und (4, 6), bei denselben Zeilen, Labels und Gruppenzugehörigkeiten. Im ersten Ergebnis kommen alle Klassen vor, sind aber nicht exakt gleich verteilt. Im zweiten fehlen beide Eigenschaften. Eine exakte Zuordnung mit (4, 4) war im Beispiel möglich.

Prüfe, ob die Anforderung erfüllbar ist

Wenn beide Folds alle Klassen enthalten sollen, muss jede Klasse in mindestens zwei unabhängigen Gruppen vorkommen. Prüfe anhand der Zuordnung von Klassen zu Gruppen, ob alle Klassen gleichzeitig in beiden Folds vorkommen können.

In zwei separaten Beispielen mit 12 Zeilen kommt jede Klasse in zwei Gruppen vor und jede Gruppe enthält zwei Zeilen. Deshalb müssen die beiden Gruppen jeder Klasse in verschiedenen Folds liegen. Bilden die sechs Paare einen Kreis, kannst du die Gruppen abwechselnd zuordnen. Bilden sie zwei Dreiecke, müsste jede der drei Gruppen je Dreieck in einem anderen Fold als die übrigen liegen. In jedem Dreieck entsteht dadurch eine Lücke. Unter allen 62 Zuordnungen zu zwei benannten, nicht leeren Folds gibt es für den Kreis zwei mit voller Abdeckung und für die beiden Dreiecke keine.

Wähle eine Korrektur, die feste Vorgaben einhält

Im Beispiel mit den zwei Dreiecken fehlt im ersten erzeugten Fold Klasse 5 und im zweiten Klasse 1. Bleiben die bisherigen Zuordnungen gleich, können zwei neue unabhängige Gruppen die Lücken getrennt schließen. Eine ganze Gruppe kann nur in einen Testfold eingehen.

Wenn bestehende Gruppen verschoben werden dürfen, kann eine neue Gruppe genügen. Im Beispiel funktionieren neun der 15 möglichen Profile mit zwei Klassen. Jedes enthält eine Klasse aus jedem Dreieck. Vier Profile erfordern mindestens eine verschobene ursprüngliche Gruppe, die anderen fünf mindestens drei. Prüfe vor der Erhebung, welche Klassen die neue Gruppe enthält und welche Verschiebungen erlaubt sind.

Dokumentiere die gewählte Zuordnung, die Anzahl je Klasse und Fold sowie die Prüfung der Gruppentrennung. Gib der Auswertung eine neue Revision, wenn sich die Fallliste ändert. Die Abdeckungsprüfung bestätigt die vorgegebenen Anzahlen und Zugehörigkeiten. Prüfe außerdem die übrigen Abnahmekriterien, etwa ob die Fälle den vorgesehenen Einsatz abbilden.

Gruppierte Kreuzvalidierung in scikit-learn