Forschung
So prüfst du die Kreuzvalidierungs-AUROC vor der Modellwahl
Beginne mit dem Vergleich, den du brauchst. Deckt er alle erforderlichen Testfolds ab? Soll jeder Fold gleich viel zählen oder jedes vergleichbare Paar? Wenn die Werte aus getrennt angepassten Modellen stammen, prüfe, ob die Auswertung einen Vergleich über Folds hinweg zulässt.
Prüfe, ob jeder erforderliche Fold einen Wert hat
Zähle für die binäre AUROC die positiven und negativen Fälle in jedem Testfold. Speichere die bewerteten Validierungs-IDs, die Werte pro Fold und Kandidat und die Warnungen des Laufs.
In einer fiktiven Rastersuche mit zehn Fällen enthalten zwei Folds beide Klassen und der dritte nur negative Fälle. scikit-learn 1.7.2 warnt und gibt für beide Kandidaten im dritten Fold NaN aus. Beide Mittelwerte sind NaN und beide Kandidaten stehen auf Rang 1. Die Suche passt das zuerst aufgeführte Modell erneut an, auch mit error_score="raise". Kehrst du die Reihenfolge um, ändert sich die Auswahl.
In einer separaten Diagnose mit den zwei Folds, für die Werte definiert sind, liegen die Mittelwerte bei 1.00 für A und 0.375 für B. A wird in beiden Reihenfolgen ausgewählt. Gib den eingeschränkten Validierungsumfang an, wenn du diese Diagnose berichtest. Kläre die Abdeckung der ursprünglich geforderten Folds, bevor du die Suche zur Modellwahl nutzt.
Prüfe, wie die Fold-Werte gewichtet werden
Für ungewichtete binäre AUROC hat ein Testfold mit p positiven und n negativen Fällen p × n Vergleiche zwischen positiven und negativen Fällen. Die AUROC im Fold gibt an, wie oft der positive Fall höher bewertet wird, mit einem halben Punkt bei Gleichstand. Beim Mittelwert nach Folds zählt jeder Fold gleich viel. Beim Gewichten nach Paaren innerhalb eines Folds zählt jedes zulässige Paar gleich viel.
In einem anderen fiktiven Beispiel haben beide Folds sechs Zeilen. Fold 1 hat einen positiven und fünf negative Fälle und trägt fünf Paare bei. Fold 2 hat drei Fälle pro Klasse und trägt neun Paare bei. A erzielt 5/5 und 4/9. B erzielt 2/5 und 8/9.
| Berechnung | A | B | Höherer Wert |
|---|---|---|---|
| Gleiches Gewicht pro Fold | 13/18 | 29/45 | A |
| Gleiches Gewicht pro Paar im Fold | 9/14 | 10/14 | B |
In diesem Vergleich sind die Werte gleich, wenn Fold 1 das Gewicht 20/47 erhält. Bei gleichen Fold-Gewichten erhält Fold 1 mehr Gewicht. Bei Paargewichtung sind es 5/14 und B liegt vorne. Beide Berechnungen zählen Vergleiche innerhalb der Folds.
Prüfe die Annahmen beim Zusammenfassen der Werte
Wenn du die Vorhersagen zuerst zusammenfasst, vergleichst du auch positive und negative Fälle aus verschiedenen Folds. Im dritten Beispiel erzielt A in jedem Fold 3/4 und B in jedem Fold 2/4. Die ursprünglichen gemeinsamen Werte sind 13/16 für A und 11/16 für B. Eine Konstante zu den Werten von A im zweiten Fold zu addieren, erhält beide internen Reihenfolgen und senkt den gemeinsamen Wert von A auf 10/16. B bleibt bei 11/16 und der gemeinsame Vergleich kehrt sich um.
Wenn dich die Rangfolgen innerhalb der zurückgehaltenen Testfolds interessieren, berichte die Fold-Werte und die gewählte Gewichtung. Wenn du Vorhersagen zusammenfasst, dokumentiere, warum die Skalen über getrennte Modellanpassungen hinweg vergleichbar sind. Speichere Fold-Zuordnung, Klassenanzahlen, Wertespalten, Aggregationsregel und Auswahl gemeinsam, damit jemand den Vergleich reproduzieren kann.
Die drei Beispiele verwenden fiktive Werte. Vorhersagen mit Kreuzvalidierung in scikit-learn · Forschung zur Aggregation in der Kreuzvalidierung