Ricerca
Come controllare l’AUROC della validazione incrociata prima di scegliere un modello
Parti dal confronto che ti serve. Copre tutti i fold di test richiesti? Deve contare allo stesso modo ogni fold o ogni coppia confrontabile? Se i punteggi vengono da modelli addestrati separatamente, stabilisci se la valutazione consente di confrontarli tra fold.
Verifica che ogni fold richiesto abbia un punteggio
Per l’AUROC binaria, conta i casi positivi e negativi in ogni fold di test. Conserva gli ID di validazione valutati, i punteggi per fold di ciascun candidato e gli avvisi dell’esecuzione.
In una ricerca a griglia fittizia con dieci casi, due fold contengono entrambe le classi e un terzo solo negativi. scikit-learn 1.7.2 emette un avviso e restituisce NaN per entrambi i candidati nel terzo fold. Entrambe le medie sono NaN e i candidati sono entrambi al posto 1. La ricerca riaddestra il primo candidato in elenco, anche con error_score="raise". Invertendo l’ordine cambia il candidato scelto.
In una verifica distinta che usa solo i due fold con punteggio definito, le medie sono 1.00 per A e 0.375 per B. In entrambi gli ordini viene scelto A. Se riporti questa verifica, precisa che la validazione è più limitata. Risolvi la copertura dei fold richiesti in origine prima di usare la ricerca per scegliere un vincitore.
Controlla il peso dei punteggi dei fold
Per l’AUROC binaria non ponderata, un fold di test con p positivi e n negativi permette p × n confronti tra positivi e negativi. L’AUROC del fold indica quanto spesso il positivo ottiene un punteggio maggiore, con mezzo punto in caso di parità. La media per fold dà lo stesso peso a ogni fold. La ponderazione per coppie interne dà lo stesso peso a ogni coppia ammissibile.
In un altro esempio fittizio, entrambi i fold hanno sei righe. Il fold 1 ha un positivo e cinque negativi, quindi contribuisce con cinque coppie. Il fold 2 ha tre casi per classe e contribuisce con nove. A ottiene 5/5 e 4/9. B ottiene 2/5 e 8/9.
| Calcolo | A | B | Punteggio più alto |
|---|---|---|---|
| Stesso peso per fold | 13/18 | 29/45 | A |
| Stesso peso per coppia all’interno del fold | 9/14 | 10/14 | B |
In questo confronto i punteggi sono pari se al fold 1 viene assegnato un peso di 20/47. Con lo stesso peso per ogni fold, il fold 1 conta di più. La ponderazione per coppie gli dà 5/14 e porta B in testa. Entrambi i calcoli contano i confronti all’interno dei fold.
Controlla che cosa presuppone un punteggio complessivo
Riunire prima le previsioni mette a confronto anche positivi e negativi di fold diversi. In un terzo esempio, in ciascun fold A ottiene 3/4 e B 2/4. I punteggi complessivi iniziali sono 13/16 per A e 11/16 per B. Aggiungere una costante ai punteggi di A nel secondo fold conserva entrambi gli ordini interni ma fa scendere il suo punteggio complessivo a 10/16. B resta a 11/16 e il confronto si inverte.
Se ti interessano le classifiche all’interno di ciascun fold tenuto per il test, riporta i punteggi per fold e i pesi scelti. Se riunisci le previsioni, annota cosa rende confrontabili le scale di punteggio dei diversi addestramenti. Conserva l’assegnazione ai fold, i conteggi per classe, le colonne dei punteggi, la regola di aggregazione e l’esito della selezione per consentire a un’altra persona di riprodurre il confronto.
I tre esempi usano punteggi fittizi. Previsioni con validazione incrociata in scikit-learn · Ricerca sull’aggregazione nella validazione incrociata