# Come controllare l’AUROC della validazione incrociata prima di scegliere un modello

Parti dal confronto che ti serve. Copre tutti i fold di test richiesti? Deve contare allo stesso modo ogni fold o ogni coppia confrontabile? Se i punteggi vengono da modelli addestrati separatamente, stabilisci se la valutazione consente di confrontarli tra fold.

## Verifica che ogni fold richiesto abbia un punteggio

Per l’AUROC binaria, conta i casi positivi e negativi in ogni fold di test. Conserva gli ID di validazione valutati, i punteggi per fold di ciascun candidato e gli avvisi dell’esecuzione.

In una ricerca a griglia fittizia con dieci casi, due fold contengono entrambe le classi e un terzo solo negativi. scikit-learn 1.7.2 emette un avviso e restituisce NaN per entrambi i candidati nel terzo fold. Entrambe le medie sono NaN e i candidati sono entrambi al posto 1. La ricerca riaddestra il primo candidato in elenco, anche con `error_score="raise"`. Invertendo l’ordine cambia il candidato scelto.

In una verifica distinta che usa solo i due fold con punteggio definito, le medie sono 1.00 per A e 0.375 per B. In entrambi gli ordini viene scelto A. Se riporti questa verifica, precisa che la validazione è più limitata. Risolvi la copertura dei fold richiesti in origine prima di usare la ricerca per scegliere un vincitore.

## Controlla il peso dei punteggi dei fold

Per l’AUROC binaria non ponderata, un fold di test con p positivi e n negativi permette p × n confronti tra positivi e negativi. L’AUROC del fold indica quanto spesso il positivo ottiene un punteggio maggiore, con mezzo punto in caso di parità. La media per fold dà lo stesso peso a ogni fold. La ponderazione per coppie interne dà lo stesso peso a ogni coppia ammissibile.

In un altro esempio fittizio, entrambi i fold hanno sei righe. Il fold 1 ha un positivo e cinque negativi, quindi contribuisce con cinque coppie. Il fold 2 ha tre casi per classe e contribuisce con nove. A ottiene 5/5 e 4/9. B ottiene 2/5 e 8/9.

| Calcolo | A | B | Punteggio più alto |
| --- | --- | --- | --- |
| Stesso peso per fold | 13/18 | 29/45 | A |
| Stesso peso per coppia all’interno del fold | 9/14 | 10/14 | B |

In questo confronto i punteggi sono pari se al fold 1 viene assegnato un peso di 20/47. Con lo stesso peso per ogni fold, il fold 1 conta di più. La ponderazione per coppie gli dà 5/14 e porta B in testa. Entrambi i calcoli contano i confronti all’interno dei fold.

## Controlla che cosa presuppone un punteggio complessivo

Riunire prima le previsioni mette a confronto anche positivi e negativi di fold diversi. In un terzo esempio, in ciascun fold A ottiene 3/4 e B 2/4. I punteggi complessivi iniziali sono 13/16 per A e 11/16 per B. Aggiungere una costante ai punteggi di A nel secondo fold conserva entrambi gli ordini interni ma fa scendere il suo punteggio complessivo a 10/16. B resta a 11/16 e il confronto si inverte.

Se ti interessano le classifiche all’interno di ciascun fold tenuto per il test, riporta i punteggi per fold e i pesi scelti. Se riunisci le previsioni, annota cosa rende confrontabili le scale di punteggio dei diversi addestramenti. Conserva l’assegnazione ai fold, i conteggi per classe, le colonne dei punteggi, la regola di aggregazione e l’esito della selezione per consentire a un’altra persona di riprodurre il confronto.

I tre esempi usano punteggi fittizi. [Previsioni con validazione incrociata in scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.model_selection.cross_val_predict.html) · [Ricerca sull’aggregazione nella validazione incrociata](https://kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf)

[Scarica gli script e i risultati salvati (ZIP)](https://sapien1.com/research/audit-cross-validation-auroc-evidence/cross-validation-auroc-replay.zip)
