Investigación
Cómo comprobar el AUROC de validación cruzada antes de elegir un modelo
Empieza por la comparación que necesitas. ¿Incluye todas las particiones de prueba obligatorias? ¿Debe contar lo mismo cada partición o cada par comparable? Si las puntuaciones vienen de modelos ajustados por separado, decide si la evaluación permite compararlas entre particiones.
Comprueba que todas las particiones requeridas tengan puntuación
Para el AUROC binario, comprueba el número de casos positivos y negativos en cada partición de prueba. Guarda los identificadores de validación puntuados, las puntuaciones de cada candidato por partición y las advertencias de la ejecución.
En una búsqueda en cuadrícula ficticia de diez casos, dos particiones tienen ambas clases y la tercera solo negativos. scikit-learn 1.7.2 emite una advertencia y devuelve NaN para ambos candidatos en la tercera partición. Ambas medias son NaN y ambos candidatos ocupan el puesto 1. La búsqueda vuelve a ajustar el primer candidato de la lista, incluso con error_score="raise". Invertir el orden cambia el candidato elegido.
En un diagnóstico aparte, limitado a las dos particiones con puntuación definida, la media es 1.00 para A y 0.375 para B. A sale elegido en ambos órdenes. Si informas de este diagnóstico, indica el alcance de validación reducido. Resuelve la cobertura de las particiones requeridas originalmente antes de usar la búsqueda para elegir un ganador.
Comprueba cómo se ponderan las puntuaciones
Para el AUROC binario sin ponderación, una partición con p positivos y n negativos ofrece p × n comparaciones entre positivos y negativos. Su AUROC indica la frecuencia con que el positivo recibe mayor puntuación, con medio punto para los empates. Un promedio por partición da el mismo peso a cada partición. La ponderación por pares dentro de las particiones da el mismo peso a cada par elegible.
En otro ejemplo ficticio, ambas particiones tienen seis filas. La partición 1 tiene un positivo y cinco negativos, así que aporta cinco pares. La partición 2 tiene tres de cada clase y aporta nueve. A obtiene 5/5 y 4/9. B obtiene 2/5 y 8/9.
| Resumen | A | B | Puntuación mayor |
|---|---|---|---|
| Mismo peso por partición | 13/18 | 29/45 | A |
| Mismo peso por par dentro de cada partición | 9/14 | 10/14 | B |
En esta comparación las puntuaciones empatan si la partición 1 recibe un peso de 20/47. Dar el mismo peso a ambas le da más peso que ese a la partición 1. Ponderar por pares le da 5/14 y pone a B por delante. Ambos resúmenes cuentan comparaciones dentro de cada partición.
Comprueba qué supone reunir todas las puntuaciones
Al reunir primero las predicciones se comparan también positivos y negativos de distintas particiones. En un tercer ejemplo, A obtiene 3/4 dentro de cada partición y B obtiene 2/4 dentro de cada una. Las puntuaciones conjuntas originales son 13/16 para A y 11/16 para B. Sumar una constante a las puntuaciones de A de la segunda partición conserva ambos órdenes internos, pero reduce su puntuación conjunta a 10/16. B sigue en 11/16 y se invierte el resultado de la comparación.
Si te interesan los órdenes dentro de cada partición reservada para prueba, publica las puntuaciones por partición y la ponderación elegida. Si reúnes las predicciones, explica qué hace comparables las escalas de los distintos ajustes. Guarda la asignación, los recuentos por clase, las columnas de puntuación, la regla de agregación y el resultado de selección para que otra persona pueda reproducir la comparación.
Los tres ejemplos usan puntuaciones ficticias. Predicciones con validación cruzada en scikit-learn · Investigación sobre cómo agregar resultados de validación cruzada