Pesquisa
Como conferir a AUROC de validação cruzada antes de escolher um modelo
Comece pela comparação que você precisa fazer. Ela cobre todas as partições de teste exigidas? Cada partição deve ter o mesmo peso ou cada par comparável? Se as pontuações vêm de modelos ajustados separadamente, decida se a avaliação permite compará-las entre partições.
Confira se todas as partições exigidas têm pontuação
Para a AUROC binária, confira as contagens de casos positivos e negativos em cada partição de teste. Guarde os IDs de validação pontuados, as pontuações por partição de cada candidato e os avisos da execução.
Em uma busca em grade fictícia com dez casos, duas partições têm as duas classes e a terceira só tem negativos. O scikit-learn 1.7.2 emite um aviso e devolve NaN para os dois candidatos nessa terceira partição. As duas médias são NaN e os dois candidatos ficam na posição 1. A busca reajusta o primeiro candidato da lista, mesmo com error_score="raise". Inverter a ordem muda o candidato selecionado.
Em um diagnóstico separado, limitado às duas partições com pontuação definida, as médias são 1.00 para A e 0.375 para B. A é escolhido nas duas ordens. Se relatar esse diagnóstico, registre o escopo reduzido de validação. Resolva a cobertura das partições originalmente exigidas antes de usar a busca para escolher um vencedor.
Confira como as pontuações são ponderadas
Na AUROC binária sem ponderação, uma partição de teste com p positivos e n negativos tem p × n comparações entre positivos e negativos. A AUROC dentro da partição indica com que frequência o positivo recebe pontuação maior, com meio ponto em caso de empate. A média por partição dá o mesmo peso a cada partição. A ponderação por pares dentro das partições dá o mesmo peso a cada par elegível.
Em outro exemplo fictício, as duas partições têm seis linhas. A partição 1 tem um positivo e cinco negativos, então contribui com cinco pares. A partição 2 tem três de cada classe e contribui com nove. A obtém 5/5 e 4/9. B obtém 2/5 e 8/9.
| Cálculo | A | B | Maior pontuação |
|---|---|---|---|
| Peso igual por partição | 13/18 | 29/45 | A |
| Peso igual por par dentro da partição | 9/14 | 10/14 | B |
Nesta comparação, as pontuações empatam se a partição 1 receber peso de 20/47. Com pesos iguais por partição, a partição 1 recebe mais peso. A ponderação por pares dá a ela 5/14 e coloca B na frente. Os dois cálculos contam comparações dentro das partições.
Confira o que se pressupõe ao juntar as pontuações
Juntar as previsões primeiro também compara positivos e negativos de partições diferentes. Em um terceiro exemplo, A obtém 3/4 dentro de cada partição, e B obtém 2/4 dentro de cada uma. As pontuações conjuntas originais são 13/16 para A e 11/16 para B. Somar uma constante às pontuações de A na segunda partição preserva as duas ordens internas, mas reduz a pontuação conjunta de A para 10/16. B permanece em 11/16 e o resultado da comparação se inverte.
Se a pergunta for sobre as ordens dentro de cada partição reservada para teste, informe as pontuações por partição e a ponderação escolhida. Se juntar as previsões, registre o que torna as escalas comparáveis entre ajustes. Guarde a atribuição das partições, as contagens de classes, as colunas de pontuação, a regra de agregação e a escolha do modelo para que outra pessoa possa reproduzir a comparação.
Os três exemplos usam pontuações fictícias. Previsões com validação cruzada no scikit-learn · Pesquisa sobre agregação em validação cruzada