Pular para o conteúdo principal

Menu

Pesquisa

Como conferir a cobertura das classes antes de aceitar uma divisão por grupos

Idioma: Português (Brasil)

Mantenha exemplos relacionados no mesmo grupo quando precisarem ficar juntos na divisão entre treino e teste. Os grupos podem ser conversas, clientes ou outras unidades definidas pela avaliação. Antes de escolher o método de divisão, registre as classes obrigatórias em cada partição de teste e os mínimos exigidos. Presença das classes e equilíbrio exato são requisitos diferentes.

Confira a divisão que foi gerada

Salve a associação dos grupos às partições e conte cada classe em cada partição de teste. Confira separadamente se os grupos estão inteiros e se todas as classes exigidas aparecem. Se faltar uma classe obrigatória, suspenda a aceitação e veja se outra divisão de grupos inteiros atende ao requisito.

Em um exemplo fictício de 24 linhas, StratifiedGroupKFold do scikit-learn 1.7.2 usou três partições sem embaralhamento. Um conjunto de IDs numéricos de grupo produziu os pares de contagens (4, 2), (4, 6) e (4, 4). Ao inverter os IDs, o resultado foi (4, 6), (4, 0) e (4, 6), com todas as linhas, rótulos e associações a grupos preservados. O primeiro resultado tem todas as classes, mas não é exatamente equilibrado. O segundo falha nos dois requisitos. Nesse exemplo uma divisão exata de (4, 4) era possível.

Confira se é possível atender ao requisito

Se as duas partições precisam de todas as classes, cada classe deve aparecer em pelo menos dois grupos independentes. Use a relação entre classes e grupos para verificar se todas as classes podem estar nas duas partições ao mesmo tempo.

Em dois exemplos separados de 12 linhas, cada classe aparece em dois grupos e cada grupo contém duas linhas. Por isso, os dois grupos de cada classe precisam ficar em partições opostas. Quando os seis pares formam um ciclo, alternar os grupos funciona. Quando formam dois triângulos, os três grupos de cada triângulo teriam de ficar em partições opostas entre si. Cada triângulo deixa uma lacuna. Entre as 62 divisões em duas partições identificadas e não vazias, há duas com cobertura completa para o ciclo e nenhuma para os dois triângulos.

Escolha um ajuste que respeite o que precisa ficar fixo

No exemplo dos dois triângulos, a primeira partição gerada não tem a classe 5 e a segunda não tem a classe 1. Se os grupos atuais ficarem nas partições originais, dois grupos independentes novos podem preencher as lacunas separadamente. Um grupo inteiro só pode entrar em uma partição de teste.

Se os grupos atuais puderem mudar de partição, um novo grupo pode bastar. No exemplo, nove dos 15 perfis possíveis de duas classes funcionam. Cada um contém uma classe de cada triângulo. Quatro perfis exigem mover pelo menos um grupo original e os outros cinco, pelo menos três. Antes de coletar um grupo, confira as classes que ele contém e os movimentos que a avaliação permite.

Registre a divisão aceita, as contagens por partição e como verificou que os grupos ficaram inteiros. Use uma nova versão da avaliação quando mudar a lista de casos. A verificação de cobertura confirma as contagens e as associações exigidas. Confira também os demais critérios de aceitação, inclusive se os casos representam o uso pretendido.

Validação cruzada por grupos no scikit-learn