Pesquisa
O que verificar antes de comparar pontuações de macro-F1
O macro-F1 dá o mesmo peso à pontuação de cada classe incluída na média. Antes de usar essa métrica para escolher um classificador, registre os IDs dos casos, a versão dos rótulos e as configurações de pontuação. Três testes com dados fictícios no scikit-learn 1.7.2 mostram como as mesmas previsões podem gerar rankings diferentes. Definição e opções de F1 no scikit-learn
Compare pontuações com o mesmo nível de detalhe dos rótulos. Em nove casos de suporte com os rótulos reembolso, fatura e login, B ficou na frente por 0.778 a 0.556. Quando reembolso e fatura passaram a formar a categoria cobrança, quatro erros de A se tornaram acertos nessa categoria. Os dois erros de B continuaram ocorrendo entre categorias diferentes. A passou à frente por 1.000 a 0.750. Para comparar pontuações de versões diferentes dos rótulos, salve o mapeamento e recalcule a pontuação dos dois sistemas no mesmo nível de detalhe. Preserve os rótulos e as previsões originais quando a distinção continuar importante para a tarefa.
Confira quais classes entram em cada média. Em outro grupo sem casos de fraude nos rótulos de referência, A previu fraude uma vez e recebeu um F1 definido de zero para essa classe. B não tinha casos de fraude nas referências nem nas previsões. Ao inferir as classes pelos dados, B obteve 0.667 em duas classes e A obteve 0.600 em três. Com uma lista explícita de três classes e zero para os valores de F1 indefinidos, B caiu para 0.444. Com a mesma lista e excluindo os valores indefinidos de F1, B voltou a 0.667. Registre a lista de classes prevista, a regra para pontuações indefinidas, o número de referências e previsões por classe e quantas classes entraram na média.
Diga se você juntou os casos ou calculou a média das pontuações dos grupos. Em dois grupos equilibrados de oito casos, a média das duas pontuações de macro-F1 deixou A na frente por 0.600 a 0.564. Ao pontuar as 16 previsões juntas, B passou à frente por 0.625 a 0.600. Como os grupos têm o mesmo tamanho, a média dá o mesmo resultado com pesos iguais ou com pesos definidos pelo número de casos. Para calcular a pontuação conjunta de uma classe, some os verdadeiros positivos, os falsos positivos e os falsos negativos. Se for apresentar uma pontuação conjunta, some as contagens antes de calcular o F1 de cada classe. Se for apresentar resultados por grupo, mostre as pontuações e os pesos de cada um.
Guarde junto com a pontuação a versão do mapeamento de rótulos e as contagens da matriz de confusão de cada classe. Quando as configurações dos relatórios diferirem, repita a avaliação dos dois sistemas com os mesmos casos, o mesmo nível de detalhe, a mesma regra para valores indefinidos e o mesmo método de agregação antes de interpretar o ranking.