Investigación
Qué comprobar antes de comparar macro-F1
Macro-F1 da el mismo peso a la puntuación de cada clase incluida en el promedio. Antes de usarla para elegir un clasificador, guarda los identificadores de los casos, la versión de las etiquetas y los ajustes de puntuación. Tres pruebas con datos ficticios en scikit-learn 1.7.2 muestran cómo las mismas predicciones pueden cambiar de orden según el cálculo. Definición y opciones de F1 en scikit-learn
Compara las puntuaciones con el mismo nivel de detalle en las etiquetas. En nueve casos de atención al cliente con las etiquetas reembolso, factura e inicio de sesión, B ganó por 0.778 a 0.556. Al unir reembolso y factura en facturación, cuatro errores de A pasaron a ser aciertos de facturación. Los dos errores de B seguían cruzando categorías. Entonces A ganó por 1.000 a 0.750. Si necesitas comparar puntuaciones de distintas versiones de etiquetas, guarda la correspondencia y vuelve a puntuar ambos sistemas con el mismo nivel de detalle. Conserva las etiquetas y predicciones originales cuando esa distinción siga importando.
Comprueba qué clases entran en cada promedio. En otro grupo sin casos de fraude en las etiquetas de referencia, A predijo fraude una vez y obtuvo un F1 de cero para esa clase. B no tenía casos ni predicciones de fraude. Al deducir las etiquetas de los datos, B obtuvo 0.667 con dos clases y A obtuvo 0.600 con tres. Con una lista explícita de tres clases y un cero para cada F1 sin definir, B bajó a 0.444. Con la misma lista y los F1 sin definir excluidos, B volvió a 0.667. Anota la lista de clases prevista, la regla para las puntuaciones sin definir, los recuentos de referencias y predicciones de cada clase y cuántas clases entraron en el promedio.
Indica si juntaste los casos o promediaste las puntuaciones de los grupos. En dos grupos equilibrados de ocho casos, el promedio de las puntuaciones de macro-F1 de cada grupo dejó a A por delante, 0.600 a 0.564. Al puntuar juntas las 16 predicciones, B ganó por 0.625 a 0.600. Como los grupos tienen el mismo tamaño, su promedio es el mismo si les das el mismo peso o si los ponderas por número de casos. La puntuación conjunta de cada clase usa la suma de verdaderos positivos, falsos positivos y falsos negativos. Si presentas una puntuación conjunta, suma los recuentos antes de calcular el F1 de cada clase. Si informas por grupos, muestra sus puntuaciones y pesos.
Guarda con la puntuación la versión de la correspondencia de etiquetas y los recuentos de la matriz de confusión de cada clase. Si los ajustes difieren entre informes, vuelve a evaluar ambos sistemas con los mismos casos, el mismo detalle en las etiquetas, la misma regla para puntuaciones sin definir y el mismo método de agregación antes de interpretar el orden.