# Что проверить перед сравнением macro-F1

В macro-F1 оценки всех классов, входящих в среднее, имеют одинаковый вес. Прежде чем использовать этот показатель для выбора классификатора, сохраните идентификаторы случаев, версию меток и настройки расчёта. Три примера с вымышленными данными в scikit-learn 1.7.2 показывают, как одни и те же предсказания могут давать разный порядок моделей. [Определение и параметры F1 в scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Сравнивайте оценки при одинаковой детализации меток.** На девяти обращениях в службу поддержки с метками «возврат денег», «счёт» и «вход в аккаунт» B лидировал с результатом 0.778 против 0.556. После объединения меток «возврат денег» и «счёт» в категорию «расчёты» четыре ошибки A стали верными предсказаниями для этой категории. Обе ошибки B по-прежнему относились к разным категориям. Тогда A оказался впереди с результатом 1.000 против 0.750. Сравнивая оценки для разных версий меток, сохраните таблицу соответствий и пересчитайте результаты обеих систем с одинаковой детализацией. Сохраните исходные метки и предсказания, если различие по-прежнему важно для задачи.

**Проверьте, какие классы входят в каждое среднее.** В другой группе среди эталонных меток не было мошенничества. A один раз предсказал мошенничество и получил для этого класса определённое значение F1, равное нулю. У B мошенничества не было ни среди эталонных меток, ни среди предсказаний. Когда классы вывели из данных, B получил 0.667 по двум классам, а A — 0.600 по трём. С явным списком из трёх классов и заменой неопределённых значений F1 на ноль результат B упал до 0.444. При том же списке и исключении неопределённых значений B вернулся к 0.667. Запишите намеченный список классов, правило для неопределённых оценок, количество эталонных меток и предсказаний по каждому классу и число классов, фактически вошедших в среднее.

**Укажите, объединили ли вы случаи или усреднили оценки по группам.** В двух сбалансированных группах по восемь случаев среднее двух значений macro-F1 вывело A вперёд с результатом 0.600 против 0.564. При совместном расчёте по всем 16 предсказаниям лидировал B с результатом 0.625 против 0.600. Если группы равны по размеру, среднее с одинаковыми весами совпадает со средним, взвешенным по числу случаев. Общая оценка для класса использует суммарные числа истинно положительных, ложноположительных и ложноотрицательных результатов. В сводном отчёте сложите эти числа перед вычислением F1 для каждого класса. В отчёте по группам укажите оценки и веса групп.

Храните вместе с оценкой версию таблицы соответствий меток и числа из матрицы ошибок по каждому классу. Если настройки в отчётах различаются, пересчитайте результаты обеих систем с одним набором случаев, одинаковой детализацией меток, одним правилом для неопределённых оценок и одним способом сведения результатов. Затем оцените порядок моделей.

[Скачать скрипты и сохранённые результаты (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
