Перейти к основному содержанию

Меню

Исследования

Как проверить AUROC кросс-валидации перед выбором модели

Язык: Русский

Начните с нужного вам сравнения. Охватывает ли оно все обязательные тестовые блоки? Должен ли каждый блок иметь одинаковый вес или одинаково должны учитываться сравнимые пары? Если оценки получены от отдельно обученных моделей, выясните, допустимо ли сравнивать их между блоками.

Проверьте, есть ли оценка для каждого обязательного блока

Для бинарной AUROC посчитайте положительные и отрицательные случаи в каждом тестовом блоке. Сохраните идентификаторы оценённых проверочных случаев, оценки кандидатов по блокам и предупреждения из запуска.

В вымышленном поиске по сетке с десятью случаями в двух блоках есть оба класса, а в третьем только отрицательные примеры. scikit-learn 1.7.2 выдаёт предупреждение и возвращает NaN для обоих кандидатов в третьем блоке. Оба средних равны NaN, и оба кандидата получают ранг 1. Поиск заново обучает первого кандидата в списке даже с error_score="raise". Обратный порядок изменит выбор.

В отдельной проверке, ограниченной двумя блоками с определёнными оценками, средние равны 1.00 для A и 0.375 для B. При обоих порядках выбирается A. Если приводите эту проверку, укажите сокращённый охват валидации. Устраните проблему охвата исходных обязательных блоков, прежде чем выбирать победителя по поиску.

Проверьте, как взвешиваются оценки по блокам

Для невзвешенной бинарной AUROC тестовый блок с p положительными и n отрицательными случаями даёт p × n сравнений положительных и отрицательных случаев. AUROC внутри блока показывает, как часто положительный случай получает более высокий балл, с половиной балла при равенстве. Среднее по блокам даёт каждому блоку одинаковый вес. Взвешивание по парам внутри блоков даёт одинаковый вес каждой допустимой паре.

В другом вымышленном примере в каждом блоке по шесть строк. В блоке 1 один положительный и пять отрицательных случаев, поэтому он даёт пять пар. В блоке 2 по три случая каждого класса, поэтому он даёт девять пар. A получает 5/5 и 4/9. B получает 2/5 и 8/9.

РасчётABБолее высокая оценка
Одинаковый вес для каждого блока13/1829/45A
Одинаковый вес для каждой пары внутри блока9/1410/14B

В этом сравнении оценки совпадают, когда блок 1 получает вес 20/47. При равных весах блок 1 получает больший вес. Взвешивание по парам даёт ему 5/14 и выводит B вперёд. Оба расчёта учитывают сравнения внутри блоков.

Проверьте допущения при объединении оценок

Если сначала объединить предсказания, сравниваются и положительные с отрицательными случаями из разных блоков. В третьем примере A получает 3/4 внутри каждого блока, а B получает 2/4 внутри каждого. Исходные объединённые оценки — 13/16 у A и 11/16 у B. Прибавление константы к оценкам A во втором блоке сохраняет оба внутренних порядка и снижает его объединённую оценку до 10/16. B остаётся на 11/16, и результат сравнения меняется на противоположный.

Если вас интересует порядок внутри каждого отложенного тестового блока, укажите оценки по блокам и выбранные веса. Если объединяете предсказания, запишите, почему шкалы отдельно обученных моделей сопоставимы. Сохраните распределение по блокам, числа по классам, столбцы оценок, правило агрегации и итог выбора, чтобы другой человек мог повторить сравнение.

Во всех трёх примерах оценки вымышлены. Предсказания при кросс-валидации в scikit-learn · Исследование агрегации результатов кросс-валидации