# Как спланировать выборочную проверку и найти ошибки в разметке

Сначала определите, какое решение должна поддержать проверка, и затем выберите размер выборки. Если в партии заданное число неверных меток, какой риск вы готовы принять, что проверка не найдёт ни одной? Ответ зависит от выбора строк, ошибок, которые могут заметить проверяющие, и распределения работы.

Примеры развивают вымышленный случай из руководства по оценке наборов данных: 120 строк с шестью неверными метками. Каждый пример рассматривает отдельную часть плана проверки.

## Рассчитайте риск с учётом способа выбора строк

Сначала предположите, что проверяющие замечают каждую ошибку в проверенных строках. Равномерная случайная выборка из 20 разных строк пропускает все шесть ошибок примерно в 32,63 % случаев. Если брать каждую шестую строку со случайной стартовой позиции, а ошибки стоят на одном и том же месте в последовательных блоках по шесть строк, их можно найти лишь с одной из шести стартовых позиций. При таком расположении вероятность пропустить все ошибки равна 83,33 %.

Если независимо выбирать одну строку из каждого блока по шесть, для такого расположения риск снижается до 33,49 %. Это также наибольший риск для такого метода с независимыми блоками при любом расположении шести ошибок. В примере с повторяющимся расположением риск падает ниже 5 %, только когда используются все шесть разных стартовых позиций. При равномерной выборке для этого достаточно 47 строк, если проверка замечает каждую рассмотренную ошибку.

## Разделите выбор строк и обнаружение ошибок

При равномерном выборе 47 строк вероятность не найти ни одной настоящей ошибки составляет 4,66 %, если все рассмотренные ошибки удаётся обнаружить. Она равна 10,06 %, если каждую ошибку в выборке можно обнаружить независимо с вероятностью 80 %. В этой независимой модели риск впервые падает ниже 5 % на 59 строках.

При 47 строках та же вероятность 80 % на каждую ошибку даёт риск от 8,96 % до 23,73 % пропустить все ошибки в зависимости от того, какие из них обнаруживаются вместе. Расчёт предполагает, что равномерный отбор не зависит от того, какие ошибки может найти проверка. В самом неблагоприятном случае проверка может найти все шесть ошибок в 80 % испытаний и ни одной в остальных 20 %. Даже если проверить каждую строку один раз, вероятность ничего не найти остаётся равной 20 %. В испытаниях с известными ошибками записывайте, какие из них нашли вместе в каждой сопоставимой проверке.

## Посчитайте разные строки и независимые возможности найти ошибку

Предположим, у вас есть бюджет на 60 проверок строк. В примере каждый проверяющий может найти все порученные ему ошибки в 80 % испытаний и ни одной в остальных. Строки распределяются равномерно и независимо от того, можно ли обнаружить ошибки.

| Распределение работы | Разные строки | Вероятность не найти ни одной настоящей ошибки |
| --- | --- | --- |
| Один человек проверяет 60 строк | 60 | 21,10 % |
| Два независимых проверяющих берут разные непересекающиеся наборы по 30 строк | 60 | 10,33 % |
| Два проверяющих, способные найти ошибки в одних и тех же испытаниях, берут непересекающиеся наборы по 30 строк | 60 | 21,10 % |
| Два независимых проверяющих просматривают одни и те же 30 строк | 30 | 20,36 % |

Запишите идентификаторы выборки, правило отбора, кто видел каждую строку и допущения об обнаружении ошибок. Сопоставьте риск по плану с допустимым пределом. Если цель проверки состоит в том, чтобы найти хотя бы одну настоящую ошибку, отдельно проверяйте ложные тревоги, качество разрешения разногласий и пригодность для предполагаемого применения.

[Пример выборки в руководстве по оценке наборов данных](https://sapien1.com/ru/dataset-evaluation#review-labels-and-coverage) · [Методы выборки Статистической службы Канады](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [Исследование проверок, которые могут пропускать ошибки](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
