Перейти к основному содержанию

Меню

Исследования

Как спланировать выборочную проверку и найти ошибки в разметке

Язык: Русский

Сначала определите, какое решение должна поддержать проверка, и затем выберите размер выборки. Если в партии заданное число неверных меток, какой риск вы готовы принять, что проверка не найдёт ни одной? Ответ зависит от выбора строк, ошибок, которые могут заметить проверяющие, и распределения работы.

Примеры развивают вымышленный случай из руководства по оценке наборов данных: 120 строк с шестью неверными метками. Каждый пример рассматривает отдельную часть плана проверки.

Рассчитайте риск с учётом способа выбора строк

Сначала предположите, что проверяющие замечают каждую ошибку в проверенных строках. Равномерная случайная выборка из 20 разных строк пропускает все шесть ошибок примерно в 32,63 % случаев. Если брать каждую шестую строку со случайной стартовой позиции, а ошибки стоят на одном и том же месте в последовательных блоках по шесть строк, их можно найти лишь с одной из шести стартовых позиций. При таком расположении вероятность пропустить все ошибки равна 83,33 %.

Если независимо выбирать одну строку из каждого блока по шесть, для такого расположения риск снижается до 33,49 %. Это также наибольший риск для такого метода с независимыми блоками при любом расположении шести ошибок. В примере с повторяющимся расположением риск падает ниже 5 %, только когда используются все шесть разных стартовых позиций. При равномерной выборке для этого достаточно 47 строк, если проверка замечает каждую рассмотренную ошибку.

Разделите выбор строк и обнаружение ошибок

При равномерном выборе 47 строк вероятность не найти ни одной настоящей ошибки составляет 4,66 %, если все рассмотренные ошибки удаётся обнаружить. Она равна 10,06 %, если каждую ошибку в выборке можно обнаружить независимо с вероятностью 80 %. В этой независимой модели риск впервые падает ниже 5 % на 59 строках.

При 47 строках та же вероятность 80 % на каждую ошибку даёт риск от 8,96 % до 23,73 % пропустить все ошибки в зависимости от того, какие из них обнаруживаются вместе. Расчёт предполагает, что равномерный отбор не зависит от того, какие ошибки может найти проверка. В самом неблагоприятном случае проверка может найти все шесть ошибок в 80 % испытаний и ни одной в остальных 20 %. Даже если проверить каждую строку один раз, вероятность ничего не найти остаётся равной 20 %. В испытаниях с известными ошибками записывайте, какие из них нашли вместе в каждой сопоставимой проверке.

Посчитайте разные строки и независимые возможности найти ошибку

Предположим, у вас есть бюджет на 60 проверок строк. В примере каждый проверяющий может найти все порученные ему ошибки в 80 % испытаний и ни одной в остальных. Строки распределяются равномерно и независимо от того, можно ли обнаружить ошибки.

Распределение работыРазные строкиВероятность не найти ни одной настоящей ошибки
Один человек проверяет 60 строк6021,10 %
Два независимых проверяющих берут разные непересекающиеся наборы по 30 строк6010,33 %
Два проверяющих, способные найти ошибки в одних и тех же испытаниях, берут непересекающиеся наборы по 30 строк6021,10 %
Два независимых проверяющих просматривают одни и те же 30 строк3020,36 %

Запишите идентификаторы выборки, правило отбора, кто видел каждую строку и допущения об обнаружении ошибок. Сопоставьте риск по плану с допустимым пределом. Если цель проверки состоит в том, чтобы найти хотя бы одну настоящую ошибку, отдельно проверяйте ложные тревоги, качество разрешения разногласий и пригодность для предполагаемого применения.

Пример выборки в руководстве по оценке наборов данных · Методы выборки Статистической службы Канады · Исследование проверок, которые могут пропускать ошибки