Перейти к основному содержанию

Меню

Исследования

Как оценить систему, которая может отклонять случаи

Язык: Русский

Используйте один список проверочных случаев для обоих процессов. Для каждого случая запишите основной прогноз и степень уверенности, приняла или отклонила его система, какой ответ дал запасной вариант, если он применялся, и каким был конечный результат. По этим данным можно сделать три проверки, прежде чем сравнивать доли верных решений.

Проверьте, сколько случаев принимает система и как она их выбирает. Охват — это доля случаев, которые принимает основная система. При повторном тесте на шести случаях порог уверенности увеличил число принятых случаев скачком с одного до пяти, потому что четыре оценки совпадали. Если принять ровно три случая, группу с одинаковыми оценками можно разделить. Когда случаи сортировали по оценке, а при равенстве использовали порядок в файле, изменение одного только порядка строк давало ноль или две ошибки среди этих трёх случаев. Для порога укажите фактический охват. Для точной квоты запишите правило выбора при равенстве и идентификаторы принятых случаев. Пороги оценок в scikit-learn

Посчитайте верные решения запасного варианта по тем случаям, которые ему передали. В отдельном повторном тесте на 12 случаях A и B приняли по шесть, и три идентификатора совпали. A правильно решил шесть принятых случаев, а B — пять. Один и тот же запасной вариант, с фиксированным ответом для каждого случая, дал верный ответ для двух случаев, отклонённых A, и пяти, отклонённых B. По всему процессу B вышел вперёд с 10 верными решениями против 8. Укажите долю верных решений как среди принятых случаев, так и по всему списку. Сохраните вместе с отчётом версию запасного варианта и результаты отклонённых случаев. Совместная оценка системы прогнозирования и запасного варианта

Проверьте, какие недостающие результаты могут изменить, кто впереди. В тесте на 12 случаях скрыли три результата для случаев, которые обе системы передали дальше. При любом заполнении пропусков B остался впереди на два верных решения, поскольку для каждого такого случая скрытый результат был общим для обеих систем. Когда скрыли шесть результатов для случаев, с которыми системы поступили по-разному, разница B минус A составила от −4 до +2. Используйте расчёт с общими результатами, только если при передаче обе системы использовали бы один и тот же результат для данного случая. Если вперёд может выйти любая система, в первую очередь восстановите результаты случаев, которые пошли разными путями.

Вместе с оценками укажите общее число случаев, число принятых, число верных решений на каждом пути и число недостающих результатов. Если данные неполные, перечислите допущения, от которых зависит оставшийся диапазон.