Przejdź do treści głównej

Menu

Badania

Jak ocenić system, który może odrzucać sprawy

Język: Polski

Użyj tej samej listy spraw testowych w obu procesach. Dla każdej sprawy zapisz główną prognozę i poziom pewności, czy system przyjął sprawę, czy ją odrzucił, ewentualną odpowiedź rozwiązania zapasowego oraz wynik końcowy. Te informacje umożliwiają trzy kontrole przed porównaniem odsetka poprawnych decyzji.

Sprawdź, ile spraw system przyjmuje i jak je wybiera. Pokrycie to odsetek spraw przyjętych przez główny system. Przy powtórzeniu testu na sześciu sprawach próg pewności spowodował skok z jednej przyjętej sprawy do pięciu, ponieważ cztery oceny były równe. Limit dokładnie trzech spraw pozwalał rozdzielić sprawy z tym samym wynikiem. Po posortowaniu według wyniku i rozstrzygnięciu remisów według kolejności w pliku sama zmiana kolejności wierszy dawała zero lub dwa błędy w tych trzech sprawach. Przy progu podaj faktyczne pokrycie. Przy stałej liczbie zapisz regułę rozstrzygania remisów i identyfikatory przyjętych spraw. Progi wyniku w scikit-learn

Policz poprawne decyzje rozwiązania zapasowego w sprawach, które do niego trafiają. W osobnym teście z 12 sprawami A i B przyjęły po sześć spraw, z czego trzy miały wspólne identyfikatory. A poprawnie rozstrzygnął sześć przyjętych spraw, a B pięć. To samo rozwiązanie zapasowe, ze stałą odpowiedzią dla każdej sprawy, poprawnie rozstrzygnęło dwie sprawy odrzucone przez A i pięć odrzuconych przez B. W całym procesie B wygrał więc z 10 poprawnymi decyzjami wobec 8. Podaj odsetek poprawnych decyzji w przyjętych sprawach i na całej liście. Zachowaj z raportem wersję rozwiązania zapasowego i wyniki odrzuconych spraw. Wspólna ocena systemu prognoz i rozwiązania zapasowego

Sprawdź, które brakujące wyniki mogą zmienić kolejność. W teście z 12 sprawami po ukryciu trzech wyników w sprawach przekazanych przez oba systemy B prowadził dwiema poprawnymi decyzjami przy każdym możliwym uzupełnieniu, ponieważ każdy ukryty wynik był wspólny. Po ukryciu sześciu wyników spraw potraktowanych inaczej różnica B minus A wynosiła od −4 do +2. Używaj obliczenia ze wspólnymi wynikami tylko wtedy, gdy oba systemy po przekazaniu użyłyby tego samego wyniku dla danej sprawy. Jeśli każdy z procesów może prowadzić, w pierwszej kolejności odzyskaj wyniki spraw, które trafiły na różne ścieżki.

Obok wyników podaj liczbę wszystkich spraw, liczbę przyjętych spraw, poprawne decyzje na każdej ścieżce i liczbę brakujących wyników. Jeśli dane są niepełne, opisz założenia stojące za pozostałym zakresem.