Cercetare
Cum evaluezi un sistem care poate refuza cazuri
Folosește aceeași listă de cazuri de test pentru ambele fluxuri. Pentru fiecare caz, notează predicția principală și nivelul ei de încredere, dacă sistemul a acceptat sau a refuzat cazul, eventualul răspuns al soluției de rezervă și rezultatul final. Cu aceste date poți face trei verificări înainte să compari ratele de răspunsuri corecte.
Verifică câte cazuri acceptă sistemul și cum le alege. Acoperirea este proporția cazurilor acceptate de sistemul principal. La repetarea unui test cu șase cazuri, un prag de încredere a făcut ca numărul de cazuri acceptate să sară de la unu la cinci, deoarece patru scoruri erau egale. O cotă exactă de trei putea separa cazurile cu scoruri egale. La sortarea după scor, cu departajarea după ordinea din fișier, simpla schimbare a ordinii rândurilor a dat zero sau două erori în cele trei cazuri. Pentru un prag, raportează acoperirea obținută. Pentru o cotă exactă, notează regula de departajare și identificatorii cazurilor acceptate. Praguri de scor în scikit-learn
Numără deciziile corecte ale soluției de rezervă în cazurile pe care le primește. Într-un alt test cu 12 cazuri, A și B au acceptat câte șase, cu trei identificatori comuni. A a răspuns corect în șase cazuri acceptate, iar B în cinci. Aceeași soluție de rezervă, cu răspuns fix pentru fiecare caz, a răspuns corect în două cazuri refuzate de A și cinci refuzate de B. În fluxul complet, B a trecut astfel în față cu 10 răspunsuri corecte față de 8. Raportează atât rata de răspunsuri corecte pe cazurile acceptate, cât și rata pe lista completă. Păstrează la raport versiunea soluției de rezervă și rezultatele cazurilor refuzate. Evaluarea comună a predictorului și a soluției de rezervă
Verifică ce rezultate lipsă pot schimba care sistem conduce. În testul cu 12 cazuri, ascunderea a trei rezultate din cazuri trimise mai departe de ambele sisteme l-a lăsat pe B în față cu două răspunsuri corecte în orice scenariu posibil, pentru că fiecare rezultat ascuns era comun. Ascunderea a șase rezultate din cazuri tratate diferit a dus la o diferență B minus A între −4 și +2. Calculează pe baza rezultatelor comune doar când ambele sisteme ar folosi același rezultat pentru cazul trimis mai departe. Dacă oricare dintre fluxuri poate trece în față, recuperează mai întâi rezultatele cazurilor tratate diferit.
Include lângă scoruri numărul total de cazuri, numărul acceptat, deciziile corecte pe fiecare traseu și numărul de rezultate lipsă. Dacă datele sunt incomplete, precizează ipotezele pe care se bazează intervalul rămas.