# Cómo evaluar un sistema que puede rechazar casos

Usa la misma lista de casos de prueba para ambos procesos. Para cada caso, registra la predicción principal y su nivel de confianza, si el sistema aceptó o rechazó el caso, el resultado de la alternativa si lo hay y el resultado final. Con estos datos puedes hacer tres comprobaciones antes de comparar el porcentaje de aciertos.

**Comprueba cuántos casos acepta el sistema y cómo los elige.** La cobertura es la proporción de casos que acepta el sistema principal. Al repetir una prueba de seis casos, un umbral de confianza hizo que pasara de aceptar uno a cinco porque cuatro puntuaciones estaban empatadas. Fijar un cupo exacto de tres permitía separar los casos empatados. Al ordenar por puntuación y resolver los empates según el orden del archivo, cambiar solo el orden de las filas dio lugar a cero o dos errores entre esos tres casos. Con un umbral, informa de la cobertura obtenida. Con un cupo exacto, registra la regla de desempate y los identificadores de los casos aceptados. [Umbrales de puntuación de scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Cuenta los aciertos de la alternativa en los casos que recibe.** En otra repetición con 12 casos, A y B aceptaron seis cada uno y coincidieron en tres identificadores. A acertó los seis casos que aceptó y B acertó cinco. La misma alternativa, con un resultado fijo para cada caso, acertó dos de los casos rechazados por A y cinco de los rechazados por B. Al contar todo el proceso, B quedó por delante con 10 aciertos frente a 8. Informa tanto del porcentaje de aciertos en los casos aceptados como del porcentaje en la lista completa. Guarda con el informe la versión de la alternativa y los resultados de los casos rechazados. [Evaluación conjunta del predictor y la alternativa](https://proceedings.mlr.press/v119/mozannar20b.html)

**Comprueba qué resultados faltantes podrían cambiar quién va por delante.** En la prueba de 12 casos, al ocultar tres resultados de casos derivados por ambos sistemas, B siguió dos aciertos por delante en todas las combinaciones posibles, porque ambos compartían cada resultado oculto. Al ocultar seis resultados de casos que los sistemas trataron de forma distinta, la diferencia de B menos A quedó entre −4 y +2. Usa el cálculo de resultados compartidos solo cuando ambas derivaciones utilizarían el mismo resultado para ese caso. Si cualquiera de los dos procesos puede quedar por delante, recupera primero los resultados de los casos que siguieron caminos distintos.

Incluye con las puntuaciones el número total de casos, cuántos se aceptaron, los aciertos de cada vía y cuántos resultados faltan. Si los datos están incompletos, indica los supuestos en los que se basa el intervalo restante.

[Descargar los scripts de repetición y los resultados guardados (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
