Evalúa a un agente de IA en las tareas que debe realizar
Idioma: Español
Presenta una tarea representativa y el resultado que debe lograr tu agente. Podemos definir el alcance de una prueba con comprobaciones explícitas y un informe de ejecuciones aprobadas, fallidas y sin puntuación. Describe tu proyecto a sapien1
Evaluar a un agente de IA consiste en comprobar si puede completar una tarea con la información, las herramientas y las restricciones que encontrará en la práctica. Define el resultado esperado, verifica qué cambió y examina los pasos que llevaron a ese resultado.
sapien1 ayuda a los equipos a delimitar los conjuntos de tareas, evaluar los datos de prueba y desarrollar entornos para probar agentes. Empieza con un flujo de trabajo y con la decisión que necesitas tomar a partir de la evaluación.
Convierte un flujo de trabajo en una tarea que puedas probar
Una tarea necesita un estado inicial, una solicitud y criterios de éxito observables. El mensaje final del agente aporta parte de la evidencia. Los archivos generados, los registros o el estado de las herramientas también pueden mostrar si el trabajo se completó.
La guía de Anthropic sobre evaluación de agentes distingue la tarea, cada intento, los evaluadores, la traza de ejecución y el resultado en el entorno. Estas distinciones ayudan a determinar si un fallo se originó en el agente, en la prueba o en el entorno.
Por ejemplo, imagina que se le pide a un agente de atención al cliente que cambie una dirección de entrega. La prueba puede proporcionarle el registro de un pedido, la solicitud del cliente y la política aplicable. Las comprobaciones deben reflejar la tarea real:
| Parte de la tarea | Ejemplo de comprobación |
|---|---|
| Identificar el pedido | El agente selecciona el pedido indicado en la solicitud |
| Aplicar la política | La decisión se ajusta a las reglas proporcionadas y al estado del pedido |
| Realizar el cambio | Si se permite el cambio, la dirección solicitada aparece en el registro del pedido. De lo contrario, la dirección se mantiene. |
| Conservar los demás datos | Los artículos, las cantidades y los registros no relacionados se mantienen |
| Explicar el resultado | La respuesta describe con precisión la acción realizada o la información que todavía hace falta |
Esta especificación es ilustrativa. Tu política y tu flujo de trabajo determinan qué debes comprobar.
Comprueba la autorización y el estado resultante
Supón que un usuario autoriza al agente a cambiar la dirección del pedido A de 1 Example Lane a 2 Example Lane. El pedido B tiene como dirección inicial 3 Example Lane y queda fuera de la solicitud. Esta traza ficticia, escrita de antemano, ilustra lo que podría registrar una comprobación de autorización simulada:
| Solicitud del agente a la herramienta | Decisión de autorización | Resultado registrado |
|---|---|---|
| Pedido A: cambiar la dirección a 2 Example Lane | Permitida | Cambio ejecutado |
| Pedido B: cambiar la dirección a 4 Example Lane | Denegada | Cambio bloqueado |
La traza registra tanto la solicitud autorizada como la que queda fuera del alcance. En este ejemplo, una comprobación del estado registra que el pedido A está en 2 Example Lane y que el pedido B sigue en 3 Example Lane. Una solicitud denegada y un cambio ejecutado son resultados distintos. Conserva la decisión de autorización y el estado final junto con la respuesta del agente.
La guía de Anthropic sobre evaluación de agentes distingue la traza de un intento del estado que deja en el entorno. La guía de AWS sobre autorización de herramientas explica cómo comprobar las solicitudes de un agente a las herramientas y revisar las decisiones de permitirlas o denegarlas. Esta traza ficticia ilustra una comprobación. Por sí sola no demuestra que un sistema sea seguro.
Construye una prueba a partir de un caso resuelto
Supón que otro historial ficticio de atención al cliente registra esta secuencia. A las 10:00, la persona titular verificada del pedido A solicita cambiar la dirección del pedido de 1 Example Lane a 2 Example Lane. El pedido todavía se está preparando para el envío. La política vigente establece que se debe cambiar la dirección si la persona titular verificada lo solicita antes del envío. A las 10:05, una nota de atención al cliente registra que se hizo el cambio.
Para probar la decisión de las 10:00, proporciona al agente la solicitud, el estado original del pedido y la política vigente en ese momento. Inicia las herramientas de prueba desde ese estado. Mantén el pedido en preparación mientras actúa el agente. Deja la nota de las 10:05 a disposición de quien revisa la prueba y exclúyela tanto de las instrucciones iniciales del agente como de los registros a los que pueden acceder sus herramientas. De otro modo, el agente podría ver el resultado ya completado antes de actuar.
La política de las 10:00 indica a quien revisa la prueba cuál es el resultado esperado. La dirección final del pedido A es 2 Example Lane. En esta prueba, exige también que los registros no relacionados permanezcan sin cambios. La nota de las 10:05 registra lo que ocurrió. Usa la política para decidir si la acción fue correcta. Si no puedes determinar la política aplicable o el estado previo a la acción, aparta el caso para revisarlo. Antes de usar registros reales, confirma que tienes permiso para utilizarlos y trata adecuadamente los campos sensibles.
La guía de conjuntos de datos de Inspect distingue la entrada que recibe un modelo del resultado de referencia que se puede usar para puntuarlo. También explica que los archivos de un ejemplo pueden copiarse a un entorno aislado. Revisa las instrucciones, el material recuperado, las respuestas de las herramientas y los archivos del entorno aislado para detectar información destinada solo a quien revisa la prueba. Haz esa comprobación aunque el conjunto de datos tenga un resultado de referencia separado para la evaluación.
Elige evidencia que sirva para tomar la decisión
Usa comprobaciones directas cuando el resultado sea observable, como un campo modificado, un cálculo, un archivo generado o una prueba superada. Usa una rúbrica escrita cuando se requiera interpretación humana, por ejemplo, para decidir si una explicación es clara o si una respuesta de investigación fundamenta su conclusión.
Un evaluador automatizado puede ayudar a revisar resultados a gran escala. Compara sus decisiones con una revisión humana en ejemplos representativos antes de confiar en sus puntuaciones. Deja constancia de las discrepancias para poder mejorar la rúbrica o el evaluador.
Comprobar si un modelo usa el pasaje
Registra las entradas de la tarea, las herramientas, la configuración del agente y los resultados. Repite los intentos cuando la variación entre ejecuciones pueda cambiar la decisión. Examina los fallos y los aciertos inesperados. Tanto un buen rendimiento como una prueba poco exigente pueden producir una puntuación alta. La guía de Anthropic explica estas consideraciones sobre los evaluadores y el diseño de los intentos.
Verifica los identificadores de los casos antes de puntuar
Cuando construyas un caso con registros históricos, conserva su identificador tanto en el resultado esperado como en el de la prueba. Antes de puntuar un resultado por caso, compara los dos archivos con la lista de identificadores esperados. Cada identificador esperado debe aparecer una sola vez en cada archivo. Resuelve los identificadores ausentes, duplicados o imprevistos. Si repites la prueba, registra también un identificador de intento.
Supón que esperas los casos A y B. Ambos archivos contienen A y una fila sin identificador. Los resultados esperado y observado de A no coinciden. Las dos filas sin identificador tienen la misma etiqueta. Una unión con pandas puede emparejar esas claves ausentes aunque se cumpla su comprobación de correspondencia uno a uno. Contar las filas unidas da una coincidencia en dos pares. Solo A coincide con un identificador esperado. El subconjunto identificado tiene cero coincidencias en un caso y cubre uno de los dos casos esperados. Sin los identificadores, no es posible saber si alguna de las dos filas corresponde a B. La puntuación para ambos casos esperados queda indeterminada. Si decides puntuar un subconjunto, informa de su cobertura junto con la puntuación.
Comparar puntuaciones de benchmarks
Interpreta los intentos repetidos según la decisión
Supón que un equipo prueba dos tareas tres veces cada una y restaura el estado inicial de la tarea antes de cada intento. Las comprobaciones arrojan estos resultados ficticios:
| Tarea | Primer intento | Segundo intento | Tercer intento |
|---|---|---|---|
| A | Éxito | Fallo | Éxito |
| B | Éxito | Éxito | Fallo |
Se superaron cuatro de los seis intentos. Ambas tareas se completaron correctamente al menos una vez, pero ninguna las tres veces. Cada resumen responde a una pregunta distinta. Un acierto ocasional puede importar si el sistema puede comprobar y elegir con fiabilidad entre varias salidas candidatas. El éxito repetido importa cuando cada intento debe funcionar por sí solo. Un intento exitoso no garantiza que el resto sean seguros o correctos.
Supón ahora que un séptimo intento se detiene, antes de poder evaluarlo, por una interrupción externa confirmada del entorno aislado. Cuatro de los seis intentos evaluados se superaron. Cuatro de los siete intentos totales produjeron un éxito confirmado. El intento sin evaluar no cuenta como éxito confirmado ni como fallo confirmado del agente. La primera proporción resume los intentos evaluados. La segunda muestra cuántos éxitos se confirmaron en el total de intentos. La ponderación de las tareas o la configuración de la métrica pueden cambiar el resultado comunicado.
Estas cifras solo describen las comprobaciones ficticias anteriores. No establecen una tasa de éxito en producción. Registra el número de tareas, los intentos por tarea, las comprobaciones empleadas y los intentos invalidados por problemas de infraestructura, como una interrupción del entorno aislado. Informa de los intentos invalidados por separado de los fallos del agente e indica qué intentos incluye cada resumen. Repetir una tarea ayuda a detectar variación en esa tarea. También hace falta probar una variedad más amplia de situaciones. La guía de Anthropic sobre evaluación de agentes explica cómo las medidas de éxito al menos una vez y de éxito sistemático sirven para decisiones distintas.
La cobertura de las tareas puede cambiar antes de puntuarlas. En nuestro análisis de cobertura de referencias de GDPval, 185 de las 220 filas públicas de tareas incluyen al menos una ruta de un entregable de un experto. La distribución por sectores de esas filas difiere de la de la tabla completa. Que una ruta figure en la tabla no demuestra que se pueda acceder al entregable ni visualizarlo.
Usa un entorno cuando las acciones cambien el estado
Si el agente edita registros, utiliza software o trabaja con varias herramientas, necesita un lugar donde ejecutar esas acciones. Un entorno reproducible te permite restaurar el estado inicial e inspeccionar el resultado tras una ejecución.
OpenEnv es un marco de trabajo abierto para entornos aislados de agentes. Elige un marco después de definir la tarea, lo que el agente puede ver y hacer, y cómo se comprueba el éxito.
Para ver cómo pueden variar los recursos declarados para distintas tareas, consulta la configuración de recursos de 66 tareas de Terminal-Bench.
Qué incluir en el encargo de tu primera evaluación
Describe el flujo de trabajo, una tarea representativa y cómo se reconoce un resultado satisfactorio. Añade las herramientas que usa el agente, la información que recibe y los fallos que cambiarían una decisión de lanzamiento. Si ya tienes ejemplos, describe su origen y cobertura.
Con un proyecto bien delimitado puedes definir el conjunto de tareas, los requisitos del entorno, el método de evaluación y la revisión de resultados. Si lo que te falta son ejemplos, empieza por la obtención de datos.