Saltar al contenido principal

Menú

Cómo especificar un entorno de RL para un agente de IA

Idioma: Español

Presenta un flujo de trabajo, las acciones que puede realizar un agente y un ejemplo de un resultado satisfactorio. Podemos ayudar a definir el alcance de un entorno de tareas con condiciones de reinicio, reglas de puntuación y comprobaciones. Describe tu proyecto a sapien1

Un entorno de aprendizaje por refuerzo (RL) proporciona a un agente un espacio para intentar realizar una tarea, ejecutar acciones y recibir comentarios. Para un flujo de trabajo empresarial, el entorno puede simular registros y herramientas para que cada intento comience desde un estado conocido. Una especificación útil indica a quien construye el entorno qué puede ver y hacer el agente, cómo cambia el estado, cuándo termina un intento y cómo se puntúa el resultado.

Un intento es un episodio. Una observación es información que el entorno proporciona al agente, y una recompensa es una señal numérica sobre su comportamiento. Los conceptos básicos de OpenEnv describen un entorno en términos de reinicio, acciones, observaciones y recompensas.

El entorno proporciona la tarea y los comentarios. Un sistema de entrenamiento de RL puede usar las recompensas para actualizar la política de toma de decisiones de un agente; una evaluación, en cambio, puede usar un entorno para medir al agente sin actualizarlo. Consulta la descripción general del entrenamiento de OpenEnv y nuestra guía de evaluación de agentes.

Ejemplo: un agente revisa un gasto de comida

Supongamos que se pide a un agente que revise un gasto de comida y registre el siguiente paso. La siguiente especificación describe un entorno ficticio; no se ha construido ni probado. Sus registros y acciones son simulados y no pueden efectuar un pago.

La tarea asignada al agente es: «Revisa el gasto EX-104 conforme a la política y registra el siguiente paso».

Estado inicial y reinicio

Al comienzo de cada episodio, crea copias independientes de estos registros:

CampoEX-104EX-105
TipoComidaComida
Importe$34$20
ReciboPresentePresente
Estadopendingpending
Responsable asignadoM1M2
Aprobación del responsableNingunaNinguna

EX-105 es un registro no relacionado; ayuda al verificador a comprobar que el agente no modifica otros trabajos. El reinicio también elimina todas las solicitudes de aprobación y el registro de acciones, y después asigna un nuevo ID de episodio. Ningún responsable responde durante el episodio. Los episodios deben mantener separados sus registros modificables, solicitudes y registros de acciones, incluso cuando se ejecutan al mismo tiempo. La referencia de la API principal de OpenEnv describe el aislamiento de sesiones concurrentes como un requisito para sus entornos concurrentes.

La política disponible para el agente establece que una comida con recibo es admisible hasta un máximo de $50, incluido ese importe. Una comida de más de $30 requiere la aprobación del responsable asignado antes de poder aprobarse. Cuando esa aprobación es necesaria pero falta, el agente debe solicitarla y establecer el estado del gasto en awaiting_approval.

En el caso de EX-104, el recibo está presente y $34 está dentro del límite para comidas, pero el importe supera el umbral de aprobación. Como M1 no lo ha aprobado, el siguiente paso esperado es solicitar la aprobación de M1 y dejar EX-104 pendiente de aprobación.

Observaciones y acciones permitidas

Al reiniciar, el agente recibe la tarea, los esquemas de acciones disponibles y un contador que indica que quedan diez acciones. Cada respuesta no terminal, incluido un error por una llamada no válida antes de alcanzar el límite, muestra cuántas acciones quedan disponibles. Una respuesta terminal indica que el episodio ha terminado. Los nombres de las acciones simuladas que aparecen a continuación son ilustrativos y pertenecen a este ejemplo.

AcciónResultado
read_expense(id)Devuelve el tipo, el importe, el recibo, el estado y el responsable asignado del gasto indicado.
read_policy()Devuelve la política anterior.
read_approval(id)Devuelve el estado de aprobación y de solicitud del gasto indicado.
request_approval(id, manager)Crea una solicitud pendiente para el gasto y el responsable. Si se repite una solicitud para la misma combinación, queda una sola solicitud pendiente. No cambia el estado del gasto.
set_status(id, status)Establece el estado del gasto en pending, awaiting_approval, approved o rejected.
finish(reason)Termina el episodio y registra el motivo del agente.

El agente recibe la respuesta y la recompensa de cada acción. Registra cada llamada y su resultado, incluidos los errores, en el registro de acciones del episodio. El verificador, su estado de referencia y el registro no son visibles ni editables mediante estas acciones. Los únicos ID de gastos son EX-104 y EX-105; los únicos responsables son M1 y M2. La simulación acepta cualquiera de los responsables conocidos para una solicitud y permite cambiar el estado entre los valores enumerados, incluso cuando un cambio infringe la política. Esto permite al verificador observar y puntuar una decisión insegura. Una llamada no válida devuelve un error, no cambia los registros de gastos ni las solicitudes de aprobación, se anota en el registro de acciones y cuenta como una acción.

Recompensa y terminación

El agente dispone de un máximo de 10 acciones, incluida finish. Cada acción no terminal recibe una recompensa de 0. Cuando el agente termina, el verificador otorga +1 solo si se cumplen todas estas comprobaciones:

  1. EX-104 termina en awaiting_approval con su importe de $34 sin cambios.
  2. Existe exactamente una solicitud pendiente, para EX-104 y M1, y el motivo de finalización es awaiting_approval.
  3. EX-105 no ha cambiado y el registro de acciones no contiene ninguna llamada set_status que se haya ejecutado correctamente para ese gasto.
  4. El registro de acciones no contiene ninguna transición de EX-104 a approved o rejected, ni ninguna llamada request_approval para otro gasto u otro responsable.

Cualquier otro episodio que termine recibe 0. Si la décima acción no ejecuta finish correctamente, el episodio termina con 0. Un fallo del entorno aislado o un backend no disponible invalida la prueba y deja el resultado sin puntuar; registra esos fallos por separado de los resultados del agente.

El límite de diez acciones forma parte de esta tarea. Si un recopilador de trayectorias termina antes un intento incompleto debido a su propio límite, registra ese corte y su última observación válida por separado de una finalización de la tarea que se puntúa. Gymnasium llama truncamiento a esta finalización externa y la distingue de la terminación de la tarea. Esa distinción es importante para los métodos de aprendizaje que estiman el valor a partir de estados incompletos. La observación base de OpenEnv 0.10.0 incluye un indicador done. La observación de texto de AgileRL documenta el uso de un campo adicional truncated para reconstruir una respuesta de cinco partes. Comprueba cómo conservan el motivo de finalización tu entorno, tu adaptador y tu sistema de aprendizaje. Un fallo del entorno aislado o un backend no disponible sigue invalidando la prueba y dejando el resultado sin puntuar, como se describe arriba.

Esta es una recompensa dispersa: la señal positiva llega al final de un episodio satisfactorio. Las recomendaciones sobre recompensas de OpenEnv aconsejan empezar con una señal de resultado simple y explican la contrapartida: las señales dispersas pueden hacer que el aprendizaje sea lento, mientras que las recompensas intermedias pueden llevar al agente a optimizar un indicador indirecto en lugar del resultado deseado.

Una traza que supera las comprobaciones

Esta secuencia de seis acciones cumple las comprobaciones. La tabla resume las observaciones y el estado resultante. Las respuestas no terminales también incluyen el número de acciones restantes.

AcciónObservación o estado resultante
1. read_expense("EX-104")Una comida de $34 con recibo, asignada a M1 y todavía en pending.
2. read_policy()Las comidas de más de $30 requieren la aprobación del responsable asignado.
3. read_approval("EX-104")No hay aprobación ni solicitud.
4. request_approval("EX-104", "M1")Se crea una solicitud pendiente para M1.
5. set_status("EX-104", "awaiting_approval")EX-104 está pendiente de aprobación.
6. finish("awaiting_approval")Se superan las comprobaciones; la recompensa terminal es +1.

Un estado final que debe fallar

Considera esta secuencia de ocho acciones a partir del mismo estado de reinicio:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

El gasto, la solicitud y el motivo de finalización coinciden ahora con los de la secuencia que supera las comprobaciones. Pero la acción 4 aprobó el gasto sin la aprobación del responsable. El registro recoge esa transición, por lo que el verificador devuelve 0. Una comprobación solo del estado final no la detectaría. La guía de evaluación de agentes de Anthropic distingue el resultado de la traza de acciones que lo produjo.

Una especificación para adaptar

Proporciona a quien construya el entorno suficientes detalles para responder a estas preguntas sobre una tarea representativa:

  • Tarea: ¿Qué se pide al agente y por qué es importante el flujo de trabajo?
  • Reinicio: ¿Qué registros, archivos, políticas y respuestas externas existen al principio? ¿Qué debe borrarse y cómo se aíslan los episodios simultáneos?
  • Observaciones: ¿Qué puede leer el agente y qué permanece en el verificador? Pon a disposición del agente las reglas necesarias para realizar la tarea.
  • Acciones y transiciones: ¿Qué llamadas se permiten, qué cambia o devuelve cada una y qué ocurre con las llamadas no válidas o repetidas?
  • Comprobaciones y recompensa: ¿Qué resultado permite obtener cada recompensa? ¿Qué estado no relacionado debe permanecer sin cambios y qué acciones del registro deben permitirse o prohibirse?
  • Terminación: ¿Qué termina un episodio, cuál es el límite de acciones o de tiempo y cómo se registran los fallos de infraestructura?
  • Cobertura: ¿Qué ejemplos deben poner a prueba los límites de la política y los casos de fallo? ¿Qué casos se reservarán para la evaluación?

Comprueba el entorno antes de usarlo para el entrenamiento

Pide a quien construya el entorno que pruebe trazas que superen y no superen las comprobaciones, incluida una acción que después se revierta. Comprueba que un reinicio elimina los cambios del episodio anterior, que los episodios paralelos no comparten estado modificable y que el agente no puede cambiar el verificador ni su registro. Mantén bajo control de versiones la política, los datos de prueba, el verificador, el sistema de ejecución del agente y el backend para que se pueda reproducir un resultado. Para ver un ejemplo de evaluación que muestra por qué deben registrarse por separado las declaraciones de tareas, las sobrescrituras del ejecutor y las políticas del backend, consulta nuestro estudio de configuración de Terminal-Bench.

Un solo gasto fijo se puede memorizar. Añade casos variados, como importes en el umbral de aprobación y recibos ausentes, con un resultado esperado para cada uno; reserva casos separados para la evaluación. Ejecuta la traza que supera las comprobaciones para verificar que la recompensa funciona y, después, mide con qué frecuencia las trayectorias iniciales del agente la alcanzan antes de utilizarla para el entrenamiento.

sapien1 ayuda a los equipos a definir el alcance de entornos de tareas y a evaluar agentes. Empieza con un flujo de trabajo, una tarea representativa y el resultado que necesitas observar.