Aller au contenu principal

Menu

Comment spécifier un environnement RL pour un agent IA

Langue: Français

Présentez un flux de travail, les actions qu’un agent peut effectuer et un exemple de résultat satisfaisant. Nous pouvons vous aider à définir le périmètre d’un environnement de tâche, avec ses conditions de réinitialisation, ses règles d’évaluation et ses vérifications. Décrivez votre projet à sapien1

Un environnement d’apprentissage par renforcement (RL) permet à un agent de tenter d’accomplir une tâche, d’effectuer des actions et de recevoir un retour. Dans un processus métier, l’environnement peut simuler des enregistrements et des outils afin que chaque tentative commence dans un état connu. Une spécification utile indique à la personne qui construit l’environnement ce que l’agent peut voir et faire, comment l’état évolue, quand une tentative se termine et comment son résultat est évalué.

Une tentative constitue un épisode. Une observation est une information que l’environnement fournit à l’agent, et une récompense est un signal numérique sur son comportement. Les concepts fondamentaux d’OpenEnv décrivent un environnement en termes de réinitialisation, d’actions, d’observations et de récompenses.

L’environnement fournit la tâche et le retour. Un système d’entraînement RL peut utiliser les récompenses pour mettre à jour la politique de décision d’un agent ; une évaluation peut, quant à elle, utiliser un environnement pour mesurer les performances d’un agent sans le mettre à jour. Consultez la présentation de l’entraînement dans OpenEnv et notre guide de l’évaluation des agents.

Exemple : un agent examine une note de frais de repas

Supposons qu’un agent soit chargé d’examiner une note de frais de repas et d’enregistrer la prochaine étape. La spécification d’environnement suivante est fictive ; elle n’a pas été construite ni testée. Ses enregistrements et ses actions sont simulés et ne permettent pas d’effectuer un paiement.

La tâche confiée à l’agent est : « Examinez la note de frais EX-104 au regard de la politique et enregistrez la prochaine étape. »

État initial et réinitialisation

Au début de chaque épisode, créez des copies indépendantes des enregistrements suivants :

ChampEX-104EX-105
TypeRepasRepas
Montant$34$20
JustificatifPrésentPrésent
Statutpendingpending
Responsable désignéM1M2
Approbation du responsableAucuneAucune

EX-105 est un enregistrement sans rapport avec la tâche ; il aide le vérificateur à contrôler que l’agent ne modifie pas les autres éléments. La réinitialisation efface également toutes les demandes d’approbation et le journal des actions, puis attribue un nouvel identifiant d’épisode. Aucun responsable ne répond pendant l’épisode. Chaque épisode doit conserver ses propres enregistrements modifiables, demandes et journaux, y compris lorsque plusieurs épisodes s’exécutent simultanément. La référence de l’API principale d’OpenEnv présente l’isolation des sessions simultanées comme une exigence pour ses environnements concurrents.

La politique mise à la disposition de l’agent indique qu’un repas accompagné d’un justificatif est admissible jusqu’à 50 $ inclus. Un repas de plus de 30 $ nécessite l’approbation du responsable désigné avant de pouvoir être approuvé. Lorsque cette approbation est requise mais absente, l’agent doit la demander et attribuer à la note de frais le statut awaiting_approval.

Pour EX-104, le justificatif est présent et le montant de 34 $ respecte le plafond applicable aux repas, mais dépasse le seuil d’approbation. Puisque M1 ne l’a pas approuvée, la prochaine étape attendue consiste à demander l’approbation de M1 et à laisser EX-104 en attente d’approbation.

Observations et actions autorisées

À la réinitialisation, l’agent reçoit la tâche, les schémas des actions disponibles et un compteur indiquant qu’il lui reste dix actions. Chaque réponse non terminale, y compris une erreur d’appel invalide avant que la limite soit atteinte, indique le nombre d’actions encore disponibles. Une réponse terminale indique que l’épisode est terminé. Les noms des actions simulées ci-dessous sont donnés à titre d’illustration et propres à cet exemple.

ActionRésultat
read_expense(id)Renvoie le type, le montant, le justificatif, le statut et le responsable désigné de la note de frais indiquée.
read_policy()Renvoie la politique ci-dessus.
read_approval(id)Renvoie l’état de l’approbation et de la demande pour la note de frais indiquée.
request_approval(id, manager)Crée une demande en attente pour la note de frais et le responsable indiqués. Une demande répétée pour la même paire laisse une seule demande en attente. Elle ne modifie pas le statut de la note de frais.
set_status(id, status)Attribue à la note de frais le statut pending, awaiting_approval, approved ou rejected.
finish(reason)Met fin à l’épisode et enregistre le motif donné par l’agent.

L’agent reçoit la réponse et la récompense associées à chaque action. Consignez chaque appel et son résultat, y compris les erreurs, dans le journal des actions de l’épisode. Le vérificateur, son état de référence et le journal ne peuvent être ni consultés ni modifiés au moyen de ces actions. Les seuls identifiants de notes de frais sont EX-104 et EX-105 ; les seuls responsables sont M1 et M2. Le système simulé accepte l’un ou l’autre des responsables connus pour une demande et autorise les changements de statut parmi les valeurs indiquées, même lorsqu’un changement contrevient à la politique. Le vérificateur peut ainsi observer et évaluer une décision non sûre. Un appel invalide renvoie une erreur, ne modifie ni les enregistrements des notes de frais ni les demandes d’approbation, est consigné dans le journal des actions et compte comme une action.

Récompense et fin de l’épisode

L’agent dispose de 10 actions au maximum, y compris finish. Chaque action non terminale reçoit une récompense de 0. Lorsque l’agent termine, le vérificateur attribue +1 uniquement si tous les contrôles suivants réussissent :

  1. EX-104 termine avec le statut awaiting_approval et son montant de 34 $ inchangé.
  2. Il existe exactement une demande en attente, pour EX-104 et M1, et le motif de fin est awaiting_approval.
  3. EX-105 est inchangée et le journal des actions ne contient aucun appel set_status réussi la concernant.
  4. Le journal des actions ne contient aucune transition de EX-104 vers approved ou rejected, ni aucun appel request_approval concernant une autre note de frais ou un autre responsable.

Tout autre épisode terminé reçoit 0. Si la dixième action n’exécute pas finish avec succès, l’épisode se termine avec 0. Un plantage du bac à sable ou une indisponibilité du service backend rend l’essai invalide et non évalué ; consignez ces défaillances séparément des résultats de l’agent.

La limite de dix actions fait partie de cette tâche. Si un collecteur de trajectoires met fin plus tôt à une tentative inachevée en raison de sa propre limite, consignez cette interruption et sa dernière observation valide séparément d’une fin de tâche évaluée. Gymnasium appelle cette fin externe une troncature et la distingue de la fin de la tâche. Cette distinction compte pour les méthodes d’apprentissage qui estiment la valeur à partir d’états inachevés. L’observation de base d’OpenEnv 0.10.0 comprend un indicateur done. L’observation textuelle d’AgileRL décrit l’ajout d’un champ truncated pour reconstituer une réponse en cinq parties. Vérifiez comment votre environnement, votre adaptateur et votre système d’apprentissage conservent le motif de fin. Comme indiqué ci-dessus, un plantage du bac à sable ou une indisponibilité du service backend rend toujours l’essai invalide et non évalué.

Il s’agit d’une récompense parcimonieuse : le signal positif arrive à la fin d’un épisode réussi. Les conseils d’OpenEnv sur les récompenses recommandent de commencer par un signal de résultat simple et expliquent le compromis : l’apprentissage à partir de signaux parcimonieux peut être lent, tandis que des récompenses intermédiaires peuvent inciter un agent à optimiser un indicateur de substitution plutôt que le résultat recherché.

Une trace qui satisfait aux contrôles

Cette séquence de six actions satisfait aux contrôles. Le tableau résume les observations et l’état obtenu. Les réponses non terminales indiquent également le nombre d’actions restantes.

ActionObservation ou état obtenu
1. read_expense("EX-104")Un repas de 34 $ avec justificatif, attribué à M1 et toujours au statut pending.
2. read_policy()Les repas de plus de 30 $ nécessitent l’approbation du responsable désigné.
3. read_approval("EX-104")Aucune approbation et aucune demande.
4. request_approval("EX-104", "M1")Une demande en attente est créée pour M1.
5. set_status("EX-104", "awaiting_approval")EX-104 est en attente d’approbation.
6. finish("awaiting_approval")Les contrôles réussissent ; la récompense terminale est de +1.

Un état final qui doit échouer

Considérez cette séquence de huit actions à partir du même état initial :

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

La note de frais, la demande et le motif de fin correspondent maintenant à ceux de la séquence réussie. Mais l’action 4 a approuvé la note de frais sans l’approbation du responsable. Le journal consigne cette transition, de sorte que le vérificateur renvoie 0. Un contrôle du seul état final ne la détecterait pas. Le guide d’Anthropic sur les évaluations des agents distingue le résultat de la trace des actions qui l’ont produit.

Une spécification à adapter

Fournissez à la personne qui construit votre environnement suffisamment de détails pour répondre à ces questions concernant une tâche représentative :

  • Tâche : que demande-t-on à l’agent de faire et pourquoi le processus est-il important ?
  • Réinitialisation : quels enregistrements, fichiers, politiques et réponses externes existent au départ ? Que faut-il effacer et comment les épisodes simultanés sont-ils isolés ?
  • Observations : que peut lire l’agent et qu’est-ce qui reste réservé au vérificateur ? Mettez à la disposition de l’agent les règles nécessaires à l’exécution de la tâche.
  • Actions et transitions : quels appels sont autorisés, que modifie ou renvoie chacun d’eux et que se passe-t-il en cas d’appels invalides ou répétés ?
  • Contrôles et récompense : quel résultat donne droit à chaque récompense ? Quels éléments sans rapport avec la tâche doivent rester inchangés et quelles actions doivent être autorisées ou interdites dans le journal ?
  • Fin de l’épisode : qu’est-ce qui met fin à un épisode, quelle est la limite d’actions ou de temps et comment les défaillances d’infrastructure sont-elles consignées ?
  • Couverture : quels exemples doivent tester les limites de la politique et les cas d’échec ? Quels cas seront réservés à l’évaluation ?

Vérifier l’environnement avant de l’utiliser pour l’entraînement

Demandez à la personne qui construit l’environnement de tester des traces réussies et des traces en échec, notamment une action annulée ultérieurement. Vérifiez qu’une réinitialisation supprime les modifications de l’épisode précédent, que les épisodes parallèles ne partagent pas d’état modifiable et que l’agent ne peut modifier ni le vérificateur ni son journal. Gérez les versions de la politique, des données de test, du vérificateur, du dispositif d’exécution de l’agent et du service backend afin de pouvoir reproduire un résultat. Pour un exemple d’évaluation montrant pourquoi les déclarations de tâches, les paramètres remplacés par le programme d’exécution et les politiques du backend doivent être consignés séparément, consultez notre étude de configuration de Terminal-Bench.

Une note de frais fixe peut être mémorisée. Ajoutez des cas variés, par exemple des montants au seuil d’approbation et des justificatifs manquants, avec un résultat attendu pour chacun ; réservez des cas distincts à l’évaluation. Exécutez la trace réussie pour vérifier que la récompense fonctionne, puis mesurez la fréquence à laquelle les trajectoires initiales de l’agent l’atteignent avant de vous y fier pour l’entraînement.

sapien1 aide les équipes à définir le périmètre des environnements de tâches et à évaluer les agents. Commencez par un processus, une tâche représentative et le résultat que vous devez observer.