So spezifizierst du eine RL-Umgebung für einen KI-Agenten
Sprache: Deutsch
Beschreibe einen Arbeitsablauf, die Aktionen, die ein Agent ausführen darf, und ein Beispiel für ein erfolgreiches Ergebnis. Wir können dabei helfen, den Umfang einer Aufgabenumgebung mit Bedingungen für das Zurücksetzen, Bewertungsregeln und Prüfkriterien festzulegen. Beschreibe sapien1 dein Projekt
Eine Reinforcement-Learning-Umgebung (RL-Umgebung) bietet einem Agenten einen Rahmen, um eine Aufgabe zu bearbeiten, Aktionen auszuführen und Feedback zu erhalten. Für einen Geschäftsprozess kann die Umgebung Datensätze und Tools simulieren, sodass jeder Versuch von einem bekannten Zustand ausgeht. Eine brauchbare Spezifikation beschreibt für die Umsetzung, was der Agent sehen und tun kann, wie sich der Zustand ändert, wann ein Versuch endet und wie das Ergebnis bewertet wird.
Ein Versuch ist eine Episode. Eine Beobachtung ist eine Information, die die Umgebung dem Agenten liefert, und eine Belohnung ist ein numerisches Signal zu seinem Verhalten. Die Grundkonzepte von OpenEnv beschreiben eine Umgebung anhand von Reset, Aktionen, Beobachtungen und Belohnungen.
Die Umgebung stellt die Aufgabe und das Feedback bereit. Ein RL-Trainer kann Belohnungen nutzen, um die Entscheidungsstrategie eines Agenten zu aktualisieren; eine Evaluation kann eine Umgebung dagegen nutzen, um einen Agenten zu bewerten, ohne ihn zu aktualisieren. Siehe die Trainingsübersicht von OpenEnv und unseren Leitfaden zur Agentenevaluation.
Beispiel: Ein Agent prüft eine Bewirtungsausgabe
Angenommen, ein Agent soll eine Bewirtungsausgabe prüfen und den nächsten Schritt festhalten. Die folgende Umgebungsspezifikation ist fiktiv; sie wurde weder implementiert noch getestet. Ihre Datensätze und Aktionen sind simuliert und können keine Zahlung auslösen.
Die Aufgabe für den Agenten lautet: „Prüfe die Ausgabe EX-104 anhand der Richtlinie und halte den nächsten Schritt fest.“
Ausgangszustand und Reset
Erstelle zu Beginn jeder Episode unabhängige Kopien dieser Datensätze:
| Feld | EX-104 | EX-105 |
|---|---|---|
| Typ | Bewirtung | Bewirtung |
| Betrag | $34 | $20 |
| Beleg | Vorhanden | Vorhanden |
| Status | pending | pending |
| Zugewiesene Führungskraft | M1 | M2 |
| Genehmigung durch die Führungskraft | Keine | Keine |
EX-105 ist ein nicht zugehöriger Datensatz. Er hilft der Prüfinstanz zu kontrollieren, dass der Agent andere Vorgänge nicht verändert. Der Reset löscht außerdem alle Genehmigungsanfragen und das Aktionsprotokoll und weist anschließend eine neue Episoden-ID zu. Während der Episode antwortet keine Führungskraft. Episoden müssen ihre veränderbaren Datensätze, Anfragen und Protokolle getrennt halten, auch wenn sie gleichzeitig ausgeführt werden. Die Referenz zur Kern-API von OpenEnv beschreibt die Isolation gleichzeitiger Sitzungen als Anforderung an seine Umgebungen für die gleichzeitige Ausführung.
Die für den Agenten verfügbare Richtlinie besagt, dass eine Bewirtung mit Beleg bis einschließlich 50 $ erstattungsfähig ist. Bei einer Bewirtung über 30 $ ist die Genehmigung der zugewiesenen Führungskraft erforderlich, bevor die Ausgabe genehmigt werden kann. Wenn diese Genehmigung erforderlich ist, aber fehlt, soll der Agent sie anfordern und den Status der Ausgabe auf awaiting_approval setzen.
Für EX-104 liegt der Beleg vor und der Betrag von 34 $ liegt innerhalb der Bewirtungsgrenze, überschreitet aber den Schwellenwert für die Genehmigung. Da M1 die Ausgabe noch nicht genehmigt hat, besteht der erwartete nächste Schritt darin, die Genehmigung von M1 anzufordern und EX-104 auf Genehmigung warten zu lassen.
Beobachtungen und zulässige Aktionen
Beim Reset erhält der Agent die Aufgabe, die verfügbaren Aktionsschemata und die Information, dass noch zehn Aktionen zur Verfügung stehen. Jede nicht abschließende Antwort, einschließlich einer Fehlermeldung zu einem ungültigen Aufruf vor Erreichen des Limits, zeigt die Anzahl der noch verfügbaren Aktionen an. Eine abschließende Antwort kennzeichnet das Ende der Episode. Die folgenden simulierten Aktionsnamen dienen der Veranschaulichung und gehören zu diesem Beispiel.
| Aktion | Ergebnis |
|---|---|
read_expense(id) | Gibt Typ, Betrag, Beleg, Status und zugewiesene Führungskraft der angegebenen Ausgabe zurück. |
read_policy() | Gibt die obige Richtlinie zurück. |
read_approval(id) | Gibt den Genehmigungs- und Anfragestatus der angegebenen Ausgabe zurück. |
request_approval(id, manager) | Erstellt eine ausstehende Anfrage für die Ausgabe und die Führungskraft. Eine wiederholte Anfrage für dasselbe Paar führt dazu, dass nur eine ausstehende Anfrage bestehen bleibt. Der Status der Ausgabe wird dadurch nicht geändert. |
set_status(id, status) | Setzt den Status der Ausgabe auf pending, awaiting_approval, approved oder rejected. |
finish(reason) | Beendet die Episode und hält die Begründung des Agenten fest. |
Der Agent erhält für jede Aktion die Antwort und die Belohnung. Halte jeden Aufruf und sein Ergebnis, einschließlich Fehlern, im Aktionsprotokoll der Episode fest. Die Prüfinstanz, ihr Referenzzustand und das Protokoll sind über diese Aktionen weder sichtbar noch veränderbar. Die einzigen Ausgaben-IDs sind EX-104 und EX-105; die einzigen Führungskräfte sind M1 und M2. Die Simulation akzeptiert bei einer Anfrage jede der beiden bekannten Führungskräfte und erlaubt Statuswechsel zwischen den aufgeführten Werten, auch wenn ein Wechsel gegen die Richtlinie verstößt. So kann die Prüfinstanz eine unsichere Entscheidung beobachten und bewerten. Ein ungültiger Aufruf gibt einen Fehler zurück, ändert weder die Ausgabendatensätze noch die Genehmigungsanfragen, wird im Aktionsprotokoll festgehalten und zählt als Aktion.
Belohnung und Beendigung
Dem Agenten stehen höchstens 10 Aktionen zur Verfügung, einschließlich finish. Jede nicht abschließende Aktion erhält eine Belohnung von 0. Wenn der Agent die Episode beendet, vergibt die Prüfinstanz nur dann +1, wenn alle folgenden Prüfungen bestanden sind:
- EX-104 endet mit dem Status
awaiting_approvalund einem unveränderten Betrag von 34 $. - Es gibt genau eine ausstehende Anfrage, und zwar für EX-104 und M1; der Grund für die Beendigung ist
awaiting_approval. - EX-105 ist unverändert, und das Aktionsprotokoll enthält keinen erfolgreichen
set_status-Aufruf dafür. - Das Aktionsprotokoll enthält keinen Wechsel von EX-104 zu
approvedoderrejectedund keinenrequest_approval-Aufruf für eine andere Ausgabe oder Führungskraft.
Jede andere abgeschlossene Episode erhält 0. Wenn die zehnte Aktion finish nicht erfolgreich ausführt, endet die Episode mit 0. Ein Absturz der Sandbox oder ein nicht verfügbares Backend macht den Versuch ungültig; er wird nicht bewertet. Halte diese Fehler getrennt von den Ergebnissen des Agenten fest.
Das Limit von zehn Aktionen ist Teil dieser Aufgabe. Wenn ein Rollout-Collector einen unvollendeten Versuch aufgrund seines eigenen Limits früher beendet, halte diesen Abbruch und die letzte gültige Beobachtung getrennt von einem bewerteten Aufgabenabschluss fest. Gymnasium bezeichnet dieses externe Ende als Truncation und unterscheidet es von der Beendigung der Aufgabe. Diese Unterscheidung ist für Lernverfahren wichtig, die aus unvollendeten Zuständen per Bootstrapping lernen. Die Basisbeobachtung von OpenEnv 0.10.0 führt ein done-Flag auf. Die Textbeobachtung von AgileRL dokumentiert die Weitergabe eines zusätzlichen Feldes truncated, um eine fünfteilige Antwort zu rekonstruieren. Prüfe, wie deine eigene Umgebung, dein Adapter und dein Lernverfahren den Grund für die Beendigung erhalten. Ein Absturz der Sandbox oder ein nicht verfügbares Backend macht den Versuch wie oben beschrieben weiterhin ungültig und unbewertet.
Dies ist eine seltene Belohnung: Das positive Signal kommt am Ende einer erfolgreichen Episode. Die Hinweise zu Belohnungen von OpenEnv empfehlen, mit einem einfachen Ergebnissignal zu beginnen, und erläutern den Zielkonflikt: Aus seltenen Signalen kann das Lernen langsam sein, während Zwischenbelohnungen einen Agenten dazu verleiten können, eine Ersatzgröße statt des beabsichtigten Ergebnisses zu optimieren.
Ein erfolgreicher Ablauf
Diese Folge aus sechs Aktionen erfüllt die Prüfungen. Die Tabelle fasst die Beobachtungen und den jeweils daraus resultierenden Zustand zusammen. Nicht abschließende Antworten enthalten außerdem die Anzahl der verbleibenden Aktionen.
| Aktion | Beobachtung oder resultierender Zustand |
|---|---|
1. read_expense("EX-104") | Eine Bewirtungsausgabe über 34 $ mit Beleg, M1 zugewiesen und weiterhin mit dem Status pending. |
2. read_policy() | Bewirtungsausgaben über 30 $ erfordern die Genehmigung der zugewiesenen Führungskraft. |
3. read_approval("EX-104") | Keine Genehmigung und keine Anfrage. |
4. request_approval("EX-104", "M1") | Eine ausstehende Anfrage an M1 wird erstellt. |
5. set_status("EX-104", "awaiting_approval") | EX-104 wartet auf Genehmigung. |
6. finish("awaiting_approval") | Die Prüfungen sind bestanden; die abschließende Belohnung beträgt +1. |
Ein Endzustand, der die Prüfung nicht bestehen sollte
Betrachte diese Folge aus acht Aktionen mit demselben Ausgangszustand nach dem Reset:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")Die Ausgabe, die Anfrage und der Grund für die Beendigung stimmen nun mit dem erfolgreichen Ablauf überein. Aktion 4 hat die Ausgabe jedoch ohne Genehmigung der Führungskraft genehmigt. Das Protokoll hält diesen Statuswechsel fest, daher gibt die Prüfinstanz 0 zurück. Eine Prüfung allein des Endzustands würde ihn übersehen. Anthropics Leitfaden zur Agentenevaluation unterscheidet das Ergebnis vom Ablauf der Aktionen, die dazu geführt haben.
Eine Spezifikation zum Anpassen
Gib dem Team, das deine Umgebung erstellt, genügend Details, um diese Fragen für eine repräsentative Aufgabe zu beantworten:
- Aufgabe: Was soll der Agent tun, und warum ist der Arbeitsablauf wichtig?
- Reset: Welche Datensätze, Dateien, Richtlinien und externen Antworten sind zu Beginn vorhanden? Was muss gelöscht werden, und wie werden gleichzeitige Episoden voneinander isoliert?
- Beobachtungen: Was kann der Agent lesen, und was verbleibt bei der Prüfinstanz? Stelle dem Agenten die Regeln zur Verfügung, die er zur Ausführung der Aufgabe benötigt.
- Aktionen und Zustandsübergänge: Welche Aufrufe sind zulässig, was ändert jeder Aufruf oder gibt er zurück, und was geschieht bei ungültigen oder wiederholten Aufrufen?
- Prüfungen und Belohnung: Für welches Ergebnis wird welche Belohnung vergeben? Welche nicht zugehörigen Zustände müssen unverändert bleiben, und welche Aktionen im Protokoll müssen erlaubt oder verboten sein?
- Beendigung: Was beendet eine Episode, welches Aktions- oder Zeitlimit gilt, und wie werden Infrastrukturausfälle festgehalten?
- Abdeckung: Mit welchen Beispielen sollen Grenzfälle der Richtlinie und Fehlerfälle geprüft werden? Welche Fälle werden für die Evaluation zurückgehalten?
Prüfe die Umgebung, bevor du sie für das Training verwendest
Bitte das Team, das die Umgebung erstellt, erfolgreiche und fehlgeschlagene Abläufe zu prüfen, einschließlich einer Aktion, die später rückgängig gemacht wird. Prüfe, ob ein Reset die Änderungen der vorherigen Episode entfernt, parallele Episoden keinen veränderbaren Zustand gemeinsam nutzen und der Agent weder die Prüfinstanz noch deren Protokoll ändern kann. Versioniere die Richtlinie, Testdaten, Prüfinstanz, Agentenlaufzeit und das Backend, damit sich ein Ergebnis reproduzieren lässt. Ein Evaluationsbeispiel dafür, warum Aufgabendeklarationen, Runner-Überschreibungen und Backend-Richtlinien getrennt festgehalten werden sollten, findest du in unserer Terminal-Bench-Konfigurationsstudie.
Eine einzelne feste Ausgabe kann auswendig gelernt werden. Ergänze verschiedene Fälle, etwa Beträge am Genehmigungsschwellenwert und fehlende Belege, jeweils mit einem erwarteten Ergebnis; halte separate Fälle für die Evaluation zurück. Führe den erfolgreichen Ablauf aus, um zu prüfen, ob die Belohnung funktioniert. Miss anschließend, wie häufig erste Rollouts des Agenten sie erreichen, bevor du dich beim Training darauf verlässt.
sapien1 hilft Teams, Aufgabenumgebungen abzustecken und Agenten zu evaluieren. Beginne mit einem Arbeitsablauf, einer repräsentativen Aufgabe und dem Ergebnis, das du beobachten möchtest.