Prüfen Sie einen KI-Agenten an den Aufgaben, die er erledigen soll
Seitensprache: Deutsch
Beschreibe eine repräsentative Aufgabe und das Ergebnis, das dein Agent erreichen soll. Wir können den Umfang eines Tests mit expliziten Prüfkriterien und einem Bericht über bestandene, fehlgeschlagene und nicht bewertete Testläufe festlegen. Beschreibe sapien1 dein Projekt
Bei der Evaluierung eines KI-Agenten prüfen Sie, ob er eine Aufgabe mit den Informationen, Werkzeugen und Einschränkungen bewältigt, die ihm in der Praxis begegnen. Legen Sie das erwartete Ergebnis fest, prüfen Sie, was sich geändert hat, und untersuchen Sie, welche Schritte zum Ergebnis geführt haben.
sapien1 hilft Teams, Aufgabensätze einzugrenzen, Evaluierungsdaten zu beurteilen und Testumgebungen für Agenten zu entwickeln. Beginnen Sie mit einem Arbeitsablauf und der Entscheidung, die Sie anhand der Evaluierung treffen möchten.
Aus einem Arbeitsablauf eine prüfbare Aufgabe machen
Eine Aufgabe braucht einen Ausgangszustand, eine Anfrage und beobachtbare Erfolgskriterien. Die abschließende Nachricht des Agenten ist ein Teil der Belege. Auch erzeugte Dateien, Datensätze oder der Zustand der Werkzeuge können zeigen, ob die Arbeit erledigt wurde.
Der Leitfaden von Anthropic zur Evaluierung von Agenten unterscheidet zwischen der Aufgabe, den einzelnen Versuchen, den Bewertungsverfahren, dem Ausführungsprotokoll und dem Ergebnis in der Umgebung. So lässt sich besser erkennen, ob ein Fehler auf den Agenten, den Test oder die Umgebung zurückgeht.
Angenommen, ein Support-Agent soll eine Lieferadresse ändern. Der Test kann ihm den Bestelldatensatz, die Anfrage des Kunden und die geltende Richtlinie vorlegen. Die Prüfungen sollten die tatsächliche Aufgabe abbilden:
| Teilaufgabe | Beispielprüfung |
|---|---|
| Bestellung ermitteln | Der Agent wählt die in der Anfrage genannte Bestellung aus |
| Richtlinie anwenden | Seine Entscheidung entspricht den vorgegebenen Regeln und dem Bestellstatus |
| Änderung vornehmen | Ist die Änderung zulässig, steht die gewünschte Adresse im Bestelldatensatz. Andernfalls bleibt die Adresse unverändert. |
| Andere Angaben erhalten | Artikel, Mengen und nicht betroffene Datensätze bleiben unverändert |
| Ergebnis erklären | Die Antwort beschreibt zutreffend, welche Handlung erfolgt ist oder welche Angaben noch fehlen |
Diese Aufgabenbeschreibung dient als Beispiel. Welche Prüfungen Sie brauchen, hängt von Ihrer Richtlinie und Ihrem Arbeitsablauf ab.
Berechtigung und resultierenden Zustand prüfen
Angenommen, ein Nutzer erlaubt dem Agenten, die Adresse von Bestellung A von 1 Example Lane in 2 Example Lane zu ändern. Bestellung B hat anfangs die Adresse 3 Example Lane und ist von der Anfrage nicht erfasst. Dieses vorab erstellte fiktive Protokoll zeigt, was eine simulierte Berechtigungsprüfung festhalten könnte:
| Werkzeuganfrage des Agenten | Berechtigungsentscheidung | Protokolliertes Ergebnis |
|---|---|---|
| Bestellung A: Adresse auf 2 Example Lane ändern | Erlaubt | Änderung ausgeführt |
| Bestellung B: Adresse auf 4 Example Lane ändern | Abgelehnt | Änderung blockiert |
Das Protokoll erfasst sowohl die erlaubte Anfrage als auch die Anfrage außerhalb des erlaubten Umfangs. Eine Zustandsprüfung ergibt hier 2 Example Lane für Bestellung A und weiterhin 3 Example Lane für Bestellung B. Eine abgelehnte Anfrage und eine ausgeführte Änderung sind unterschiedliche Ergebnisse. Bewahren Sie die Berechtigungsentscheidung und den Endzustand zusammen mit der Antwort des Agenten auf.
Der Leitfaden von Anthropic zur Agentenevaluierung unterscheidet das Protokoll eines Versuchs von dem Zustand, den er hinterlässt. Die AWS-Empfehlungen zur Autorisierung von Werkzeuganfragen behandeln die Prüfung von Agentenanfragen an Werkzeuge und die Kontrolle von Erlaubnis- und Ablehnungsentscheidungen. Das fiktive Protokoll veranschaulicht eine einzelne Prüfung. Es belegt nicht, dass ein System sicher ist.
Aus einem abgeschlossenen Fall einen Test erstellen
Angenommen, ein weiterer fiktiver Supportverlauf dokumentiert diese Abfolge. Um 10:00 Uhr bittet der verifizierte Inhaber von Bestellung A darum, die Bestelladresse von 1 Example Lane in 2 Example Lane zu ändern. Die Bestellung wird noch für den Versand vorbereitet. Nach der geltenden Richtlinie ist der Änderungswunsch des verifizierten Bestellinhabers vor dem Versand umzusetzen. Um 10:05 Uhr hält eine Supportnotiz fest, dass die Adresse geändert wurde.
Um die Entscheidung von 10:00 Uhr zu testen, geben Sie dem Agenten die Anfrage, den ursprünglichen Zustand der Bestellung und die damals geltende Richtlinie. Initialisieren Sie die Testwerkzeuge mit diesem Zustand. Die Bestellung bleibt in Vorbereitung, während der Agent handelt. Stellen Sie die Notiz von 10:05 Uhr der prüfenden Person zur Verfügung und lassen Sie sie aus der anfänglichen Eingabe des Agenten und aus allen für seine Werkzeuge zugänglichen Datensätzen dieses Tests heraus. Sonst könnte der Agent das abgeschlossene Ergebnis sehen, bevor er selbst handeln soll.
Aus der um 10:00 Uhr geltenden Richtlinie ergibt sich das erwartete Ergebnis für die prüfende Person. Bestellung A endet mit der Adresse 2 Example Lane. Fordern Sie für diesen Test außerdem, dass nicht betroffene Datensätze unverändert bleiben. Die Notiz von 10:05 Uhr hält das Ergebnis fest. Beurteilen Sie anhand der Richtlinie, ob die Handlung korrekt war. Wenn sich die maßgebliche Richtlinie oder der Zustand vor der Handlung nicht feststellen lässt, stellen Sie den Fall zur Prüfung zurück. Klären Sie vor der Nutzung echter Datensätze, ob Sie diese verwenden dürfen, und behandeln Sie sensible Felder angemessen.
Der Datensatzleitfaden von Inspect unterscheidet zwischen der Eingabe für ein Modell und einem Sollwert, der für die Bewertung herangezogen werden kann. Er erläutert auch, dass Beispieldateien in eine isolierte Testumgebung kopiert werden können. Prüfen Sie Eingaben, abgerufenes Material, Werkzeugantworten und Dateien der Testumgebung auf Informationen, die nur für die prüfende Person bestimmt sind. Tun Sie das auch dann, wenn der Datensatz einen gesonderten Sollwert für die Bewertung enthält.
Passende Belege für die Entscheidung wählen
Prüfen Sie ein Ergebnis direkt, wenn es beobachtbar ist, etwa ein geändertes Feld, eine Berechnung, eine erzeugte Datei oder einen bestandenen Test. Nutzen Sie schriftliche Bewertungskriterien, wenn menschliches Urteil gefragt ist, etwa zur Verständlichkeit einer Erklärung oder dazu, ob eine Rechercheantwort ihre Schlussfolgerung stützt.
Ein automatisches Bewertungsverfahren kann helfen, viele Ausgaben zu prüfen. Vergleichen Sie seine Entscheidungen anhand repräsentativer Beispiele mit menschlichen Bewertungen, bevor Sie sich auf seine Punktwerte stützen. Halten Sie Abweichungen sichtbar fest, um die Kriterien oder das Verfahren verbessern zu können.
Prüfen, ob ein Modell die Passage nutzt
Dokumentieren Sie Aufgabeneingaben, Werkzeuge, Agentenkonfiguration und Ergebnisse. Wiederholen Sie Versuche, wenn Unterschiede zwischen Durchläufen für die Entscheidung wichtig sind. Untersuchen Sie fehlgeschlagene und unerwartet erfolgreiche Durchläufe. Ein hoher Punktwert kann sowohl auf gute Leistung als auch auf einen zu schwachen Test zurückgehen. Der Leitfaden von Anthropic behandelt diese Fragen zu Bewertungsverfahren und Versuchsplanung.
Fall-IDs vor der Bewertung prüfen
Wenn Sie aus früheren Datensätzen einen Fall erstellen, übernehmen Sie seine Fall-ID in das erwartete Ergebnis und in das Testergebnis. Gleichen Sie beide Dateien mit der Liste der erwarteten IDs ab, bevor Sie je Fall ein Ergebnis bewerten. Jede erwartete ID sollte genau einmal in jeder Datei vorkommen. Klären Sie fehlende, doppelte oder unerwartete IDs. Erfassen Sie bei wiederholten Durchläufen zusätzlich eine Versuchs-ID.
Angenommen, Sie erwarten die Fälle A und B. Beide Dateien enthalten A und jeweils eine Zeile ohne ID. Bei A stimmen erwartetes Ergebnis und Testergebnis nicht überein. Die beiden Zeilen ohne ID haben dasselbe Label. Ein Join mit pandas kann diese fehlenden Schlüssel miteinander verknüpfen, auch wenn seine Eins-zu-eins-Prüfung erfolgreich ist. In den zusammengeführten Zeilen finden Sie eine Übereinstimmung unter zwei Paaren. Nur A entspricht einer erwarteten ID. In der identifizierten Teilmenge gibt es null Übereinstimmungen bei einem Fall, womit einer von zwei erwarteten Fällen abgedeckt ist. Ohne die IDs bleibt unklar, ob eine der beiden Zeilen zu B gehört. Damit bleibt der Punktwert über beide erwarteten Fälle unbestimmt. Wenn Sie bewusst eine Teilmenge bewerten, geben Sie neben dem Punktwert auch die Abdeckung an.
Benchmark-Ergebnisse vergleichen
Wiederholte Versuche anhand der Entscheidung auswerten
Angenommen, ein Team prüft zwei Aufgaben jeweils dreimal und stellt vor jedem Versuch den Ausgangszustand der Aufgabe wieder her. Die Prüfungen liefern diese fiktiven Ergebnisse:
| Aufgabe | Erster Versuch | Zweiter Versuch | Dritter Versuch |
|---|---|---|---|
| A | Bestanden | Fehlgeschlagen | Bestanden |
| B | Bestanden | Bestanden | Fehlgeschlagen |
Vier der sechs Versuche bestanden die Prüfung. Beide Aufgaben waren mindestens einmal erfolgreich, aber keine bei allen drei Versuchen. Die beiden Zusammenfassungen beantworten unterschiedliche Fragen. Ein gelegentlich korrektes Ergebnis kann wichtig sein, wenn das System mehrere mögliche Ausgaben zuverlässig prüfen und daraus auswählen kann. Wiederholter Erfolg ist wichtig, wenn jeder Versuch für sich funktionieren muss. Ein erfolgreicher Versuch macht die übrigen Versuche weder sicher noch korrekt.
Angenommen, ein siebter Versuch bricht wegen eines bestätigten externen Ausfalls der isolierten Testumgebung ab, bevor er bewertet werden kann. Vier der sechs bewerteten Versuche waren erfolgreich. Bei insgesamt sieben Versuchen gab es vier bestätigte Erfolge. Der unbewertete Versuch gilt weder als bestätigter Erfolg noch als bestätigtes Versagen des Agenten. Der erste Anteil fasst die bewerteten Versuche zusammen. Der zweite gibt die bestätigten Erfolge über alle Versuche an. Die Gewichtung der Aufgaben oder die Einstellungen der Metrik können das berichtete Ergebnis verändern.
Diese Zahlen beschreiben nur die fiktiven Prüfungen oben und belegen keine Erfolgsrate im Produktivbetrieb. Erfassen Sie die Zahl der Aufgaben, die Versuche pro Aufgabe, die Prüfungen und alle aufgrund von Infrastrukturproblemen ungültigen Versuche, zum Beispiel bei einem Ausfall der isolierten Testumgebung. Weisen Sie ungültige Versuche getrennt von Fehlern des Agenten aus und geben Sie an, welche Versuche in jeder Zusammenfassung enthalten sind. Wiederholungen einer Aufgabe zeigen deren Schwankungen. Prüfen Sie zusätzlich ein breiteres Spektrum an Situationen. Der Leitfaden von Anthropic zur Evaluierung von Agenten erläutert, wie Maße für mindestens einen Erfolg und für beständigen Erfolg verschiedene Entscheidungen unterstützen.
Die Aufgabenabdeckung kann sich vor der Bewertung ändern. In unserer Analyse der Referenzabdeckung bei GDPval führen 185 von 220 öffentlich einsehbaren Aufgabeneinträgen mindestens einen Pfad zu einem von Fachleuten erstellten Arbeitsergebnis auf. Die Branchenverteilung dieser Einträge unterscheidet sich von der Gesamttabelle. Ein aufgeführter Pfad belegt weder den Zugriff auf die Datei noch, dass sie sich darstellen lässt.
Eine Testumgebung nutzen, wenn Handlungen den Zustand ändern
Wenn der Agent Datensätze bearbeitet, Software bedient oder mit mehreren Werkzeugen arbeitet, braucht er einen Ort, an dem er diese Handlungen ausführen kann. In einer reproduzierbaren Testumgebung können Sie den Ausgangszustand wiederherstellen und das Ergebnis nach einem Durchlauf prüfen.
OpenEnv ist ein offenes Framework für isolierte Agentenumgebungen. Wählen Sie das Framework erst, nachdem Sie die Aufgabe, die sichtbaren Informationen, die möglichen Handlungen und die Erfolgskriterien festgelegt haben.
Wie sich die angegebenen Ressourcen je nach Aufgabe unterscheiden können, zeigen die Ressourceneinstellungen für 66 Aufgaben in Terminal-Bench.
Ein Briefing für Ihre erste Evaluierung
Beschreiben Sie den Arbeitsablauf, eine repräsentative Aufgabe und woran ein erfolgreiches Ergebnis erkennbar ist. Geben Sie die verwendeten Werkzeuge, die verfügbaren Informationen und Fehler an, die eine Freigabeentscheidung beeinflussen würden. Wenn Sie schon Beispiele haben, beschreiben Sie ihre Herkunft und Abdeckung.
In einem klar abgegrenzten Projekt können Sie daraufhin den Aufgabensatz, die Anforderungen an die Umgebung, das Bewertungsverfahren und die Ergebnisprüfung festlegen. Wenn die Beispiele selbst fehlen, beginnen Sie mit der Datenbeschaffung.