Oceń agenta AI na podstawie pracy, którą ma wykonywać
Język strony: Polski
Przedstaw reprezentatywne zadanie i wynik, który ma osiągnąć Twój agent. Możemy określić zakres testu z jednoznacznymi kryteriami kontroli oraz raportem z przebiegów zakończonych pomyślnie, nieudanych i nieocenionych. Opisz swój projekt zespołowi sapien1
Ocena agenta AI sprawdza, czy potrafi wykonać zadanie przy informacjach, narzędziach i ograniczeniach, z którymi zetknie się w praktyce. Określ oczekiwany wynik, sprawdź, co się zmieniło, i przeanalizuj kroki, które do tego doprowadziły.
sapien1 pomaga zespołom określać zakres zestawów zadań, oceniać dane ewaluacyjne i tworzyć środowiska do testowania agentów. Zacznij od jednego procesu i decyzji, którą ma wspierać ocena.
Przekształć proces w zadanie, które da się przetestować
Zadanie wymaga stanu początkowego, polecenia i obserwowalnych kryteriów sukcesu. Końcowa wiadomość agenta stanowi część dowodów. Utworzone pliki, rekordy lub stan narzędzi również mogą pokazać, czy zadanie zostało wykonane.
Przewodnik Anthropic po ocenie agentów rozróżnia zadanie, poszczególne próby, mechanizmy oceny, zapis wykonania i wynik w środowisku. Pomaga to ustalić, czy przyczyną niepowodzenia był agent, test czy środowisko.
Załóżmy, że agent obsługi klienta ma zmienić adres dostawy. Test może udostępnić mu rekord zamówienia, prośbę klienta i obowiązujące zasady. Kontrole powinny odpowiadać rzeczywistemu zadaniu:
| Część zadania | Przykładowa kontrola |
|---|---|
| Znajdź zamówienie | Agent wybiera zamówienie wskazane w prośbie |
| Zastosuj zasady | Decyzja jest zgodna z podanymi regułami i statusem zamówienia |
| Wprowadź zmianę | Jeżeli zmiana jest dozwolona, wskazany adres pojawia się w rekordzie zamówienia. W pozostałych przypadkach adres się nie zmienia. |
| Zachowaj pozostałe dane | Pozycje, ilości i rekordy niezwiązane z prośbą pozostają bez zmian |
| Wyjaśnij wynik | Odpowiedź poprawnie opisuje wykonane działanie lub informacje, których nadal brakuje |
To przykładowa specyfikacja zadania. Właściwe kontrole wynikają z Twoich zasad i procesu.
Sprawdź uprawnienia i stan po wykonaniu
Załóżmy, że użytkownik zezwala agentowi na zmianę adresu zamówienia A z 1 Example Lane na 2 Example Lane. Zamówienie B ma początkowo adres 3 Example Lane i nie jest objęte prośbą. Poniższy z góry przygotowany, fikcyjny zapis pokazuje, co mogłaby zarejestrować symulowana kontrola uprawnień:
| Żądanie agenta skierowane do narzędzia | Decyzja o uprawnieniu | Zarejestrowany wynik |
|---|---|---|
| Zamówienie A: zmiana adresu na 2 Example Lane | Dozwolone | Zmianę wykonano |
| Zamówienie B: zmiana adresu na 4 Example Lane | Odmowa | Zmianę zablokowano |
Zapis zawiera dozwolone żądanie i żądanie wykraczające poza zakres uprawnienia. Kontrola stanu w tym przykładzie pokazuje adres 2 Example Lane dla zamówienia A i niezmieniony adres 3 Example Lane dla zamówienia B. Odrzucone żądanie i wykonana zmiana są różnymi wynikami. Zachowaj decyzję o uprawnieniu i stan końcowy obok odpowiedzi agenta.
Przewodnik Anthropic po ocenie agentów rozróżnia zapis próby i stan, który po niej powstaje. Wytyczne AWS dotyczące uprawnień do narzędzi omawiają sprawdzanie żądań przekazywanych przez agenta do narzędzi i przegląd decyzji o zezwoleniu lub odmowie. Fikcyjny zapis ilustruje pojedynczą kontrolę i nie dowodzi, że system jest bezpieczny.
Zbuduj test na podstawie zakończonej sprawy
Załóżmy, że odrębna fikcyjna historia obsługi opisuje następujący przebieg. O 10:00 zweryfikowany właściciel zamówienia A prosi o zmianę adresu zamówienia z 1 Example Lane na 2 Example Lane. Zamówienie jest nadal przygotowywane do wysyłki. Obowiązujące zasady przewidują zmianę adresu na prośbę zweryfikowanego właściciela przed wysyłką. O 10:05 notatka obsługi odnotowuje zmianę adresu.
Aby przetestować decyzję z 10:00, przekaż agentowi prośbę, pierwotny stan zamówienia i zasady obowiązujące w tamtym momencie. Uruchom narzędzia testowe z tym stanem początkowym. Zamówienie powinno pozostać w przygotowaniu, gdy agent działa. Udostępnij notatkę z 10:05 osobie oceniającej i wyłącz ją z początkowych instrukcji dla agenta oraz z rekordów dostępnych dla jego narzędzi w tym teście. W przeciwnym wypadku agent może zobaczyć gotowy wynik jeszcze przed otrzymaniem polecenia wykonania zadania.
Zasady obowiązujące o 10:00 pozwalają osobie oceniającej ustalić oczekiwany wynik. Zamówienie A ma po zakończeniu adres 2 Example Lane. Wymagaj również, aby rekordy niezwiązane z prośbą pozostały bez zmian. Notatka z 10:05 odnotowuje wynik. Oceń prawidłowość działania na podstawie zasad. Jeśli nie możesz ustalić obowiązujących zasad lub stanu sprzed działania, odłóż sprawę do przeglądu. Przed użyciem prawdziwych rekordów potwierdź zgodę na ich wykorzystanie i odpowiednio zabezpiecz pola z danymi wrażliwymi.
Przewodnik Inspect po zestawach danych odróżnia dane wejściowe modelu od wyniku referencyjnego, którego można użyć do oceny. Wyjaśnia też, że pliki przykładów można kopiować do odizolowanego środowiska. Sprawdź instrukcje, pobrane materiały, odpowiedzi narzędzi i pliki w takim środowisku pod kątem informacji przeznaczonych wyłącznie dla osoby oceniającej. Zrób to także wtedy, gdy zestaw danych zawiera osobny wynik referencyjny.
Wybierz dowody odpowiednie do decyzji
Stosuj bezpośrednie kontrole, gdy wynik można zaobserwować, na przykład w zmienionym polu, obliczeniu, wygenerowanym pliku lub zaliczonym teście. Posługuj się zapisanymi kryteriami, gdy potrzebna jest ludzka interpretacja, na przykład przy ocenie zrozumiałości wyjaśnienia lub tego, czy odpowiedź badawcza uzasadnia swój wniosek.
Automatyczny mechanizm oceny może ułatwić przegląd dużej liczby wyników. Porównaj jego decyzje z oceną ludzi na reprezentatywnych przykładach, zanim oprzesz się na przyznawanych punktach. Dokumentuj rozbieżności, aby poprawić kryteria lub mechanizm oceny.
Sprawdź, czy model korzysta z fragmentu
Zapisz dane wejściowe zadania, użyte narzędzia, konfigurację agenta i wyniki. Powtarzaj próby, gdy różnice między uruchomieniami wpływają na decyzję. Analizuj nieudane i niespodziewanie udane próby. Wysoki wynik może oznaczać dobrą jakość wykonania albo maskować zbyt słaby test. Przewodnik Anthropic omawia te zagadnienia dotyczące mechanizmów oceny i projektowania prób.
Sprawdź identyfikatory spraw przed obliczeniem wyniku
Jeśli budujesz sprawę na podstawie wcześniejszych rekordów, zachowaj jej identyfikator w oczekiwanym wyniku i wyniku testu. Zanim ocenisz po jednym wyniku na sprawę, sprawdź oba pliki względem listy oczekiwanych identyfikatorów. Każdy oczekiwany identyfikator powinien wystąpić dokładnie raz w każdym pliku. Rozwiąż przypadki brakujących, powielonych lub nieoczekiwanych identyfikatorów. Przy powtarzanych uruchomieniach zapisuj także identyfikator próby.
Załóżmy, że oczekujesz spraw A i B. Oba pliki zawierają A oraz wiersz bez identyfikatora. Oczekiwany wynik dla A różni się od wyniku testu. Dwa wiersze bez identyfikatora mają tę samą etykietę. Łączenie danych w pandas może zestawić te brakujące klucze, nawet jeśli kontrola relacji jeden do jednego zakończy się pomyślnie. W połączonych wierszach widać jedną zgodność na dwie pary. Tylko A odpowiada oczekiwanemu identyfikatorowi. Zidentyfikowany podzbiór zawiera zero zgodności w jednej sprawie i obejmuje jedną z dwóch oczekiwanych spraw. Z powodu brakujących identyfikatorów nie wiadomo, czy którykolwiek z tych wierszy należy do B. Wyniku dla obu oczekiwanych spraw nie można więc ustalić. Jeśli celowo oceniasz podzbiór, podaj jego pokrycie razem z wynikiem.
Porównywanie wyników benchmarków
Interpretuj powtarzane próby z uwzględnieniem decyzji
Załóżmy, że zespół testuje dwa zadania po trzy razy i przed każdą próbą przywraca stan początkowy zadania. Kontrole dają następujące fikcyjne wyniki:
| Zadanie | Pierwsza próba | Druga próba | Trzecia próba |
|---|---|---|---|
| A | Sukces | Niepowodzenie | Sukces |
| B | Sukces | Sukces | Niepowodzenie |
Cztery z sześciu prób zakończyły się sukcesem. Oba zadania zakończyły się sukcesem co najmniej raz, ale żadne we wszystkich trzech próbach. Te podsumowania odpowiadają na różne pytania. Sporadyczny poprawny wynik może mieć znaczenie, jeżeli system umie wiarygodnie sprawdzić kilka możliwych odpowiedzi i wybrać właściwą. Powtarzalny sukces liczy się, gdy każda próba musi zadziałać samodzielnie. Jedna udana próba nie oznacza, że pozostałe są bezpieczne lub poprawne.
Załóżmy teraz, że siódma próba kończy się przed oceną z powodu potwierdzonej zewnętrznej awarii odizolowanego środowiska. Cztery z sześciu ocenionych prób zakończyły się sukcesem. We wszystkich siedmiu próbach odnotowano cztery potwierdzone sukcesy. Nieoceniona próba nie jest ani potwierdzonym sukcesem, ani potwierdzonym niepowodzeniem agenta. Pierwsza proporcja opisuje ocenione próby. Druga pokazuje potwierdzone sukcesy wśród wszystkich prób. Wagi zadań lub ustawienia miary mogą zmienić raportowany wynik.
Te liczby opisują wyłącznie powyższe fikcyjne kontrole i nie określają wskaźnika sukcesu w środowisku produkcyjnym. Zapisuj liczbę zadań, liczbę prób na zadanie, stosowane kontrole i próby unieważnione przez problemy infrastrukturalne, takie jak awaria odizolowanego środowiska. Raportuj próby unieważnione oddzielnie od niepowodzeń agenta i podaj, które próby obejmuje każde podsumowanie. Powtarzanie jednego zadania ujawnia różnice między jego wykonaniami. Testuj też szerszy zakres sytuacji. Przewodnik Anthropic po ocenie agentów opisuje, jak miary co najmniej jednego sukcesu i powtarzalnego sukcesu pomagają w różnych decyzjach.
Pokrycie zadań może się zmienić jeszcze przed obliczeniem wyniku. W naszej analizie pokrycia materiałów referencyjnych GDPval 185 z 220 publicznych wierszy z zadaniami wymienia co najmniej jedną ścieżkę do pliku z rezultatem pracy eksperta. Rozkład sektorów w tych wierszach różni się od rozkładu w całej tabeli. Istnienie ścieżki na liście nie dowodzi, że plik jest dostępny ani że można go wyświetlić.
Korzystaj ze środowiska testowego, gdy działania zmieniają stan
Jeżeli agent edytuje rekordy, obsługuje oprogramowanie lub korzysta z kilku narzędzi, potrzebuje miejsca do wykonywania tych działań. Odtwarzalne środowisko testowe pozwala przywrócić stan początkowy i sprawdzić wynik po uruchomieniu.
OpenEnv to otwarty framework do tworzenia odizolowanych środowisk dla agentów. Wybierz framework po określeniu zadania, informacji widocznych dla agenta, dopuszczalnych działań i sposobu sprawdzenia sukcesu.
Aby zobaczyć, jak deklaracje zasobów różnią się między zadaniami, zajrzyj do ustawień zasobów dla 66 zadań Terminal-Bench.
Założenia pierwszej oceny
Opisz proces, reprezentatywne zadanie i kryteria pozwalające rozpoznać sukces. Dodaj narzędzia używane przez agenta, informacje, które otrzymuje, oraz niepowodzenia, które zmieniłyby decyzję o wdrożeniu. Jeśli masz już przykłady, opisz ich pochodzenie i pokrycie.
Projekt o określonym zakresie może następnie doprecyzować zestaw zadań, wymagania środowiska, metodę oceny i przegląd wyników. Jeśli brakuje samych przykładów, zacznij od pozyskiwania danych.