Přeskočit na hlavní obsah

Nabídka

Hodnoťte AI agenta podle práce, kterou má vykonávat

Jazyk stránky: Čeština

Přineste reprezentativní úlohu a popište výsledek, kterého má váš agent dosáhnout. Můžeme vymezit rozsah testu s výslovně stanovenými kontrolami a zprávou o úspěšných, neúspěšných a nehodnocených bězích. Popište svůj projekt společnosti sapien1

Při hodnocení AI agenta zkoumáte, zda dokáže splnit úlohu s informacemi, nástroji a omezeními, s nimiž se setká v praxi. Určete očekávaný výsledek, ověřte, co se změnilo, a prozkoumejte kroky, které k výsledku vedly.

sapien1 pomáhá týmům vymezovat sady úloh, posuzovat hodnoticí data a vyvíjet prostředí pro testování agentů. Začněte jedním pracovním postupem a rozhodnutím, které má hodnocení podpořit.

Převeďte pracovní postup na testovatelnou úlohu

Úloha potřebuje výchozí stav, požadavek a pozorovatelná kritéria úspěchu. Závěrečná zpráva agenta je jedním z důkazů. Zda byla práce dokončena, mohou ukázat i vzniklé soubory, záznamy nebo stav nástrojů.

Průvodce Anthropic hodnocením agentů rozlišuje úlohu, jednotlivé pokusy, hodnoticí mechanismy, záznam průběhu a výsledek v prostředí. Toto rozlišení pomáhá určit, zda selhal agent, test, nebo prostředí.

Představte si například agenta zákaznické podpory, který má změnit dodací adresu. Test mu může předložit záznam objednávky, požadavek zákazníka a příslušná pravidla. Kontroly mají odpovídat skutečné úloze:

Část úlohyPříklad kontroly
Najít objednávkuAgent vybere objednávku uvedenou v požadavku
Použít pravidlaRozhodnutí odpovídá zadaným pravidlům a stavu objednávky
Provést změnuPokud je změna povolena, požadovaná adresa se objeví v záznamu objednávky. Jinak zůstane adresa beze změny.
Zachovat ostatní údajePoložky, množství a nesouvisející záznamy zůstanou beze změny
Vysvětlit výsledekOdpověď přesně popisuje provedenou akci nebo údaje, které ještě chybí

Tato specifikace úlohy slouží jako příklad. Vhodné kontroly určí vaše pravidla a pracovní postup.

Ověřte oprávnění a výsledný stav

Předpokládejme, že uživatel agenta oprávní změnit adresu objednávky A z 1 Example Lane na 2 Example Lane. Objednávka B má na začátku adresu 3 Example Lane a požadavek se jí netýká. Následující předem připravený fiktivní záznam ukazuje, co může zaznamenat simulovaná kontrola oprávnění:

Požadavek agenta na nástrojRozhodnutí o oprávněníZaznamenaný výsledek
Objednávka A: změnit adresu na 2 Example LanePovolenoZměna provedena
Objednávka B: změnit adresu na 4 Example LaneZamítnutoZměna zablokována

Záznam obsahuje povolený požadavek i požadavek mimo povolený rozsah. Kontrola stavu v tomto příkladu ukáže, že objednávka A má adresu 2 Example Lane a objednávka B zůstává na adrese 3 Example Lane. Zamítnutí požadavku a provedení změny jsou odlišné výsledky. Rozhodnutí o oprávnění a konečný stav uchovejte spolu s odpovědí agenta.

Průvodce Anthropic hodnocením agentů odlišuje záznam průběhu pokusu od stavu, který po něm vznikl. Doporučení AWS k oprávněním nástrojů popisují kontrolu požadavků agenta na nástroje a posuzování rozhodnutí o povolení nebo zamítnutí. Fiktivní záznam ilustruje jednu kontrolu a nedokládá bezpečnost systému.

Vytvořte test z již vyřešeného případu

Předpokládejme, že jiná fiktivní historie zákaznické podpory obsahuje tento sled událostí. V 10:00 ověřený majitel objednávky A požádá o změnu adresy objednávky z 1 Example Lane na 2 Example Lane. Objednávka se stále připravuje k odeslání. Podle platných pravidel se má změna na žádost ověřeného majitele provést před odesláním. V 10:05 pracovník podpory zaznamená, že adresa byla změněna.

Chcete-li otestovat rozhodnutí v 10:00, poskytněte agentovi požadavek, původní stav objednávky a tehdy platná pravidla. Spusťte testovací nástroje z tohoto stavu. Objednávka má během práce agenta zůstat v přípravě. Zpřístupněte poznámku z 10:05 hodnotiteli a vynechte ji z počátečního zadání pro agenta i ze záznamů dostupných jeho nástrojům v tomto testu. Agent by jinak mohl hotový výsledek vidět ještě před tím, než má jednat.

Pravidla platná v 10:00 určují pro hodnotitele očekávaný výsledek. Konečná adresa objednávky A je 2 Example Lane. V testu také požadujte, aby nesouvisející záznamy zůstaly beze změny. Poznámka z 10:05 popisuje skutečný výsledek. Správnost akce posuďte podle pravidel. Pokud nelze zjistit příslušná pravidla nebo stav před akcí, odložte případ k dalšímu posouzení. Před použitím reálných záznamů si ověřte oprávnění k jejich využití a s citlivými poli nakládejte odpovídajícím způsobem.

Průvodce datovými sadami Inspect rozlišuje vstup předávaný modelu a referenční výsledek použitelný k hodnocení. Vysvětluje také, že soubory příkladu lze kopírovat do izolovaného prostředí. Zkontrolujte zadání, načtený obsah, odpovědi nástrojů a soubory v izolovaném prostředí, zda neobsahují informace určené pouze hodnotiteli. Tyto kontroly proveďte i tehdy, když datová sada obsahuje samostatný referenční výsledek.

Vyberte podklady odpovídající rozhodnutí

Pokud je výsledek přímo pozorovatelný, například změněné pole, výpočet, vytvořený soubor nebo úspěšný test, ověřte jej přímo. Písemná hodnoticí kritéria použijte tam, kde je třeba lidský úsudek, například při posouzení srozumitelnosti vysvětlení nebo toho, zda výzkumná odpověď dokládá svůj závěr.

Automatizovaný hodnotitel může pomoci při hodnocení velkého množství výstupů. Než se na jeho skóre spolehnete, porovnejte jeho rozhodnutí s lidským hodnocením na reprezentativních příkladech. Zaznamenávejte neshody, abyste mohli zlepšit kritéria nebo hodnotitele.

Ověřit, zda model využívá text

Ukládejte vstupy úloh, nástroje, konfiguraci agenta a výsledky. Pokusy opakujte, pokud rozdíly mezi běhy ovlivňují rozhodnutí. Zkoumejte neúspěšná i nečekaně úspěšná provedení. Vysoké skóre může znamenat dobrý výkon nebo zakrývat slabý test. Průvodce Anthropic rozebírá tato hlediska hodnocení a návrhu pokusů.

Před výpočtem skóre zkontrolujte identifikátory případů

Při sestavování případu ze starších záznamů zachovejte jeho identifikátor v očekávaném výsledku i výsledku testu. Než vyhodnotíte jeden výsledek na případ, porovnejte oba soubory se seznamem očekávaných identifikátorů. Každý očekávaný identifikátor má být v každém souboru právě jednou. Vyřešte chybějící, duplicitní nebo neočekávané identifikátory. Při opakovaných bězích uveďte také identifikátor pokusu.

Představte si, že očekáváte případy A a B. Oba soubory obsahují A a jeden řádek bez identifikátoru. Očekávaný výsledek a výsledek testu se u A liší. Oba řádky bez identifikátoru mají stejný štítek. Sloučení v knihovně pandas může chybějící klíče spárovat, i když kontrola vztahu jedna ku jedné projde. Součet ve sloučených řádcích ukáže jednu shodu ze dvou párů. Pouze A má očekávaný identifikátor. Určená podmnožina má nula shod v jednom případě a pokrývá jeden ze dvou očekávaných případů. Bez identifikátorů nevíte, zda některý z obou řádků patří k B, takže skóre za oba očekávané případy zůstává neurčené. Pokud hodnotíte záměrně jen podmnožinu, uveďte spolu se skóre i její pokrytí.

Porovnávání skóre z benchmarků

Vyhodnocujte opakované pokusy podle rozhodnutí

Představte si tým, který prověří dvě úlohy, každou třikrát, a před každým pokusem obnoví výchozí stav úlohy. Kontroly poskytnou tyto fiktivní výsledky:

ÚlohaPrvní pokusDruhý pokusTřetí pokus
AÚspěchNeúspěchÚspěch
BÚspěchÚspěchNeúspěch

Čtyři ze šesti pokusů uspěly. Obě úlohy uspěly alespoň jednou, ale žádná ve všech třech pokusech. Tato shrnutí odpovídají na různé otázky. Občasný správný výsledek může mít význam, pokud systém umí spolehlivě prověřit několik kandidátních výstupů a vybrat z nich. Opakovaný úspěch záleží na tom, zda musí každý pokus fungovat samostatně. Jeden úspěšný pokus nezajišťuje bezpečnost ani správnost ostatních.

Předpokládejme, že sedmý pokus skončí před vyhodnocením kvůli potvrzenému externímu výpadku izolovaného prostředí. Čtyři ze šesti vyhodnocených pokusů uspěly. Ze všech sedmi pokusů jsou potvrzené čtyři úspěchy. Nevyhodnocený pokus není potvrzeným úspěchem ani potvrzeným selháním agenta. První podíl shrnuje vyhodnocené pokusy. Druhý uvádí potvrzené úspěchy ze všech pokusů. Jiné váhy úloh nebo jiné nastavení metriky mohou změnit uváděný výsledek.

Čísla popisují pouze uvedené fiktivní kontroly a neurčují míru úspěchu v provozu. Zaznamenávejte počet úloh, pokusy na úlohu, provedené kontroly a pokusy zneplatněné problémy infrastruktury, například výpadkem izolovaného prostředí. Neplatné pokusy vykazujte odděleně od selhání agenta a uveďte, které pokusy zahrnuje každé shrnutí. Opakování jedné úlohy pomáhá odhalit variabilitu u dané úlohy. Prověřte také širší škálu situací. Průvodce Anthropic hodnocením agentů rozebírá, jak ukazatele alespoň jednoho úspěchu a soustavného úspěchu slouží různým rozhodnutím.

Pokrytí úloh se může změnit ještě před vyhodnocením. V naší analýze pokrytí referenčních výstupů GDPval uvádí 185 z 220 veřejných řádků úloh alespoň jednu cestu k výstupu vytvořenému odborníkem. Odvětvové zastoupení těchto řádků se od celé tabulky liší. Uvedená cesta nedokládá přístup k souboru ani možnost jeho zobrazení.

Při změnách stavu používejte testovací prostředí

Pokud agent upravuje záznamy, obsluhuje software nebo pracuje s několika nástroji, potřebuje prostor, kde tyto akce může provést. Reprodukovatelné testovací prostředí umožňuje obnovit výchozí stav a po běhu zkontrolovat výsledek.

OpenEnv je otevřený framework pro izolovaná prostředí pro agenty. Vyberte framework až poté, co určíte úlohu, co agent uvidí, jaké akce může provést a jak ověříte úspěch.

Příklad rozdílů mezi deklarovanými zdroji úloh najdete v nastavení zdrojů u 66 úloh Terminal-Bench.

Zadání pro první hodnocení

Popište pracovní postup, reprezentativní úlohu a podobu úspěšného výsledku. Přidejte používané nástroje, informace, které agent dostane, a selhání, která by změnila rozhodnutí o nasazení. Pokud už máte příklady, uveďte jejich původ a pokrytí.

Projekt s vymezeným rozsahem pak může určit sadu úloh, požadavky na prostředí, způsob hodnocení a kontrolu výsledků. Pokud vám chybí samotné příklady, začněte získáváním dat.

Napište nám o hodnocení agentů