Evaluer en KI-agent på arbeidet den skal gjøre
Sidespråk: Norsk bokmål
Ta med en representativ oppgave og resultatet agenten skal oppnå. Vi kan avgrense en test med konkrete kontrollpunkter og en rapport over beståtte, ikke beståtte og ikke vurderte kjøringer. Beskriv prosjektet ditt for sapien1
Evaluering av en KI-agent undersøker om agenten kan fullføre en oppgave med den informasjonen, de verktøyene og de begrensningene den møter i praksis. Definer det forventede utfallet, sjekk hva som endret seg, og undersøk stegene som førte til resultatet.
sapien1 hjelper team med å avgrense oppgavesett, vurdere evalueringsdata og utvikle miljøer for å teste agenter. Begynn med én arbeidsflyt og avgjørelsen evalueringen skal gi grunnlag for.
Gjør en arbeidsflyt om til en oppgave som kan testes
En oppgave trenger en starttilstand, en forespørsel og observerbare kriterier for å lykkes. Agentens avsluttende melding er en del av grunnlaget. Filer, poster eller tilstanden til verktøyene etter kjøringen kan også vise om arbeidet ble gjort.
Anthropics veiledning for evaluering av agenter skiller mellom oppgaven, hvert forsøk, vurdererne, kjøringsloggen og utfallet i miljøet. Det gjør det lettere å avgjøre om en feil kom fra agenten, testen eller miljøet.
Tenk deg for eksempel at en kundeserviceagent blir bedt om å endre en leveringsadresse. Testen kan gi agenten en ordrepost, kundens forespørsel og regelen som gjelder. Kontrollene bør gjenspeile den faktiske oppgaven:
| Del av oppgaven | Eksempel på kontroll |
|---|---|
| Finn ordren | Agenten velger ordren som er angitt i forespørselen |
| Bruk regelen | Avgjørelsen stemmer med de oppgitte reglene og ordrestatusen |
| Gjennomfør endringen | Hvis endringen er tillatt, står den ønskede adressen i ordreposten. Ellers forblir adressen uendret. |
| Behold andre opplysninger | Varer, antall og poster som ikke er berørt, forblir uendret |
| Forklar utfallet | Svaret beskriver presist handlingen som ble utført, eller informasjonen som fortsatt trengs |
Denne oppgavebeskrivelsen er et eksempel. Egne regler og arbeidsflyt avgjør hvilke kontroller du trenger.
Kontroller tillatelsen og tilstanden etterpå
Anta at en bruker gir agenten tillatelse til å endre adressen for ordre A fra 1 Example Lane til 2 Example Lane. Ordre B har opprinnelig adressen 3 Example Lane og er ikke omfattet av forespørselen. Følgende fiktive logg er laget på forhånd og viser hva en simulert tillatelseskontroll kan registrere:
| Agentens forespørsel til verktøyet | Avgjørelse om tillatelse | Registrert utfall |
|---|---|---|
| Ordre A: endre adressen til 2 Example Lane | Tillatt | Endringen ble utført |
| Ordre B: endre adressen til 4 Example Lane | Avslått | Endringen ble blokkert |
Loggen viser både den tillatte forespørselen og forespørselen utenfor det tillatte omfanget. En kontroll av tilstanden i eksempelet viser at ordre A har adresse 2 Example Lane, mens ordre B fortsatt har adresse 3 Example Lane. En avslått forespørsel og en gjennomført endring er forskjellige utfall. Ta vare på avgjørelsen om tillatelse og sluttilstanden sammen med agentens svar.
Anthropics veiledning for evaluering av agenter skiller kjøringsloggen for et forsøk fra tilstanden forsøket fører til. AWS' veiledning om tillatelser for verktøy beskriver hvordan du kan kontrollere agentens forespørsler til verktøy og gjennomgå avgjørelser om å tillate eller avslå dem. Den fiktive loggen illustrerer én kontroll og dokumenterer ikke at systemet er sikkert.
Lag en test fra en avsluttet sak
Anta at en annen fiktiv kundeservicehistorikk viser følgende hendelser. Klokken 10:00 ber den verifiserte eieren av ordre A om å endre ordreadressen fra 1 Example Lane til 2 Example Lane. Ordren klargjøres fortsatt for utsending. Regelen som gjelder, sier at adresseendringen en verifisert eier ber om, skal gjøres før ordren sendes. Klokken 10:05 registrerer et kundeservicenotat at adressen ble endret.
For å teste avgjørelsen klokken 10:00 gir du agenten forespørselen, ordrens opprinnelige tilstand og regelen som gjaldt da. Start testverktøyene fra denne tilstanden. La ordren fortsatt være under klargjøring mens agenten handler. Gjør notatet fra 10:05 tilgjengelig for den som vurderer testen, og utelat det fra agentens innledende instruksjoner og postene verktøyene kan få tilgang til under testen. Ellers kan agenten se det ferdige utfallet før den skal handle.
Regelen som gjaldt klokken 10:00 gir den som vurderer testen, det forventede utfallet. Sluttadressen for ordre A er 2 Example Lane. Krev også at poster som ikke er berørt, forblir uendret. Notatet fra 10:05 dokumenterer utfallet. Bruk regelen til å vurdere om handlingen var riktig. Hvis du ikke kan fastslå gjeldende regel eller tilstanden før handlingen, legg saken til side for gjennomgang. Bekreft at du har tillatelse før du bruker virkelige poster, og håndter sensitive felt på en egnet måte.
Inspects veiledning for datasett skiller mellom inndata som gis til modellen og et referanseresultat som kan brukes i vurderingen. Den forklarer også at eksempelfiler kan kopieres inn i et isolert testmiljø. Kontroller instruksjoner, hentet materiale, verktøysvar og filer i testmiljøet for opplysninger som bare den som vurderer testen, skal se. Gjør kontrollene også når datasettet har et eget referanseresultat for vurderingen.
Velg underlag som passer avgjørelsen
Bruk direkte kontroller når resultatet kan observeres, for eksempel et endret felt, en beregning, en opprettet fil eller en bestått test. Bruk skriftlige vurderingskriterier når menneskelig skjønn trengs, for eksempel for å avgjøre om en forklaring er tydelig eller om et forskningssvar underbygger konklusjonen.
En automatisk vurderer kan hjelpe med å gå gjennom mange resultater. Sammenlign avgjørelsene med menneskelige vurderinger av representative eksempler før du baserer deg på poengsummene. Dokumenter uenigheter for å forbedre kriteriene eller vurdereren.
Sjekk om en modell bruker teksten
Registrer oppgavens inndata, verktøyene, agentens oppsett og resultatene. Gjenta forsøk når forskjeller mellom kjøringer har betydning for avgjørelsen. Undersøk mislykkede og uventet vellykkede kjøringer. En høy poengsum kan både gjenspeile gode prestasjoner og skjule en svak test. Anthropics veiledning omtaler disse hensynene ved valg av vurderere og planlegging av forsøk.
Kontroller saks-ID-ene før poengberegningen
Når du lager en sak av tidligere poster, ta vare på saks-ID-en i både det forventede resultatet og testresultatet. Før du vurderer ett resultat per sak, sammenlign begge filene med listen over forventede ID-er. Hver forventet ID skal stå nøyaktig én gang i hver fil. Løs problemer med manglende, dupliserte eller uventede ID-er. Registrer også en forsøks-ID ved gjentatte kjøringer.
Anta at du forventer sakene A og B. Begge filene inneholder A og en rad uten ID. Det forventede resultatet og testresultatet for A er forskjellige. De to radene uten ID har samme etikett. En sammenkobling i pandas kan koble sammen de manglende nøklene selv om kontrollen av en-til-en-forholdet går gjennom. Opptelling av de sammenkoblede radene gir ett samsvar blant to par. Bare A samsvarer med en forventet ID. Det identifiserte delsettet har null samsvar i én sak og dekker én av to forventede saker. Uten ID-ene er det ukjent om en av radene tilhører B. Derfor kan poengsummen for begge forventede saker ikke fastslås. Hvis du bevisst vurderer et delsett, oppgi dekningen sammen med poengsummen.
Sammenlign referansetestresultater
Tolk gjentatte forsøk ut fra avgjørelsen du skal ta
Anta at et team tester to oppgaver tre ganger hver og gjenoppretter starttilstanden før hvert forsøk. Kontrollene gir disse fiktive resultatene:
| Oppgave | Første forsøk | Andre forsøk | Tredje forsøk |
|---|---|---|---|
| A | Bestått | Ikke bestått | Bestått |
| B | Bestått | Bestått | Ikke bestått |
Fire av de seks forsøkene besto. Begge oppgavene besto minst én gang, men ingen besto alle tre gangene. Oppsummeringene svarer på forskjellige spørsmål. Et riktig resultat av og til kan være relevant når systemet pålitelig kan kontrollere flere mulige resultater og velge blant dem. Gjentatt suksess er viktig når hvert forsøk må fungere på egen hånd. Ett bestått forsøk gjør ikke de andre forsøkene sikre eller korrekte.
Anta nå at et sjuende forsøk stopper før vurdering på grunn av et bekreftet eksternt avbrudd i det isolerte testmiljøet. Fire av de seks vurderte forsøkene besto. Totalt ble fire av sju forsøk bekreftet bestått. Forsøket som ikke ble vurdert, er verken et bekreftet bestått forsøk eller en bekreftet feil hos agenten. Det første forholdstallet oppsummerer de vurderte forsøkene. Det andre viser de bekreftede beståtte forsøkene blant alle forsøk. Oppgavevektingen eller innstillingene for måltallet kan endre det rapporterte resultatet.
Tallene beskriver bare de fiktive kontrollene ovenfor og fastslår ingen suksessrate i produksjon. Registrer antall oppgaver, antall forsøk per oppgave, kontrollene som ble brukt og forsøk som ble ugyldige på grunn av infrastrukturproblemer, for eksempel avbrudd i testmiljøet. Rapporter ugyldige forsøk separat fra agentfeil og oppgi hvilke forsøk hver oppsummering omfatter. Å gjenta én oppgave synliggjør variasjonen for oppgaven. Test også et bredere utvalg situasjoner. Anthropics veiledning for evaluering av agenter beskriver hvordan mål for minst ett vellykket forsøk og jevn suksess støtter forskjellige avgjørelser.
Oppgavedekningen kan endre seg før poengberegningen. I vår analyse av referansedekning i GDPval oppgir 185 av de 220 offentlige oppgaveradene minst én sti til en leveranse laget av en ekspert. Sektorfordelingen i radene skiller seg fra fordelingen i hele tabellen. En oppgitt sti viser verken at filen er tilgjengelig eller at den kan vises.
Bruk et testmiljø når handlinger endrer tilstanden
Hvis agenten endrer poster, bruker programvare eller jobber med flere verktøy, trenger den et sted å gjøre det. I et reproduserbart testmiljø kan du gjenopprette starttilstanden og undersøke resultatet etter en kjøring.
OpenEnv er et åpent rammeverk for isolerte agentmiljøer. Velg rammeverk etter å ha definert oppgaven, hva agenten kan se og gjøre, og hvordan du kontrollerer at den lykkes.
Hvis du vil se hvordan deklarerte ressurser varierer mellom oppgaver, kan du se ressursinnstillingene for 66 Terminal-Bench-oppgaver.
Et oppsett for den første evalueringen
Beskriv arbeidsflyten, en representativ oppgave og hvordan et vellykket resultat ser ut. Oppgi hvilke verktøy agenten bruker, hvilken informasjon den får og hvilke feil som ville endre en beslutning om lansering. Hvis du allerede har eksempler, beskriv kilden og hva de dekker.
Et avgrenset prosjekt kan deretter fastsette oppgavesettet, kravene til miljøet, vurderingsmetoden og gjennomgangen av resultatene. Hvis selve eksemplene mangler, begynn med å finne og samle inn data.