Gå til hovedindholdet

Menu

Evaluer en AI-agent på det arbejde, den skal udføre

Sprog: Dansk

Medbring en repræsentativ opgave og det resultat, din agent skal opnå. Vi kan afgrænse en test med eksplicitte kontroller og en rapport over beståede og ikke-beståede kørsler samt kørsler, der ikke er vurderet. Beskriv dit projekt for sapien1

En evaluering af en AI-agent undersøger, om agenten kan gennemføre en opgave med de oplysninger, værktøjer og begrænsninger, den møder i praksis. Fastlæg det forventede udfald, kontrollér, hvad der ændrede sig, og undersøg de trin, der førte til udfaldet.

sapien1 hjælper teams med at afgrænse opgavesæt, vurdere evalueringsdata og udvikle miljøer til test af agenter. Start med én arbejdsgang og den beslutning, som evalueringen skal understøtte.

Gør en arbejdsgang til en opgave, der kan testes

En opgave kræver en starttilstand, en anmodning og observerbare succeskriterier. Agentens afsluttende besked er en del af grundlaget. De resulterende filer, poster eller værktøjernes tilstand kan også vise, om arbejdet blev udført.

Anthropics guide til evaluering af agenter skelner mellem opgaven, de enkelte forsøg, bedømmerne, udførelsesloggen og udfaldet i miljøet. Det hjælper med at afgøre, om en fejl opstod hos agenten, i testen eller i miljøet.

Forestil dig en kundeserviceagent, som bliver bedt om at ændre en leveringsadresse. Testen kan give agenten en ordrepost, kundens anmodning og de regler, der gælder. Kontrollerne skal afspejle den faktiske opgave:

Del af opgavenEksempel på kontrol
Find ordrenAgenten vælger den ordre, der er angivet i anmodningen
Anvend reglerneBeslutningen følger de oplyste regler og tager højde for ordrens status
Udfør ændringenNår ændringen er tilladt, står den ønskede adresse i ordreposten. Ellers forbliver adressen uændret.
Bevar øvrige oplysningerVarer, antal og ikke-berørte poster forbliver uændrede
Forklar udfaldetSvaret beskriver præcist den udførte handling eller de oplysninger, der stadig er brug for

Denne opgavebeskrivelse er et eksempel. Dine egne regler og din arbejdsgang afgør, hvilke kontroller der er relevante.

Kontrollér tilladelsen og den efterfølgende tilstand

Antag, at en bruger giver agenten tilladelse til at ændre adressen på ordre A fra 1 Example Lane til 2 Example Lane. Ordre B har oprindeligt adressen 3 Example Lane og er ikke omfattet af anmodningen. Den fiktive, på forhånd udarbejdede log viser, hvad en simuleret kontrol af tilladelser kan registrere:

Agentens anmodning til værktøjetAfgørelse om tilladelseRegistreret udfald
Ordre A: skift adresse til 2 Example LaneTilladtÆndring udført
Ordre B: skift adresse til 4 Example LaneAfvistÆndring blokeret

Loggen viser både den tilladte anmodning og anmodningen uden for det tilladte omfang. En kontrol af tilstanden viser i eksemplet, at ordre A står på 2 Example Lane, mens ordre B stadig står på 3 Example Lane. En afvist anmodning og en udført ændring er forskellige udfald. Gem afgørelsen om tilladelse og sluttilstanden sammen med agentens svar.

Anthropics guide til evaluering af agenter skelner mellem loggen for et forsøg og den tilstand, forsøget efterlader. AWS’ vejledning om tilladelser til værktøjer behandler kontrollen af agentens anmodninger til værktøjer og gennemgangen af beslutninger om tilladelse eller afslag. Den fiktive log viser én kontrol og dokumenterer ikke, at et system er sikkert.

Byg en test ud fra en afsluttet sag

Antag, at en separat, fiktiv kundeservicehistorik viser følgende forløb. Kl. 10:00 beder den verificerede ejer af ordre A om at ændre ordrens adresse fra 1 Example Lane til 2 Example Lane. Ordren er stadig ved at blive gjort klar til afsendelse. Efter de gældende regler skal en adresseændring på anmodning fra den verificerede ejer foretages, før ordren sendes. Kl. 10:05 registrerer en kundeservicenote, at adressen blev ændret.

For at teste beslutningen kl. 10:00 skal du give agenten anmodningen, ordrens oprindelige tilstand og de regler, der gjaldt på tidspunktet. Start testværktøjerne fra den tilstand. Lad ordren forblive under klargøring, mens agenten handler. Giv den person, der gennemgår testen, adgang til noten fra kl. 10:05, og hold den ude af agentens første instruktioner og de poster, agentens værktøjer kan tilgå i testen. Ellers kan agenten se det færdige udfald, før den bliver bedt om at handle.

Reglerne, der gjaldt kl. 10:00, angiver det forventede udfald for den person, der gennemgår testen. Ordre A ender på 2 Example Lane. Kræv også, at poster, der ikke er omfattet af anmodningen, forbliver uændrede. Noten fra kl. 10:05 registrerer udfaldet. Brug reglerne til at vurdere, om handlingen var korrekt. Hvis du ikke kan fastslå de gældende regler eller tilstanden før handlingen, så sæt sagen til side til gennemgang. Få bekræftet tilladelse, før du bruger rigtige poster, og behandl følsomme felter på passende vis.

Inspects guide til datasæt skelner mellem det input, der sendes til en model, og et referenceresultat, der kan bruges til bedømmelse. Den forklarer også, at filer til et eksempel kan kopieres til et isoleret testmiljø. Gennemgå instruktioner, hentet materiale, værktøjssvar og filer i testmiljøet for oplysninger, der kun er tiltænkt den person, der gennemgår testen. Foretag også disse kontroller, når datasættet har et separat referenceresultat til bedømmelse.

Vælg dokumentation, der passer til beslutningen

Brug direkte kontroller, når udfaldet kan observeres, for eksempel et ændret felt, en beregning, en oprettet fil eller en bestået test. Brug skriftlige bedømmelseskriterier, når der er brug for menneskelig fortolkning, for eksempel for at vurdere, om en forklaring er tydelig, eller om et svar underbygger sin konklusion.

En automatisk bedømmer kan hjælpe med at gennemgå mange resultater. Sammenlign dens afgørelser med menneskers vurderinger på repræsentative eksempler, før du bruger dens point. Dokumentér uenigheder for at kunne forbedre kriterierne eller bedømmeren.

Undersøg, om en model bruger teksten

Registrér opgavens input, værktøjerne, agentens konfiguration og resultaterne. Gentag forsøg, når variation mellem kørsler har betydning for beslutningen. Undersøg både mislykkede og uventet vellykkede kørsler. En høj score kan afspejle god præstation eller skjule en svag test. Anthropics guide omtaler disse overvejelser om bedømmere og forsøgsdesign.

Kontrollér sags-id’er før pointberegning

Når du bygger en sag ud fra tidligere poster, skal du bevare sags-id’et i både det forventede resultat og testresultatet. Sammenhold begge filer med listen over forventede id’er, før du bedømmer ét resultat pr. sag. Hvert forventet id skal optræde præcis én gang i hver fil. Løs problemer med manglende, gentagne eller uventede id’er. Registrér også et forsøgs-id for hver gentaget kørsel.

Antag, at du forventer sagerne A og B. Begge filer indeholder A og en række uden id. Det forventede resultat og testresultatet for A er forskellige. De to rækker uden id har samme etiket. En sammenkædning i pandas kan parre rækkerne med manglende nøgler, selv om kontrollen af en-til-en-forholdet består. Optælling af sammenkædede rækker giver én overensstemmelse blandt to par. Kun A matcher et forventet id. Den identificerede delmængde har nul overensstemmelser for én sag og dækker én af to forventede sager. Uden id’er ved man ikke, om en af de to rækker tilhører B. Scoren for begge forventede sager kan derfor ikke fastslås. Hvis du bevidst bedømmer en delmængde, skal du angive dens dækning sammen med scoren.

Sammenlign benchmarkresultater

Fortolk gentagne forsøg ud fra den beslutning, du skal tage

Antag, at et team tester to opgaver tre gange hver og gendanner opgavens starttilstand før hvert forsøg. Kontrollerne giver disse fiktive resultater:

OpgaveFørste forsøgAndet forsøgTredje forsøg
ABeståetIkke beståetBestået
BBeståetBeståetIkke bestået

Fire af seks forsøg bestod. Begge opgaver bestod mindst én gang, men ingen bestod alle tre gange. Opsummeringerne besvarer forskellige spørgsmål. Et korrekt resultat en gang imellem kan være relevant, når systemet pålideligt kan kontrollere flere mulige resultater og vælge mellem dem. Gentagen succes betyder noget, når hvert forsøg skal fungere på egen hånd. Ét bestået forsøg gør ikke de andre forsøg sikre eller korrekte.

Antag nu, at et syvende forsøg stopper før bedømmelse på grund af et bekræftet eksternt nedbrud i det isolerede testmiljø. Fire af de seks bedømte forsøg bestod. Fire af syv forsøg i alt gav bekræftede beståede resultater. Det ubedømte forsøg er hverken en bekræftet succes eller en bekræftet fejl hos agenten. Den første andel opsummerer de bedømte forsøg. Den anden viser de bekræftede beståede forsøg ud af alle forsøg. Opgavernes vægt eller målingens indstillinger kan ændre det rapporterede resultat.

Tallene beskriver kun de fiktive kontroller ovenfor og fastslår ingen succesrate i produktion. Registrér antal opgaver, forsøg pr. opgave, anvendte kontroller og forsøg, der blev ugyldige på grund af infrastrukturproblemer, for eksempel et nedbrud i testmiljøet. Rapportér ugyldige forsøg separat fra agentfejl og angiv, hvilke forsøg hver opsummering omfatter. At gentage én opgave viser variationen for den opgave. Test også et bredere udvalg af situationer. Anthropics guide til evaluering af agenter forklarer, hvordan mål for mindst ét vellykket forsøg og for konsekvent succes understøtter forskellige beslutninger.

Opgavedækningen kan ændre sig før pointberegningen. I vores analyse af referencedækningen i GDPval angiver 185 af 220 offentligt tilgængelige opgaverækker mindst én sti til et arbejdsprodukt, som en ekspert har udarbejdet. Fordelingen på sektorer i disse rækker er anderledes end i hele tabellen. En angivet sti dokumenterer hverken adgang til filen eller muligheden for at vise den.

Brug et testmiljø, når handlinger ændrer tilstanden

Hvis agenten ændrer poster, betjener software eller arbejder på tværs af værktøjer, har den brug for et sted at udføre handlingerne. Et reproducerbart testmiljø gør det muligt at gendanne starttilstanden og undersøge resultatet efter en kørsel.

OpenEnv er en åben ramme til isolerede miljøer for agenter. Vælg først en ramme, efter at du har defineret opgaven, hvad agenten kan se og gøre, og hvordan du kontrollerer, at den lykkes.

Se ressourceindstillingerne for 66 Terminal-Bench-opgaver for et eksempel på, hvordan deklarerede ressourcer kan variere fra opgave til opgave.

Et oplæg til din første evaluering

Beskriv arbejdsgangen, en repræsentativ opgave, og hvordan et vellykket resultat ser ud. Tilføj de værktøjer, agenten bruger, de oplysninger, den modtager, og de fejl, der ville ændre en beslutning om lancering. Hvis du allerede har eksempler, skal du beskrive deres kilde og dækning.

Et afgrænset projekt kan derefter definere opgavesættet, kravene til miljøet, bedømmelsesmetoden og gennemgangen af resultaterne. Hvis selve eksemplerne mangler, så begynd med at finde og indsamle data.

Skriv til os om evaluering af agenter