Hoppa till huvudinnehållet

Meny

Utvärdera en AI-agent utifrån arbetet den ska utföra

Språk: Svenska

Ta med en representativ uppgift och det resultat som din agent ska uppnå. Vi kan avgränsa ett test med tydliga kontroller och en rapport över godkända, underkända och obedömda körningar. Beskriv ditt projekt för sapien1

En utvärdering av en AI-agent prövar om agenten kan slutföra en uppgift med den information, de verktyg och de begränsningar som den möter i praktiken. Bestäm vilket resultat som förväntas, kontrollera vad som ändrades och granska stegen som ledde till resultatet.

sapien1 hjälper team att avgränsa uppgiftsuppsättningar, bedöma utvärderingsdata och utveckla miljöer för att testa agenter. Börja med ett arbetsflöde och det beslut som utvärderingen ska ge underlag för.

Gör ett arbetsflöde till en testbar uppgift

En uppgift behöver ett starttillstånd, en begäran och observerbara kriterier för att lyckas. Agentens slutmeddelande är en del av underlaget. Filerna eller posterna som blir resultatet, eller verktygens tillstånd, kan också visa om arbetet blev utfört.

Anthropics guide till agentutvärdering skiljer mellan uppgiften, varje försök, bedömarna, körningsloggen och utfallet i miljön. Det hjälper dig att avgöra om ett fel uppstod hos agenten, i testet eller i miljön.

Anta till exempel att en kundtjänstagent ombeds ändra en leveransadress. Testet kan ge agenten en orderpost, kundens begäran och den regel som gäller. Kontrollerna bör spegla den faktiska uppgiften:

Del av uppgiftenExempel på kontroll
Identifiera ordernAgenten väljer den order som anges i begäran
Tillämpa regelnBeslutet följer de givna reglerna och tar hänsyn till orderns status
Gör ändringenOm ändringen är tillåten visas den begärda adressen i orderposten. Annars förblir adressen oförändrad.
Bevara övriga uppgifterArtiklar, antal och poster som inte berörs förblir oförändrade
Förklara resultatetSvaret beskriver korrekt vilken åtgärd som vidtogs eller vilka uppgifter som fortfarande behövs

Den här uppgiftsbeskrivningen är ett exempel. Era egna regler och ert arbetsflöde avgör vilka kontroller som behövs.

Kontrollera behörigheten och det slutliga tillståndet

Anta att en användare ger agenten tillåtelse att ändra adressen för order A från 1 Example Lane till 2 Example Lane. Order B har från början adressen 3 Example Lane och omfattas inte av begäran. Den fiktiva, förberedda körningsloggen visar vad en simulerad behörighetskontroll skulle kunna registrera:

Agentens begäran till verktygetBehörighetsbeslutRegistrerat utfall
Order A: ändra adressen till 2 Example LaneTillåtenÄndringen genomfördes
Order B: ändra adressen till 4 Example LaneNekadÄndringen blockerades

Loggen visar både den tillåtna begäran och begäran som låg utanför behörigheten. En tillståndskontroll visar i exemplet att order A har adressen 2 Example Lane och att order B fortfarande har adressen 3 Example Lane. En nekad begäran och en genomförd ändring är olika utfall. Spara behörighetsbeslutet och det slutliga tillståndet tillsammans med agentens svar.

Anthropics guide till agentutvärdering skiljer körningsloggen för ett försök från tillståndet det lämnar efter sig. AWS vägledning om behörighet för verktyg beskriver hur man kan kontrollera agentens begäranden till verktyg och granska beslut om att tillåta eller neka dem. Den fiktiva loggen illustrerar en kontroll och visar inte att ett system är säkert.

Bygg ett test utifrån ett avslutat ärende

Anta att en separat fiktiv kundtjänsthistorik visar följande. Klockan 10:00 ber den verifierade ägaren till order A att orderadressen ändras från 1 Example Lane till 2 Example Lane. Ordern förbereds fortfarande för att skickas. Den då gällande regeln är att en verifierad ägares begärda adressändring ska göras innan ordern skickas. Klockan 10:05 dokumenterar en kundtjänstanteckning att adressen ändrades.

För att testa beslutet klockan 10:00 ger du agenten begäran, orderns ursprungliga tillstånd och den då gällande regeln. Starta testverktygen från det tillståndet. Låt ordern vara under förberedelse medan agenten agerar. Gör anteckningen från 10:05 tillgänglig för granskaren och håll den utanför både agentens inledande instruktion och de poster som dess verktyg kan nå i testet. Annars kan agenten se det färdiga utfallet innan det är dags att agera.

Regeln som gällde klockan 10:00 ger granskaren det förväntade resultatet. Order A slutar på 2 Example Lane. Kräv även att poster som inte berörs förblir oförändrade i testet. Anteckningen från 10:05 dokumenterar utfallet. Använd regeln för att bedöma om åtgärden var korrekt. Om du inte kan fastställa regeln eller tillståndet före åtgärden, lägg ärendet åt sidan för granskning. Kontrollera att du har tillstånd innan du använder riktiga poster och hantera känsliga fält på lämpligt sätt.

Inspects guide till datamängder skiljer mellan det underlag som modellen får och ett referensutfall som kan användas för bedömning. Den förklarar också att exempelfiler kan kopieras till en isolerad testmiljö. Kontrollera instruktioner, hämtat material, verktygssvar och filer i testmiljön efter information som bara granskaren ska se. Gör kontrollerna även när datamängden har ett separat referensutfall för bedömningen.

Välj underlag som passar beslutet

Använd direkta kontroller när resultatet går att observera, till exempel ett ändrat fält, en beräkning, en skapad fil eller ett godkänt test. Använd skriftliga bedömningskriterier när en människa behöver tolka resultatet, till exempel för att avgöra om en förklaring är tydlig eller om ett svar underbygger sin slutsats.

En automatiserad bedömare kan hjälpa till att granska många resultat. Jämför dess beslut med människors bedömningar av representativa exempel innan du förlitar dig på poängen. Dokumentera avvikelser för att kunna förbättra kriterierna eller bedömaren.

Kontrollera om en modell använder texten

Dokumentera uppgiftens indata, verktyg, agentkonfiguration och resultat. Upprepa försök när variationen mellan körningar spelar roll för beslutet. Granska försök som misslyckades och de som lyckades oväntat. Höga poäng kan spegla god prestanda eller dölja ett svagt test. Anthropics guide tar upp dessa överväganden om bedömare och försöksupplägg.

Kontrollera ärende-ID:n före poängsättning

När du bygger ett fall av tidigare poster, behåll ärende-ID:t i både det förväntade resultatet och testresultatet. Innan du poängsätter ett resultat per ärende, kontrollera de två filerna mot listan över förväntade ID:n. Varje förväntat ID ska finnas exakt en gång i vardera filen. Åtgärda problem med saknade, dubbla eller oväntade ID:n. Registrera också ett försöks-ID när du upprepar körningar.

Anta att du förväntar dig ärendena A och B. Båda filerna innehåller A och en rad utan ID. Det förväntade resultatet och testresultatet för A skiljer sig. De två raderna utan ID har samma etikett. En sammanfogning i pandas kan para ihop de saknade nycklarna även om kontrollen av en-till-en-förhållandet godkänns. De sammanfogade raderna ger en överensstämmelse av två par. Bara A matchar ett förväntat ID. Den identifierade delmängden har noll överensstämmelser för ett ärende och täcker ett av två förväntade ärenden. Utan ID:n går det inte att veta om någon av de två raderna hör till B. Därför går det inte att fastställa poängen för båda de förväntade ärendena. Om du medvetet bedömer en delmängd, redovisa täckningen tillsammans med poängen.

Jämför benchmarkresultat

Tolka upprepade försök utifrån beslutet

Anta att ett team testar två uppgifter tre gånger vardera och återställer uppgiftens starttillstånd före varje försök. Kontrollerna ger följande fiktiva resultat:

UppgiftFörsta försöketAndra försöketTredje försöket
ALyckadesMisslyckadesLyckades
BLyckadesLyckadesMisslyckades

Fyra av sex försök klarade kontrollen. Båda uppgifterna lyckades minst en gång, men ingen lyckades alla tre gångerna. Sammanfattningarna besvarar olika frågor. Ett korrekt resultat någon gång kan vara relevant när systemet tillförlitligt kan kontrollera och välja bland flera möjliga resultat. Upprepad framgång spelar roll när varje försök måste fungera på egen hand. Ett lyckat försök gör inte de övriga försöken säkra eller korrekta.

Anta nu att ett sjunde försök avbryts före bedömningen på grund av ett bekräftat externt avbrott i den isolerade testmiljön. Fyra av sex bedömda försök lyckades. Fyra av samtliga sju försök gav bekräftade lyckade resultat. Det obedömda försöket är varken ett bekräftat lyckat resultat eller ett bekräftat agentfel. Den första kvoten sammanfattar de bedömda försöken. Den andra visar antalet bekräftade lyckade resultat bland alla försök. Vikter för uppgifterna eller mätvärdets inställningar kan ändra det rapporterade resultatet.

Siffrorna beskriver endast de fiktiva kontrollerna ovan och fastställer ingen andel lyckade försök i produktion. Notera antalet uppgifter, antal försök per uppgift, kontrollerna och försök som ogiltigförklarats på grund av infrastrukturproblem, exempelvis avbrott i den isolerade testmiljön. Redovisa ogiltiga försök separat från agentfel och ange vilka försök varje sammanfattning innehåller. Att upprepa en uppgift visar variationen för just den uppgiften. Testa också ett bredare urval av situationer. Anthropics guide till agentutvärdering beskriver hur mått för minst ett lyckat försök och för konsekvent framgång stöder olika beslut.

Uppgiftstäckningen kan ändras före poängsättningen. I vår analys av referenstäckningen i GDPval anger 185 av 220 offentliga uppgiftsrader minst en sökväg till en leverans som en expert har tagit fram. Branschfördelningen i dessa rader skiljer sig från hela tabellens. En angiven sökväg visar varken att filen är åtkomlig eller att den går att visa.

Använd en testmiljö när åtgärder förändrar tillståndet

Om agenten ändrar poster, använder programvara eller arbetar med flera verktyg behöver den en plats att utföra åtgärderna på. En reproducerbar testmiljö gör det möjligt att återställa starttillståndet och granska resultatet efter en körning.

OpenEnv är ett öppet ramverk för isolerade agentmiljöer. Välj ramverk efter att du har definierat uppgiften, vad agenten kan se och göra och hur resultatet ska kontrolleras.

Hur deklarerade resurser skiljer sig mellan uppgifter visas i resursinställningarna för 66 Terminal-Bench-uppgifter.

Ett underlag för din första utvärdering

Beskriv arbetsflödet, en representativ uppgift och hur ett lyckat resultat ser ut. Ange vilka verktyg agenten använder, vilken information den får och vilka fel som skulle ändra ett beslut om lansering. Beskriv gärna källa och täckning för eventuella befintliga exempel.

Ett avgränsat projekt kan sedan fastställa uppgiftsuppsättningen, kraven på miljön, bedömningsmetoden och hur resultaten ska granskas. Om själva exemplen saknas, börja med att hitta och samla in data.

Mejla oss om agentutvärdering