Vai al contenuto principale

Menu

Valuta un agente IA sui compiti che deve svolgere

Lingua: Italiano

Presenta un compito rappresentativo e il risultato che il tuo agente dovrebbe raggiungere. Possiamo definire un test con verifiche esplicite e un report delle esecuzioni superate, fallite e non valutate. Descrivi il tuo progetto a sapien1

La valutazione di un agente IA verifica se può completare un compito con le informazioni, gli strumenti e i vincoli che incontrerà. Definisci il risultato atteso, verifica che cosa è cambiato ed esamina i passaggi che hanno prodotto il risultato.

sapien1 aiuta i team a delimitare insiemi di compiti, esaminare i dati di valutazione e sviluppare ambienti per testare gli agenti. Parti da un flusso di lavoro e dalla decisione che la valutazione deve aiutarti a prendere.

Trasforma un flusso di lavoro in un compito verificabile

Un compito richiede uno stato iniziale, una richiesta e criteri di successo osservabili. Il messaggio finale dell’agente è una parte delle evidenze. Anche i file prodotti, i record o lo stato degli strumenti possono mostrare se il lavoro è stato completato.

La guida di Anthropic alla valutazione degli agenti distingue il compito, ogni tentativo, i valutatori, la traccia di esecuzione e il risultato nell’ambiente. Queste distinzioni aiutano a capire se un errore dipende dall’agente, dal test o dall’ambiente.

Per esempio, immagina che a un agente di assistenza venga chiesto di cambiare un indirizzo di consegna. Il test può fornirgli il record di un ordine, la richiesta del cliente e la regola applicabile. Le verifiche devono riflettere il compito reale:

Parte del compitoEsempio di verifica
Identificare l’ordineL’agente seleziona l’ordine indicato nella richiesta
Applicare la regolaLa decisione rispetta le regole fornite e lo stato dell’ordine
Eseguire la modificaSe la modifica è consentita, l’indirizzo richiesto compare nel record dell’ordine. Altrimenti l’indirizzo resta invariato.
Preservare gli altri datiArticoli, quantità e record non correlati restano invariati
Spiegare il risultatoLa risposta descrive con precisione l’azione eseguita o le informazioni ancora necessarie

Questa specifica è un esempio. Le verifiche dipendono dalle tue regole e dal tuo flusso di lavoro.

Verifica l’autorizzazione e lo stato risultante

Supponiamo che un utente autorizzi l’agente a cambiare l’indirizzo dell’ordine A da 1 Example Lane a 2 Example Lane. L’ordine B parte da 3 Example Lane ed è fuori dall’ambito della richiesta. La traccia fittizia seguente, preparata in anticipo, illustra ciò che può registrare un controllo simulato delle autorizzazioni:

Richiesta dell’agente allo strumentoDecisione di autorizzazioneRisultato registrato
Ordine A: aggiornare l’indirizzo a 2 Example LaneConsentitaAggiornamento eseguito
Ordine B: aggiornare l’indirizzo a 4 Example LaneNegataAggiornamento bloccato

La traccia registra la richiesta consentita e quella fuori ambito. In questo esempio, una verifica dello stato registra che l’ordine A è a 2 Example Lane e l’ordine B resta a 3 Example Lane. Una richiesta negata e una modifica eseguita sono esiti distinti. Conserva la decisione di autorizzazione e lo stato finale insieme alla risposta dell’agente.

La guida di Anthropic alla valutazione degli agenti distingue la traccia di un tentativo dallo stato prodotto. Le indicazioni di AWS sull’autorizzazione degli strumenti illustrano come verificare le richieste di un agente agli strumenti e controllare le decisioni di autorizzazione o rifiuto. Questa traccia fittizia illustra una verifica e non dimostra che un sistema sia sicuro.

Costruisci un test a partire da un caso concluso

Supponiamo che un altro storico fittizio dell’assistenza riporti questa sequenza. Alle 10:00, il titolare verificato dell’ordine A chiede di cambiare l’indirizzo dell’ordine da 1 Example Lane a 2 Example Lane. L’ordine è ancora in preparazione per la spedizione. La regola in vigore prevede che la modifica richiesta dal titolare verificato venga eseguita prima della spedizione. Alle 10:05, una nota dell’assistenza registra che l’indirizzo è stato cambiato.

Per testare la decisione delle 10:00, fornisci all’agente la richiesta, lo stato originale dell’ordine e la regola in vigore a quell’ora. Avvia gli strumenti di test da quello stato. Mantieni l’ordine in preparazione mentre l’agente agisce. Rendi la nota delle 10:05 disponibile a chi valuta il test ed escludila dalle istruzioni iniziali all’agente e dai record accessibili ai suoi strumenti durante il test. Altrimenti l’agente potrebbe vedere il risultato prima che gli venga chiesto di agire.

La regola in vigore alle 10:00 indica a chi valuta il test il risultato atteso. L’indirizzo finale dell’ordine A è 2 Example Lane. Richiedi anche che i record non correlati restino invariati. La nota delle 10:05 documenta il risultato. Usa la regola per stabilire se l’azione fosse corretta. Se non riesci a determinare la regola applicabile o lo stato precedente all’azione, accantona il caso per esaminarlo. Prima di usare record reali, verifica di essere autorizzato e tratta adeguatamente i campi sensibili.

La guida di Inspect ai set di dati distingue l’input fornito al modello dal risultato di riferimento utilizzabile per la valutazione. Spiega inoltre che i file di esempio possono essere copiati in un ambiente isolato. Controlla le istruzioni, il materiale recuperato, le risposte degli strumenti e i file dell’ambiente isolato per individuare informazioni destinate solo a chi valuta. Esegui queste verifiche anche se il set di dati contiene un risultato di riferimento separato per la valutazione.

Scegli evidenze pertinenti alla decisione

Usa verifiche dirette quando il risultato è osservabile, come un campo modificato, un calcolo, un file generato o un test superato. Usa una griglia di valutazione scritta quando serve un giudizio umano, per esempio per capire se una spiegazione è chiara o se una risposta di ricerca sostiene la propria conclusione.

Un valutatore automatizzato può aiutare a esaminare molti risultati. Confronta le sue decisioni con la valutazione umana su esempi rappresentativi prima di affidarti ai suoi punteggi. Registra i disaccordi per poter migliorare la griglia o il valutatore.

Verificare se un modello usa il brano

Registra gli input del compito, gli strumenti, la configurazione dell’agente e i risultati. Ripeti i tentativi quando le differenze tra esecuzioni contano per la decisione. Esamina le esecuzioni fallite e quelle riuscite in modo inatteso. Un punteggio alto può indicare una buona prestazione oppure celare un test poco esigente. La guida di Anthropic discute questi aspetti della valutazione e della progettazione dei tentativi.

Verifica gli ID dei casi prima di calcolare il punteggio

Quando costruisci un caso da record precedenti, conserva il suo ID nel risultato atteso e in quello del test. Prima di assegnare un punteggio a un risultato per caso, confronta entrambi i file con l’elenco degli ID attesi. Ciascun ID atteso deve comparire una sola volta in ciascun file. Risolvi gli ID mancanti, duplicati o inattesi. Per le esecuzioni ripetute, registra anche un ID per ciascun tentativo.

Supponiamo che tu ti aspetti i casi A e B. Entrambi i file contengono A e una riga senza ID. Il risultato atteso per A e quello del test non coincidono. Le due righe senza ID hanno la stessa etichetta. Un’unione con pandas può abbinare le chiavi mancanti anche quando il controllo di corrispondenza uno a uno ha esito positivo. Contando le righe unite si ottiene una concordanza su due coppie. Solo A corrisponde a un ID atteso. Nel sottoinsieme identificato ci sono zero concordanze su un caso, e la copertura è di uno dei due casi attesi. Senza gli ID non si sa se una delle due righe appartenga a B, quindi il punteggio su entrambi i casi attesi rimane indeterminato. Se scegli di valutare un sottoinsieme, riporta la copertura insieme al punteggio.

Confrontare i punteggi di benchmark

Interpreta i tentativi ripetuti in funzione della decisione

Supponiamo che un team provi due compiti tre volte ciascuno, ripristinando lo stato iniziale del compito prima di ogni tentativo. Le verifiche danno questi risultati fittizi:

CompitoPrimo tentativoSecondo tentativoTerzo tentativo
ASuperatoFallitoSuperato
BSuperatoSuperatoFallito

Quattro dei sei tentativi hanno superato la verifica. Entrambi i compiti sono riusciti almeno una volta, ma nessuno tutte e tre le volte. Le due sintesi rispondono a domande diverse. Un risultato corretto occasionale può essere rilevante se il sistema riesce a verificare più possibili risultati e a sceglierne uno in modo affidabile. Il successo ripetuto conta quando ogni tentativo deve funzionare da solo. Un tentativo riuscito non rende gli altri sicuri o corretti.

Supponiamo ora che un settimo tentativo si interrompa prima di poter essere valutato a causa di un guasto esterno confermato dell’ambiente isolato. Quattro dei sei tentativi valutati hanno superato la verifica. Su sette tentativi totali, quattro successi sono confermati. Il tentativo non valutato non costituisce né un successo confermato né un fallimento confermato dell’agente. La prima proporzione riguarda i tentativi valutati. La seconda mostra i successi confermati sul totale dei tentativi. La ponderazione dei compiti o le impostazioni della metrica possono cambiare il risultato riportato.

Questi numeri descrivono solo le verifiche fittizie mostrate sopra e non dimostrano un tasso di successo in produzione. Registra il numero di compiti, i tentativi per compito, le verifiche usate e i tentativi invalidati da problemi dell’infrastruttura, come un guasto dell’ambiente isolato. Distingui i tentativi invalidati dai fallimenti dell’agente e specifica quali tentativi rientrano in ogni sintesi. Ripetere un compito ne rende visibile la variabilità. Prova anche una gamma più ampia di situazioni. La guida di Anthropic alla valutazione degli agenti spiega in che modo le misure del successo almeno una volta e del successo costante servono a decisioni diverse.

La copertura dei compiti può cambiare prima del calcolo dei punteggi. Nella nostra analisi della copertura dei riferimenti di GDPval, 185 delle 220 righe pubbliche dedicate ai compiti indicano almeno un percorso a un elaborato di un esperto. La distribuzione settoriale di queste righe differisce da quella della tabella completa. La presenza di un percorso non dimostra che il file sia accessibile né che sia possibile visualizzarlo.

Usa un ambiente quando le azioni modificano lo stato

Se l’agente modifica record, usa software o lavora con più strumenti, ha bisogno di un luogo in cui svolgere queste azioni. Un ambiente riproducibile permette di ripristinare lo stato iniziale e verificare il risultato dopo un’esecuzione.

OpenEnv è un framework aperto per ambienti isolati destinati agli agenti. Scegli il framework dopo aver definito il compito, cosa l’agente può vedere e fare e come verificare il successo.

Per un esempio di come possano variare le risorse dichiarate per ciascun compito, vedi le impostazioni delle risorse di 66 compiti di Terminal-Bench.

Una scheda per la tua prima valutazione

Descrivi il flusso di lavoro, un compito rappresentativo e come si riconosce un risultato positivo. Aggiungi gli strumenti usati dall’agente, le informazioni che riceve e i fallimenti che cambierebbero una decisione di rilascio. Se hai già degli esempi, descrivine la provenienza e la copertura.

Un progetto con un ambito definito può poi stabilire l’insieme dei compiti, i requisiti dell’ambiente, il metodo di valutazione e la revisione dei risultati. Se mancano gli esempi, parti dal reperimento dei dati.

Scrivici per parlare di valutazione degli agenti