Vai al contenuto principale

Menu

Valutare un dataset di IA in base al compito da svolgere

Lingua: Italiano

Condividi l’uso previsto, uno schema e una descrizione del campione. Possiamo definire una verifica della copertura, della qualità e delle autorizzazioni, con risultati che spieghino quali usi sono supportati dalle evidenze. Descrivi il tuo progetto a sapien1

Valutare un dataset serve a capire se i dati già disponibili possono sostenere una decisione specifica di addestramento, recupero di informazioni o valutazione. Parti dal compito previsto, poi esamina gli esempi, il loro contesto, le etichette, la copertura e la suddivisione dei dati.

Per esempio, un insieme di test può sembrare completo anche se contiene casi già visti dal modello durante l’addestramento. Questo conta quando il test deve stimare le prestazioni su casi nuovi. Una buona verifica indica che cosa è stato controllato, che cosa occorre correggere e quali conclusioni consentono le evidenze disponibili.

Parti dalla decisione

Metti per iscritto che cosa vuoi fare con il dataset. Gli stessi record possono essere utili per uno scopo e insufficienti per un altro.

Uso previstoUna domanda a cui rispondere
Addestramento o fine-tuningGli esempi e le etichette descrivono il comportamento che il modello deve apprendere?
Valutazione di un modello o di un agenteI risultati attesi sono verificabili? I casi di test sono indipendenti dai dati usati per addestrare o perfezionare il sistema?
Recupero di informazioniIl contenuto è aggiornato, interpretabile e disponibile al sistema quando serve?

Registra la versione del dataset, la fonte, l’intervallo di date, i campi e i vincoli noti. La scheda del dataset può documentare contenuto, contesto e metadati. Confrontala con i file effettivi e con le condizioni d’uso applicabili.

Come esempio di controllo della documentazione, considera il repository lerobot/svla_so101_pickplace alla revisione f641879, esaminata il 17 novembre 2026. La scheda del dataset presenta un esempio di metadati con codebase_version v2.1 e percorsi organizzati per episodio. I metadati effettivi alla stessa revisione riportano codebase_version v3.0 e percorsi di file organizzati in blocchi. La directory dei dati contiene un file con un nome che segue quello schema. Verifica i metadati e i file della revisione che intendi usare prima di affidarti a un percorso copiato dalla scheda. Il confronto lascia aperta la questione della qualità degli esempi e della loro idoneità all’addestramento.

Prima di unire registrazioni di robot, verifica che cosa rappresentano i canali di azione e stato e a quanto tempo corrisponde un numero fisso di passi. FineART e un dataset ALOHA simulato dichiarano entrambi aloha e vettori di azione e stato di 14 elementi di tipo float32. FineART dichiara 30 fotogrammi al secondo e il dataset simulato ne dichiara 50. Se ogni passo avanza di un intervallo tra fotogrammi alla frequenza dichiarata, un orizzonte di 15 passi copre 0,5 secondi in un dataset e 0,3 secondi nell’altro. Verifica le tempistiche registrate e il modo in cui la pipeline seleziona i passi prima di trattare come equivalenti le finestre delle due fonti. Metadati FineART · Metadati ALOHA simulato

Verifica la suddivisione e il contesto con un esempio

Supponiamo che un team voglia usare un dataset etichettato dell’assistenza clienti per decidere se può rilasciare un agente che gestisce conversazioni nuove. Il dataset contiene 120 esempi: 90 per l’addestramento e 30 nell’insieme di test proposto. Ogni esempio dovrebbe comprendere un ID del caso, un ID della conversazione, la versione applicabile della procedura di assistenza e l’azione successiva attesa.

L’esempio è fittizio. Il team esamina i 30 casi di test e li confronta con i dati di addestramento. Ecco che cosa trova.

ControlloRisultatoImplicazioni per la decisione
Casi ripetutiQuattro casi di test sono copie accertate di casi di addestramento.Quei quattro casi sono già presenti nell’insieme di addestramento.
Conversazioni condiviseAltri tre casi di test hanno ID di caso diversi ma appartengono a conversazioni presenti nell’addestramento.Sono ulteriori sovrapposizioni tra gli insiemi in un test pensato per conversazioni nuove.
Contesto della proceduraIn due dei 23 casi di test rimanenti manca il riferimento alla versione della procedura.Il contesto registrato non consente ancora di verificare le azioni attese rispetto alla procedura applicabile.

I primi due controlli segnalano sette casi di test distinti e ne lasciano 23 senza quelle sovrapposizioni. Due dei 23 non hanno il contesto della procedura. Restano quindi 21 casi di test che questi controlli non hanno segnalato. Occorre ancora verificare se le etichette siano corrette, se la copertura sia sufficiente e se 21 casi bastino per decidere sul rilascio.

Il team dovrebbe sospendere l’uso dell’insieme attuale come test indipendente di rilascio per le conversazioni nuove. Isola i casi segnalati per esaminarli e recupera o chiarisci il contesto mancante. Verifica che cosa hanno già visto il modello e il team di sviluppo. Spostare i file non rende inediti i casi già utilizzati. In una nuova suddivisione, mantieni integra ogni conversazione e confronta i casi di test con i dati registrati di addestramento e selezione del modello. Se non puoi verificare la provenienza dei dati di addestramento precedenti, annota il limite. Se i risultati esistenti hanno influito sulla messa a punto, riserva casi nuovi che non sono stati usati in quelle decisioni. Se necessario, ripeti l’addestramento con dati separati.

La guida di Google alla suddivisione dei dataset spiega come i duplicati tra addestramento e test possano far sembrare i risultati migliori delle prestazioni su esempi nuovi. La guida di scikit-learn alla validazione incrociata per gruppi descrive come tenere insieme osservazioni collegate per stimare le prestazioni su gruppi mai visti. Il gruppo pertinente dipende dalla domanda. Può essere una conversazione, un cliente o un documento. Se un test di didascalie deve usare immagini assenti dall’addestramento, tieni insieme tutte le didascalie di ciascuna immagine. Suddividere le righe delle didascalie una per una può far comparire la stessa immagine sia nell’addestramento sia nel test. Per una prova orientata al futuro, usa una suddivisione che rispetti l’ordine temporale per evitare osservazioni successive al periodo di test nei dati di addestramento.

Supponiamo che il team voglia valutare anche conversazioni nuove dopo una data limite. In una nuova suddivisione, la conversazione A ha registrazioni prima e dopo il limite. Il primo caso registrato della conversazione B compare dopo. Una possibilità è escludere A da entrambi gli insiemi e riservare B al test, purché le sue registrazioni non siano già servite all’addestramento o alla selezione del modello. Usa dati precedenti al limite per l’addestramento e controlla che i casi di test non siano stati usati in precedenza. Registra le esclusioni e verifica che i casi rimasti coprano l’uso previsto. Un test separato che rispetta l’ordine temporale può valutare le conversazioni in corso. Se la cronologia è incompleta, può essere impossibile confermare che B sia nuova.

Verifica la suddivisione effettiva prodotta dallo strumento prima di considerare riservata una frazione non specificata. Per esempio, la funzione di ripartizione in frazioni di LeRobot alla revisione 7910c20 assegna tutti i 50 episodi di un insieme fittizio se riceve train: 0.6 seguito da test: 0.2. Assegna 30 episodi all’addestramento e 20 al test, senza lasciarne alcuno fuori. Altri strumenti o versioni possono comportarsi diversamente. Gli insiemi piccoli possono richiedere arrotondamenti o riassegnazioni. Controlla quali episodi appartengono a ogni insieme. Se i gruppi devono restare uniti, scegli e registra elenchi di episodi che li rispettino.

Una nota di ricerca su LeRobot descrive come un processore Diffusion appena inizializzato possa ricevere statistiche di normalizzazione salvate. Confronta questi intervalli con i riepiloghi degli episodi di addestramento in una suddivisione ipotetica con dati riservati. Controlla l’origine e l’ambito delle statistiche caricate dal tuo processore.

Esamina le etichette e la copertura

Per i dati etichettati, confronta un campione delle risposte attese con le istruzioni e le evidenze usate per produrle. Uno specialista del settore può esaminare il contesto mancante, le etichette incoerenti e i casi in cui la risposta corretta è davvero ambigua. Registra i disaccordi e il modo in cui sono stati risolti. L’accordo tra revisori è utile, ma da solo non dimostra che un’etichetta sia corretta. La ricerca sulla gestione della qualità delle annotazioni distingue la revisione, l’accordo e la risoluzione delle divergenze.

Le etichette numeriche delle classi richiedono una corrispondenza tra ID, nomi e definizioni delle classi. Confronta le definizioni e gli ID tra versioni e sottoinsiemi e con la corrispondenza prevista dal modello. Documenta ogni conversione e il trattamento delle classi mancanti o unite. La guida ai dataset di Ultralytics Platform osserva che unire o eliminare classi può far slittare gli ID successivi. Le esportazioni precedenti possono così smettere di corrispondere all’elenco aggiornato. Controlla la corrispondenza nelle tue esportazioni e nella tua pipeline.

Verifica che il dataset copra le situazioni rilevanti per l’uso previsto, come le richieste comuni, le eccezioni importanti, le lingue, i periodi o altri gruppi significativi. Un gruppo con pochi esempi può richiedere più dati o un’analisi a parte. Il numero di esempi necessario può variare tra gruppi.

Documenta come sono stati scelti gli esempi da esaminare. Una selezione manuale può aiutare a far emergere un problema, ma il suo tasso di errore non va esteso all’intero dataset. Le indicazioni di Google sul campionamento descrivono come la selezione può alterare le conclusioni su una popolazione più ampia.

Anche un campione casuale può mancare degli errori. Supponiamo che un altro lotto fittizio abbia 120 record, di cui sei con etichette errate. Se estrai a caso 20 record distinti con uguale probabilità, in circa il 33% dei casi il campione non conterrà nessuno dei sei. Scegliendone 47, la probabilità di non trovarne alcuno scende sotto il 5%, purché i revisori identifichino tutte le etichette errate tra i record selezionati. Questo esempio di pianificazione parte dall’ipotesi di sei errori. Un campione senza errori non dimostra che ce ne siano esattamente sei o che il resto sia privo di errori. Scegli la dimensione del campione in base alla frequenza degli errori e alla probabilità di mancarli che contano per la decisione. Registra come hai selezionato ed esaminato gli esempi. L’introduzione al campionamento del NIST tratta selezione e dimensione del campione. La ricerca sulla qualità delle annotazioni spiega la stima statistica della qualità e il campionamento per accettazione.

Confrontare i punteggi di lettura tra lingue

Decidi che cosa cambiare

Traduci i risultati in azioni che il team può intraprendere.

  • Correggere. Recupera il contesto mancante, correggi gli errori confermati o aggiorna le istruzioni di etichettatura. Poi controlla di nuovo i record interessati.
  • Limitare. Usa il dataset solo per i compiti o i sottoinsiemi che può sostenere e descrivi le lacune note.
  • Sospendere. Escludi il dataset dall’addestramento o dalla decisione di rilascio previsti fino alla risoluzione del problema rilevante.
  • Aggiungere dati. Raccogli o reperisci casi per i contesti mancanti, oppure crea un insieme di test nuovo, mai usato per l’addestramento o la messa a punto.

Mantieni identificabili la versione originale e quella rivista. Registra i controlli, il metodo di selezione, i risultati, le decisioni dei revisori e le questioni aperte affinché un altro team possa capire che cosa è cambiato e perché.

Verifica un dataset Parquet riscritto

Quando una consegna in formato Parquet viene riscritta, individua le proprietà che i nuovi file devono conservare per il compito. Registra le versioni originali e riviste e fai i controlli con il lettore usato dal team nelle fasi successive. Gli esempi seguenti usano dati fittizi.

  • Campi di origine. Salva lo schema di ciascun file originale quando devi distinguere un campo assente da un valore nullo esplicito. Nell’esempio con DuckDB 1.4.4, scambiare la fonte che ometteva un campo ha prodotto file unificati identici, anche conservando i nomi delle fonti. Gli schemi originali hanno identificato entrambi i cambiamenti. Unione di schemi in DuckDB
  • Coppie caso-etichetta. Verifica che gli ID dei casi siano presenti e univoci, confrontali con l’elenco atteso e confronta le etichette per ID. Due riscritture del nostro esempio di otto righe hanno conservato gli stessi metadati di fine file e gli stessi conteggi delle etichette. In una, due etichette sono passate ad altri casi. Nell’altra, riordinare le righe intatte ha preservato tutte le coppie. Struttura dei file Parquet
  • Numeri decodificati. Controlla il tipo logico e confronta i numeri che leggerai. Nell’esempio con i decimali, passando da una scala di 2 a una di 3, 12,34 è diventato 1,234 anche se gli interi memorizzati e i byte del blocco di colonna sono rimasti identici. Specifica del tipo decimale in Parquet
  • Date locali. Se un report raggruppa per giorno locale, confronta il giorno di ogni evento nel fuso orario concordato. Con PyArrow 26.0.1, due eventi hanno mantenuto gli istanti originali dopo una riscrittura senza i metadati dello schema Arrow. Rileggendo i dati in UTC, entrambi sono risultati il 1º luglio. Usando il fuso concordato di New York, le date sono tornate a essere il 30 giugno e il 1º luglio. Opzioni di scrittura di PyArrow

Basa ogni controllo sulla proprietà concordata. Se l’ordine può cambiare, un riordino che mantiene le coppie supera il controllo di casi ed etichette. Se il contratto richiede di provare la presenza dei campi in ciascuna fonte e gli schemi originali non sono disponibili, sospendi il controllo finché non recuperi le evidenze.

Verifica la conversione dei dati COCO

Quando converti un dataset COCO per il rilevamento di oggetti, confronta le mappe delle immagini originali ed esportate. Verifica che ogni immagine sorgente abbia un ID numerico distinto nell’esportazione e che le annotazioni e le predizioni puntino ancora all’immagine prevista. Con una mappa degli ID salvata e configurata, l’esportatore FiftyOne testato converte 01 e 1 nello stesso intero. L’indice COCO testato conserva l’ultima riga immagine per quell’ID e raggruppa le annotazioni sotto di esso. Risolvi gli ID duplicati prima di calcolare i punteggi. Esportatore FiftyOne · Indice COCO

Mantieni gli ID originali, se possibile. Se devono cambiare, conserva l’ordine numerico relativo e ricalcola la precisione media (AP) sui dati originali e convertiti. Usa la stessa revisione del valutatore, le stesse impostazioni e punteggi di predizione non arrotondati, associando le predizioni alle immagini corrispondenti in ogni esecuzione. Includi una piccola verifica con due rilevamenti della stessa categoria e con lo stesso livello di confidenza su immagini diverse, uno corrispondente a un’annotazione di riferimento e l’altro falso positivo. Il valutatore COCO testato ordina gli ID e mantiene quell’ordine in caso di parità di punteggio tra immagini. Rinumerare le immagini può quindi cambiare l’AP anche se le corrispondenze dei rilevamenti restano uguali. Esamina e risolvi eventuali differenze di punteggio prima di confrontare le due versioni. Ordine delle immagini in COCO · Accumulo dei punteggi in COCO

sapien1 aiuta i team a esaminare i dataset e a progettare valutazioni in funzione del lavoro che un sistema di IA deve svolgere. Dopo aver esaminato i dati, consulta la nostra guida alla valutazione degli agenti. Se emerge una lacuna nei dati, la nostra guida al reperimento dei dati può aiutarti a definire che cosa cercare.