Come acquistare dati per l’addestramento dell’AI
Lingua: Italiano
Dicci cosa deve imparare il tuo modello e come valuterai se un campione è utile. Possiamo discutere delle fonti adatte e delle evidenze da esaminare prima che tu decida se acquisire una licenza per una raccolta. Descrivi il tuo progetto a sapien1
Puoi ottenere una licenza per un dataset esistente, lavorare direttamente con il titolare dei dati o commissionare una raccolta per un’attività specifica. Prima di impegnarti, definisci cosa deve imparare il modello, verifica un campione rispetto a questo requisito e controlla se i termini proposti coprono l’uso previsto.
La domanda utile non è solo «Quanti dati sono disponibili?». Occorre anche capire se i record contengono gli esempi e il contesto che il tuo team può usare e se la licenza concordata copre le persone, i sistemi e le finalità coinvolti.
Scegli dove trovare i dati
| Modalità | Quando prenderla in considerazione | Cosa chiedere per prima cosa |
|---|---|---|
| Dataset esistente | Ti serve una raccolta che potrebbe già esistere. | Quali versione, campi, periodo e termini d’uso sono inclusi? |
| Accordo diretto con il titolare dei dati | Un’organizzazione detiene record o contenuti pertinenti. | Chi può autorizzare l’uso proposto e quale materiale rientra nell’accordo? |
| Raccolta o preparazione su misura | Nel materiale esistente mancano scenari, formati o etichette importanti. | Cosa sarà raccolto o preparato, come sarà verificata la qualità e cosa potrai usare in seguito? |
| Dataset pubblico | Una raccolta accessibile potrebbe essere adatta all’attività o offrire un primo termine di confronto. | Cosa indica la documentazione su origine, limiti e uso consentito? |
Per esempio, Opendatabay presenta un marketplace con offerte di dataset, mentre Clickworker descrive servizi di raccolta e annotazione su misura. Sono punti di partenza da approfondire: verifica l’offerta e i termini relativi ai dati specifici che ti servono.
La nostra guida all’approvvigionamento dei dati spiega come descrivere l’attività, la copertura e il formato prima di contattare una fonte.
Decidi cosa includere in ogni esempio
Metti per iscritto il comportamento previsto e le informazioni necessarie per valutarlo. Per un agente di supporto, un record potrebbe dover contenere la richiesta del cliente, la policy applicabile in quel momento, l’azione intrapresa e l’esito. Per un modello per documenti, i campi importanti potrebbero essere le immagini delle pagine, il testo estratto, il layout e le etichette verificate.
Se un campione di documenti include riquadri etichettati, verifica che siano allineati alle immagini consegnate. Alcuni formati esprimono le posizioni come frazioni delle dimensioni della pagina; altri usano i pixel. Verifica la pagina, la versione dell’immagine, le unità, l’origine delle coordinate ed eventuali ridimensionamenti, ritagli o rotazioni, poi sovrapponi i riquadri del campione per controllarne l’allineamento. Verifica anche se le etichette descrivono le aree corrette.
Chiedi una descrizione della versione esatta del dataset: origine, dimensioni e unità di misura, periodo coperto, formati, etichette, esclusioni note e cronologia di elaborazione. Le linee guida di Hugging Face sulle schede dei dataset descrivono come una scheda possa documentare contenuti, contesto e metadati come licenza, lingua e dimensioni. Considera questi campi come informazioni da esaminare insieme alla documentazione sottostante.
Verifica un campione rispetto ai tuoi requisiti
Concorda il campione e i controlli prima di decidere se ampliare l’acquisto. Includi le situazioni ordinarie che il modello incontrerà e i casi difficili rilevanti per l’attività. Registra come è stato selezionato il campione e quali parti della raccolta proposta rappresenta.
I termini del Marketplace di Origin Lab, consultati il 18 novembre 2026, limitano i campioni del marketplace come definiti nei termini alla valutazione interna e ne vietano l’uso per testare o valutare un sistema di AI, salvo che un accordo commerciale applicabile stipulato da Origin Lab disponga espressamente altrimenti. Tale restrizione sui campioni esclude i Bench Materials, definiti separatamente e soggetti a propri termini. Verifica i termini specifici del campione e gli eventuali accordi prima di ispezionarlo, testarlo, usarlo per l’addestramento o condividerlo.
Per un campione audio parlato con timestamp delle parole, chiedi a quale registrazione si riferiscono e quale unità di tempo usano. Se i timestamp si riferiscono a una copia da cui sono stati rimossi i silenzi, chiedi l’identificativo della registrazione originale e una mappa degli intervalli conservati rispetto alla sequenza temporale originale. Controlla una parola dopo un taglio interno. In un esempio fittizio che unisce gli intervalli 2–4 e 7–9 secondi della registrazione originale senza inserire pause, 2,5 secondi nel campione corrispondono a 7,5 secondi nella registrazione originale. Aggiungendo lo scarto di due secondi del primo intervallo si ottengono 4,5 secondi, all’interno della parte rimossa. Mappatura dei timestamp di NeMo Curator
Controlla come vengono segnalate nella consegna le parole i cui timestamp attraversano un punto di giunzione. Nello stesso campione fittizio, la funzione di supporto di faster-whisper testata ha scelto un unico scarto per entrambe le estremità di un intervallo che attraversava una giunzione e ne ha collocato l’inizio nella parte rimossa. Se il tuo uso richiede un intervallo continuo nella registrazione originale, concorda come segnalare ed esaminare questi casi prima di accettarli. Ripristino dei timestamp di faster-whisper · Calcolo dello scarto di faster-whisper
Considera questo esempio fittizio. Un team vuole perfezionare un agente di supporto che consiglia il passaggio successivo per una richiesta di reso. Un fornitore propone una raccolta di casi di assistenza. Il team chiede 12 esempi diagnostici: sei resi ordinari e sei eccezioni. Per questa prima verifica, richiede che ogni esempio includa la richiesta del cliente, un link alla versione della policy applicabile e l’esito registrato.
| Controllo | Requisito per questo campione | Risultato illustrativo |
|---|---|---|
| Richiesta del cliente | Presente in tutti i 12 esempi | Presente in 12 casi su 12 |
| Versione applicabile della policy | Link presente in tutti i 12 esempi | Presente in 10 casi su 12; manca il link in due casi di eccezione |
| Esito registrato | Presente in tutti i 12 esempi | Presente in 11 casi su 12; manca l’esito in un caso ordinario |
Il campione non supera due dei controlli stabiliti dal team. Il passo successivo è chiedere se sia possibile recuperare i link mancanti alle policy e l’esito mancante ed esaminare un campione corretto. Se non è possibile, il team può modificare il proprio requisito o cercare un’altra fonte. Un esito registrato non è automaticamente una decisione corretta: una persona esperta del settore dovrebbe anche confrontare gli esiti con la policy applicabile.
Questi conteggi descrivono solo i 12 casi selezionati. Non stimano il tasso di errore dell’intera raccolta. Per valutare una copertura più ampia, chiedi come è distribuito il dataset tra gli scenari rilevanti e concorda un ulteriore campione estratto con un metodo documentato. Le linee guida di Google sulla qualità dei dati e sul campionamento spiegano perché un campione selezionato può dare un’immagine fuorviante di una popolazione più ampia.
Supponiamo che tutti quei 12 casi provengano dal 2024, ma che la raccolta offerta copra il periodo 2022–2024. Verificare una copia corretta può confermare le correzioni apportate a quei casi; non dimostra che il resto della raccolta sia stato corretto. Chiedi quale versione del dataset e quali record sono stati corretti, poi concorda come selezionare un nuovo campione dalla versione che intendi acquistare. Se è possibile esaminare solo il 2024, considera il periodo 2022–2023 non valutato e decidi se limitare l’acquisto o attendere una verifica più ampia.
Se non è possibile condividere record reali per la verifica iniziale, chiedi se sia possibile ottenere un campione depurato o un accesso controllato. Un esempio sintetico può mostrare il formato, ma non può dimostrare la qualità o la copertura della raccolta effettiva.
Concorda come vengono applicati i controlli di accesso prima di ricevere un campione: una query che seleziona determinate colonne non limita, di per sé, l’accesso al resto del file sottostante. Anche un footer Parquet può contenere statistiche sulle colonne. Se chi invia deve limitare i dati che escono dal proprio ambiente, valuta un campione preparato separatamente con i campi approvati o un servizio che applichi controlli di accesso a livello di campo. Esamina i metadati e i controlli di accesso insieme ai record restituiti.
Verifica come puoi usare i dati
Verifica che l’accordo e i documenti di supporto corrispondano al dataset e al progetto specifici. Tra le domande da discutere con il fornitore e con le persone responsabili della revisione legale e degli acquisti ci sono:
- Quale versione del dataset è coperta e il fornitore è autorizzato a concedere l’uso proposto?
- L’addestramento, il perfezionamento, la valutazione o il recupero sono inclusi dove necessario? I termini disciplinano l’impiego commerciale e le eventuali restrizioni pertinenti sui modelli o sugli output?
- Chi può accedere ai dati o elaborarli, inclusi collaboratori esterni o fornitori di servizi? Quali sono i termini per la consegna, l’archiviazione, la conservazione e l’eliminazione?
- Ci sono esclusioni, diritti a monte, materiali di terzi o altre restrizioni da esaminare? Quali prove sono disponibili a sostegno di quanto dichiarato dal fornitore sull’origine dei dati e sulle autorizzazioni?
Annota separatamente cosa è confermato e cosa deve ancora essere esaminato. L’indicazione di una licenza o una scheda del dataset aiuta a individuare un uso dichiarato; non verifica di per sé i diritti sottostanti. Un’analisi dei dataset pubblici di testo, parlato e video ha rilevato differenze tra le descrizioni delle licenze a livello di dataset e le restrizioni associate ai contenuti di origine. I risultati riguardano i dataset pubblici esaminati, non tutte le raccolte commerciali.
Per esempio, una scheda fissata a una versione del dataset pubblico di ricerca SciFact descrive il dataset come CC BY-NC 2.0 e contiene un link a un file di licenza nel branch master del repository, che può cambiare. In un’istantanea fissata a una versione di quella licenza, il repository indica separatamente CC BY 4.0 per le affermazioni e le annotazioni delle evidenze, ODC-By 1.0 per gli abstract del corpus e Apache 2.0 per il codice. I documenti possono descrivere versioni, componenti o trasformazioni diversi; da soli non stabiliscono i termini applicabili a un file specifico. Associa i file consegnati e i relativi componenti a monte alla documentazione pertinente e fai esaminare le questioni irrisolte sui diritti.
Pianifica la valutazione e la consegna
Decidi come saranno consegnati e accettati i dati: formati dei file, un manifest o un identificativo di versione, documentazione, controlli sui campioni e modalità di correzione dei problemi. Se i dati saranno usati anche per valutare un modello, tieni un insieme di test separato fuori dall’addestramento e controlla che non ci siano duplicati tra le suddivisioni. Le linee guida di Google sulla suddivisione dei dataset spiegano come i duplicati possano far sembrare i risultati di un test migliori di quanto siano.
Verifica quando inizia il periodo di ispezione, come inviare una comunicazione, quale significato viene attribuito al silenzio e quali rimedi si applicano. Per esempio, la versione 1.0 della licenza standard di ai.market per l’addestramento dell’AI concede all’acquirente sette giorni di calendario dalla prima consegna per notificare al marketplace una difformità sostanziale rispetto all’offerta. I termini quadro di micro1, aggiornati il 12 novembre 2026, concedono a micro1, il licenziatario, 30 giorni lavorativi dal completamento della consegna prevista dal manifest per rifiutare i dati per iscritto. Si applica una diversa condizione iniziale se il fornitore comunica per iscritto a micro1 che i dati rimanenti non possono essere consegnati. I documenti si applicano a transazioni diverse e contengono ulteriori condizioni ed eccezioni. Esamina i termini e la versione che disciplinano il tuo ordine.
Un manifest può elencare i file previsti e i checksum per la versione concordata del dataset. Concorda come verificherai l’origine del manifest, confronterai il suo elenco di file con quelli arrivati ed esaminerai i file mancanti, inattesi o non corrispondenti. Per esempio, se un manifest fittizio elenca due file ma ne arriva solo uno, un checksum corrispondente per quel file non rende completa la consegna. La specifica BagIt distingue la completezza dalla convalida dei checksum per un formato di confezionamento. La corrispondenza di un checksum indica che l’impronta calcolata di un file coincide con quella nel manifest; non dimostra di per sé l’identità del mittente, la correttezza delle etichette, la rappresentatività della copertura o i diritti di utilizzo dei dati. Esamina questi aspetti separatamente.
Quando un fornitore invia la versione successiva, consulta la guida su come accettare consegne ricorrenti di dati per l’AI.
Per un esempio pratico di verifica della contaminazione dell’insieme di test e del contesto mancante, consulta la nostra guida alla valutazione dei dataset.
sapien1 aiuta i team a definire i requisiti dei dati, individuare possibili fonti e valutare i campioni. Parti dall’attività, dagli esempi che ti servono e dalla decisione che un campione deve aiutarti a prendere. I titolari dei dati che si preparano a un confronto possono usare la nostra guida alla preparazione per la concessione di licenze sui dati.