Vai al contenuto principale

Menu

Ricerca

Come scegliere un test di comprensione del testo multilingue

Lingua: Italiano

Scegli un test che chieda al modello di fare ciò di cui le persone hanno bisogno. Trovare il brano giusto, rispondere a partire da un brano fornito e capire una domanda in un’altra lingua sono capacità distinte. Provale separatamente per capire quale passaggio approfondire.

Cosa vuoi verificareDa dove iniziareCosa fa il modello
Sa trovare la parte giusta di un articolo?TyDiQA-SelectPSceglie un brano dell’articolo o indica che nessun brano risponde alla domanda.
Sa trovare le parole che rispondono alla domanda?TyDiQA-GoldPRestituisce le parole della risposta da un brano che le contiene.
Risponde alle stesse domande in più lingue?XQuAD o BelebeleRisponde a partire da brani tradotti in XQuAD, oppure sceglie tra quattro risposte in Belebele.
Sa rispondere quando domanda e brano sono in lingue diverse?MLQATrova la risposta in un brano scritto in un’altra lingua.

Verifica se il modello trova la risposta

Usa TyDiQA-SelectP se il modello deve individuare il brano giusto all’interno di un articolo. Usa TyDiQA-MinSpan se deve anche dare una risposta breve, rispondere sì o no oppure segnalare che l’articolo non contiene la risposta. Le domande di TyDi QA sono state formulate direttamente in ogni lingua. Descrizione dei compiti di TyDi QA

Per vedere quanto aiuta un brano più breve, chiedi due volte una risposta scritta allo stesso modello. Dagli una volta l’articolo completo e una volta un estratto copiato alla lettera dallo stesso articolo. Mantieni identici impostazioni, domanda, formato della risposta, risposte accettate e regola di valutazione. Verifica che ogni risposta accettata compaia in entrambi i testi. Se usi una voce di Gold Passage così com’è, controlla l’estratto e il suo elenco di risposte. I due file possono contenere la stessa domanda anche quando il brano o le risposte accettate differiscono. Puoi preparare il confronto con i file di sviluppo di TyDi QA. Tutte le 5.077 domande di Gold Passage compaiono anche nel gruppo principale di 18.670 domande. Gold Passage esclude il giapponese e il thailandese e lascia fuori 1.285 domande con risposte scritte annotate nelle nove lingue condivise. Abbina le domande per lingua, titolo dell’articolo e formulazione esatta. Tieni solo gli abbinamenti univoci. Confronto tra le domande di TyDi QA

Confronta le lingue usando le stesse domande

XQuAD presenta al modello traduzioni delle stesse domande e degli stessi brani. Le 1.190 domande inglesi provengono dal set di sviluppo di SQuAD 1.1. I file tradotti che abbiamo controllato condividono questi ID. Se hai affinato il modello con il set di sviluppo di SQuAD, verifica quali domande coincidono prima di usare XQuAD come test con domande nuove. Articolo originale su XQuAD · Verifica delle domande riutilizzate

Usa Belebele se vuoi che il modello scelga una di quattro risposte. I suoi 122 file per lingua e sistema di scrittura condividono 900 ID di domanda. Salva il numero o la lettera dell’opzione scelta. Due opzioni possono avere lo stesso testo, quindi dal solo testo potresti non capire quale ha scelto il modello. Se escludi le domande interessate, usa gli stessi ID rimanenti in tutte le lingue del confronto. Confrontare i punteggi di lettura tra lingue

Cambia la lingua della domanda e mantieni il brano

Usa MLQA se, per esempio, chi parla vietnamita può fare domande su un documento in inglese. Nei file di sviluppo inglesi e vietnamiti che abbiamo controllato, 511 domande condivise si possono porre in entrambe le lingue mantenendo identici il brano in inglese e le risposte accettate. Valuta entrambe le prove con le stesse risposte in inglese per vedere che cosa cambia con la lingua della domanda. Articolo originale su MLQA · Confronto dei file inglesi e vietnamiti

Per verificare a parte quanto aiuta il brano, fai le stesse domande con e senza il brano. Verificare se un modello usa il brano

Controlla che il test copra la lingua che ti serve

Per il thailandese, usa TyDiQA-SelectP per capire se il modello trova il brano giusto, XQuAD per capire se trova le parole della risposta in un brano fornito, o Belebele per capire se sceglie la risposta giusta. Il file di sviluppo TyDiQA-GoldP non contiene domande in thailandese. Arabo e inglese sono le uniche lingue comuni ai quattro gruppi di file confrontati: TyDi QA principale, TyDi QA Gold Passage, XQuAD e i file di sviluppo di MLQA con domande e brani nella stessa lingua. Verifica delle lingue coperte · File linguistici di Belebele

Quando riporti i punteggi, indica il compito, le lingue e quante domande contribuiscono a ciascun punteggio. Per esempio, entrambi i metodi ufficiali di valutazione di TyDi QA escludono l’inglese dalla media generale, anche se è presente nei file. Documentazione sulla valutazione di TyDi QA