Evidenze per scegliere un test di comprensione del testo multilingue
Queste verifiche confrontano le domande e le lingue presenti in versioni specifiche di TyDi QA, XQuAD, MLQA e Belebele. I conteggi riguardano i file utilizzati nella guida.
Quali domande sono presenti in entrambi i file di TyDi QA?
Abbiamo confrontato i file di sviluppo per lingua, titolo dell’articolo e formulazione esatta della domanda. Ognuna delle 5,077 righe di Gold Passage corrisponde a una delle 18,670 righe del file primario. Nelle 9 lingue presenti in entrambi, il file Gold Passage omette 1,285 righe del file primario per le quali almeno un annotatore ha indicato una risposta scritta. Il file di sviluppo primario include giapponese e thailandese, mentre il file Gold Passage non contiene righe in queste 2 lingue.
Per confrontare un articolo intero con un testo più breve, chiedi allo stesso modello di fornire una risposta scritta per ciascuno dei 2 testi. Copia il brano più breve esattamente come appare nell’articolo. Mantieni invariati le impostazioni, la domanda, il formato della risposta, le risposte accettate e il criterio di valutazione. Verifica che ogni risposta accettata sia presente in entrambi i testi. Se usi Gold Passage così come fornito, controlla l’estratto e il relativo elenco di risposte. La corrispondenza per domanda stabilisce quali domande sono presenti in entrambi i file. Il testo dei brani e le risposte accettate possono differire.
Gli autori escludono l’inglese dalla media complessiva sia nella valutazione del file primario sia in quella di Gold Passage.
Conteggi per lingua (JSON) · Script di confronto (Python) · Versione fissata del file di sviluppo primario · Versione fissata del file di sviluppo Gold Passage · Criteri di valutazione ufficiali
Salva i 2 file sorgente con i nomi primary.parquet e gold.parquet. Salva lo script e i conteggi nella stessa cartella, poi esegui il confronto. Lo script verifica gli hash dei 2 file di input prima di leggerli.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Quali domande di XQuAD provengono da SQuAD?
Tutti i 1,190 ID di XQuAD in inglese corrispondono a domande nel file di sviluppo di SQuAD 1.1. Per questi ID, il titolo dell’articolo, il brano e il testo della domanda coincidono esattamente. Tutti i 12 file della versione di XQuAD che abbiamo verificato condividono gli stessi ID, incluso il file in rumeno aggiunto dopo la pubblicazione originale.
Conteggi e corrispondenze delle domande (JSON) · Articolo originale su XQuAD · Versione fissata di XQuAD · Versione fissata del file di sviluppo SQuAD
Che cosa rimane invariato quando cambia la lingua di una domanda di MLQA?
I 4 file di sviluppo inglese-vietnamita condividono 511 ID delle domande. Passando dalle domande in inglese a quelle in vietnamita e mantenendo il brano in inglese, sono cambiate tutte le 511 domande, mentre nessun brano e nessun elenco di risposte accettate sono cambiati. La verifica confronta ogni brano e l’elenco ordinato delle risposte accettate, incluse le posizioni salvate nel testo. Usa le stesse risposte in inglese per valutare entrambe le esecuzioni.
Conteggi del confronto tra file (JSON) · Download ufficiali di MLQA · Articolo originale su MLQA
Quali lingue sono presenti nei 4 insiemi di file?
Abbiamo verificato i file di sviluppo primario e Gold Passage di TyDi QA, la versione fissata di XQuAD e i file di sviluppo di MLQA che usano la stessa lingua per la domanda e il brano. Arabo e inglese sono le uniche lingue presenti in tutti e 4 gli insiemi. Il thailandese compare nel file primario di TyDi QA e in XQuAD, ma è assente da Gold Passage.
Codici delle lingue per insieme di file (JSON)
Dove si trova il test a scelta multipla in thailandese?
Belebele contiene un file in thailandese chiamato tha_Thai.jsonl. Usalo per le domande che chiedono al modello di scegliere una delle 4 risposte dopo aver letto un brano.
Versione fissata del file in thailandese degli autori · Articolo originale su Belebele · Come confrontare i punteggi di comprensione del testo a scelta multipla tra lingue