Onderbouwing voor het kiezen van een meertalige leestoets

Deze controles vergelijken de vragen en talen in specifieke versies van TyDi QA, XQuAD, MLQA en Belebele. De aantallen hebben betrekking op de bestanden die in de gids zijn gebruikt.

Welke vragen komen voor in beide TyDi QA-bestanden?

We vergeleken de ontwikkelbestanden op taal, artikeltitel en de exacte formulering van de vraag. Elk van de 5,077 rijen in Gold Passage kwam overeen met een van de 18,670 rijen in het primaire bestand. Voor de 9 talen die beide bestanden bevatten, ontbreken in het Gold Passage-bestand 1,285 rijen uit het primaire bestand waarbij ten minste 1 beoordelaar een geschreven antwoord heeft gemarkeerd. Het primaire ontwikkelbestand bevat Japans en Thais; het Gold Passage-bestand bevat geen rijen voor deze 2 talen.

Vraag hetzelfde model 2 keer om een geschreven antwoord om een volledig artikel te vergelijken met een kortere invoer. Kopieer de kortere passage exact uit het artikel. Houd de instellingen, de vraag, de antwoordvorm, de geaccepteerde antwoorden en de scoringsregel gelijk. Controleer of elk geaccepteerd antwoord in beide invoeropties voorkomt. Controleer het fragment en de bijbehorende antwoordenlijst als je Gold Passage gebruikt zoals aangeleverd. De vergelijking op basis van de vraag stelt vast welke vragen de bestanden delen. De tekst van de passage en de geaccepteerde antwoorden kunnen verschillen.

De auteurs laten Engels zowel bij de primaire evaluatie als bij de evaluatie van Gold Passage buiten het totaalgemiddelde.

Aantallen per taal (JSON) · Vergelijkingsscript (Python) · Vastgezet primair ontwikkelbestand · Vastgezet Gold Passage-ontwikkelbestand · Officiële scoringsregels

Sla de 2 bronbestanden op als primary.parquet en gold.parquet. Sla het script en de aantallen op in dezelfde map en voer vervolgens de vergelijking uit. Het script controleert de 2 controlesommen van de invoerbestanden voordat het de bestanden leest.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Welke XQuAD-vragen komen uit SQuAD?

Alle 1,190 Engelse XQuAD-ID's komen overeen met vragen in het ontwikkelbestand van SQuAD 1.1. Voor deze ID's komen de artikeltitel, passage en vraagtekst exact overeen. Alle 12 bestanden in de XQuAD-revisie die we hebben gecontroleerd, hebben dezelfde ID's. Dat geldt ook voor het Roemeense bestand dat na de oorspronkelijke uitgave is toegevoegd.

Aantallen vragen en overeenkomsten (JSON) · Oorspronkelijke XQuAD-publicatie · Vastgezette XQuAD-revisie · Vastgezet SQuAD-ontwikkelbestand

Wat blijft gelijk als een MLQA-vraag van taal verandert?

De 4 Engels-Vietnamese ontwikkelbestanden hebben 511 vraag-ID's gemeen. Door over te schakelen van Engelse naar Vietnamese vragen en de Engelse passage gelijk te houden, veranderden alle 511 vragen. Geen enkele passage of lijst met geaccepteerde antwoorden veranderde. De controle vergelijkt elke passage en de geordende lijst met geaccepteerde antwoorden, inclusief de opgeslagen posities. Gebruik dezelfde Engelse antwoorden om beide tests te scoren.

Aantallen uit de bestandsvergelijking (JSON) · Officiële MLQA-downloads · Oorspronkelijke MLQA-publicatie

Welke talen bevatten de 4 bestandssets?

We controleerden de ontwikkelbestanden van TyDi QA primary en Gold Passage, de vastgezette XQuAD-uitgave en de MLQA-ontwikkelbestanden waarin de vraag en de passage dezelfde taal hebben. Arabisch en Engels zijn de enige talen die in alle 4 sets voorkomen. Thais komt voor in TyDi QA primary en XQuAD, maar ontbreekt in Gold Passage.

Taalcodes per bestandsset (JSON)

Waar vind je de Thaise meerkeuzetoets?

Belebele heeft een Thais bestand met de naam tha_Thai.jsonl. Gebruik het voor vragen waarbij het model na het lezen van een passage 1 van de 4 antwoorden moet kiezen.

Vastgezet Thais bestand van de auteurs · Oorspronkelijke Belebele-publicatie · Zo vergelijk je scores op meerkeuzevragen over teksten tussen talen