Batayan sa pagpili ng pagsusulit sa pag-unawa sa binasa sa iba’t ibang wika

Inihahambing ng mga pagsusuring ito ang mga tanong at wikang nasa mga partikular na release ng TyDi QA, XQuAD, MLQA at Belebele. Ang mga bilang ay tumutukoy sa mga file na ginamit sa gabay.

Aling mga tanong ang magkakapareho sa mga file ng TyDi QA?

Itinugma namin ang mga development file batay sa wika, pamagat ng artikulo at eksaktong pagkakasulat ng tanong. Bawat isa sa 5,077 row ng Gold Passage ay tumugma sa isa sa 18,670 row ng primary. Sa 9 na wikang nasa parehong file, wala sa Gold Passage file ang 1,285 row ng primary kung saan hindi bababa sa isang annotator ang nagtala ng nakasulat na sagot. Kasama sa primary development file ang Japanese at Thai, ngunit walang row para sa dalawang wikang ito sa Gold Passage file.

Para ihambing ang isang buong artikulo sa mas maikling input, hilingin sa parehong modelo na magbigay ng nakasulat na sagot nang dalawang beses. Kopyahin nang eksakto mula sa artikulo ang mas maikling sipi. Panatilihing pareho ang mga setting, tanong, format ng sagot, mga tinatanggap na sagot at tuntunin sa pagmamarka. Tiyaking lumilitaw sa parehong input ang bawat tinatanggap na sagot. Kung gagamitin ang Gold Passage ayon sa pagkakabigay nito, suriin ang sipi at ang listahan ng mga sagot nito. Ipinapakita ng pagtutugma batay sa tanong kung aling mga tanong ang nasa parehong file. Maaaring magkaiba ang teksto ng sipi at ang mga tinatanggap na sagot.

Hindi isinama ang English sa kabuuang average ng bawat isa sa mga pagsusuri ng mga may-akda para sa primary at Gold Passage.

Mga bilang ayon sa wika (JSON) · Script para sa paghahambing (Python) · Primary development file na nakapirmi sa partikular na bersyon · Gold Passage development file na nakapirmi sa partikular na bersyon · Mga opisyal na tuntunin sa pagmamarka

I-save ang dalawang source file bilang primary.parquet at gold.parquet. I-save ang script at ang mga bilang sa parehong directory, saka patakbuhin ang paghahambing. Bineberipika ng script ang mga digest ng dalawang input bago basahin ang mga ito.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Aling mga tanong sa XQuAD ang mula sa SQuAD?

Lahat ng 1,190 English XQuAD ID ay tumutugma sa mga tanong sa SQuAD 1.1 development file. Para sa mga ID na iyon, eksaktong magkatugma ang pamagat ng artikulo, sipi at teksto ng tanong. Pare-pareho ang mga ID sa lahat ng 12 file sa bersyon ng XQuAD na sinuri namin, kabilang ang Romanian file na idinagdag pagkatapos ng orihinal na release.

Mga bilang ng tanong at pagtutugma (JSON) · Orihinal na papel tungkol sa XQuAD · Bersyon ng XQuAD na nakapirmi sa partikular na rebisyon · SQuAD development file na nakapirmi sa partikular na bersyon

Ano ang nananatiling pareho kapag nagbabago ang wika ng isang tanong sa MLQA?

May 511 magkakaparehong question ID ang 4 na English–Vietnamese development file. Nang palitan mula English tungong Vietnamese ang mga tanong habang pinananatili ang English na sipi, nagbago ang lahat ng 511 tanong, ngunit walang nagbago sa mga sipi o sa mga listahan ng tinatanggap na sagot. Inihahambing sa pagsusuri ang bawat sipi at ang nakaayos na listahan ng mga tinatanggap na sagot, kabilang ang mga naka-save na offset. Gamitin ang parehong mga sagot sa English sa pagmamarka ng dalawang pagsubok.

Mga bilang mula sa paghahambing ng file (JSON) · Mga opisyal na download ng MLQA · Orihinal na papel tungkol sa MLQA

Aling mga wika ang nasa 4 na set ng file?

Sinuri namin ang mga development file ng TyDi QA primary at Gold Passage, ang release ng XQuAD na nakapirmi sa partikular na bersyon, at ang mga development file ng MLQA na gumagamit ng parehong wika para sa tanong at sipi. Arabic at English lamang ang nasa lahat ng 4 na set. Nasa TyDi QA primary at XQuAD ang Thai, at wala ito sa Gold Passage.

Mga code ng wika ayon sa set ng file (JSON)

Saan makikita ang multiple-choice na pagsusulit sa Thai?

May Thai file ang Belebele na pinangalanang tha_Thai.jsonl. Gamitin ito para sa mga tanong na nagpapapili sa modelo ng isa sa 4 na sagot matapos magbasa ng sipi.

Thai file ng mga may-akda na nakapirmi sa partikular na bersyon · Orihinal na papel tungkol sa Belebele · Paano ihambing ang mga marka sa multiple-choice na pagsusulit sa pagbasa sa iba’t ibang wika