Pananaliksik
Paano pumili ng pagsusulit sa pag-unawa sa binasa sa iba’t ibang wika
Pumili ng pagsusulit na nagpapagawa sa modelo ng kailangan ng mga gumagamit. Magkakaibang kasanayan ang paghahanap ng tamang sipi, pagsagot gamit ang ibinigay na sipi at pag-unawa sa tanong sa ibang wika. Subukan ang mga ito nang magkakahiwalay para makita kung aling hakbang ang kailangang suriin pa.
| Ano ang gusto mong suriin? | Saan magsisimula? | Ano ang ginagawa ng modelo? |
|---|---|---|
| Mahahanap ba nito ang tamang bahagi ng artikulo? | TyDiQA-SelectP | Pumipili ng sipi sa isang artikulo o nagsasabing walang siping sumasagot sa tanong. |
| Mahahanap ba nito ang mga salitang sagot sa tanong? | TyDiQA-GoldP | Kinukuha ang mga salita ng sagot mula sa siping naglalaman nito. |
| Nasasagot ba nito ang parehong mga tanong sa iba’t ibang wika? | XQuAD o Belebele | Sumasagot batay sa isinaling sipi sa XQuAD o pumipili ng isa sa apat na sagot sa Belebele. |
| Makakasagot ba ito kung magkaiba ang wika ng tanong at sipi? | MLQA | Hinahanap ang sagot sa siping nakasulat sa ibang wika. |
Tingnan kung nahahanap ng modelo ang sagot
Gamitin ang TyDiQA-SelectP kung kailangang hanapin ng modelo ang tamang sipi sa artikulo. Gamitin ang TyDiQA-MinSpan kung kailangan din nitong magbigay ng maikling sagot, magsabi ng oo o hindi, o tukuyin na walang sagot sa artikulo. Direktang isinulat ng mga tao ang mga tanong ng TyDi QA sa bawat wika. Paglalarawan ng mga gawain sa TyDi QA
Para malaman kung gaano kalaki ang naitutulong ng mas maikling sipi, humingi ng nakasulat na sagot nang dalawang beses sa parehong modelo. Ibigay ang buong artikulo sa unang beses at siping kinopya nang eksakto mula sa artikulong iyon sa ikalawa. Panatilihin ang mga setting, tanong, anyo ng sagot, tinatanggap na mga sagot at tuntunin sa pagmamarka. Tiyaking nasa parehong teksto ang bawat tinatanggap na sagot. Kung gagamitin ang isang item ng Gold Passage gaya ng inilabas, suriin ang sipi at listahan nito ng mga sagot. Maaaring pareho ang tanong sa dalawang file kahit magkaiba ang sipi o mga tinatanggap na sagot. Makakatulong ang mga development file ng TyDi QA sa paghahambing. Nasa pangunahing set na may 18,670 tanong din ang lahat ng 5,077 tanong sa Gold Passage. Walang Hapon o Thai sa Gold Passage at hindi rin kasama ang 1,285 tanong na may minarkahang nakasulat na sagot sa siyam na wikang nasa parehong file. Itugma ayon sa wika, pamagat ng artikulo at eksaktong pagkakasulat ng tanong. Gamitin lamang ang mga pares na may iisang tugma. Paghahambing ng mga tanong sa TyDi QA
Gamitin ang parehong mga tanong sa paghahambing ng mga wika
Ibinibigay ng XQuAD sa modelo ang mga salin ng parehong mga tanong at sipi. Galing sa development set ng SQuAD 1.1 ang 1,190 tanong sa Ingles. Pareho ang mga ID ng tanong sa mga isinaling file na sinuri namin. Kung ginamit mo ang SQuAD development set sa pag-angkop ng modelo, suriin ang mga tanong na nasa parehong set bago gamitin ang XQuAD bilang pagsusulit na may mga bagong tanong. Orihinal na papel tungkol sa XQuAD · Pagsuri sa mga tanong na ginamit muli
Gamitin ang Belebele kung gusto mong pumili ang modelo ng isa sa apat na sagot. Pareho ang 900 ID ng tanong sa 122 file nito para sa iba’t ibang wika at sistema ng pagsulat. Itala ang numero o titik ng napiling sagot. Maaaring pareho ang teksto ng dalawang pagpipilian, kaya baka hindi sapat ang teksto para malaman kung alin ang pinili. Kung aalisin ang mga ganitong tanong, gamitin ang parehong mga natitirang ID sa bawat wikang pinaghahambing. Ihambing ang mga score sa pagbasa sa iba’t ibang wika
Palitan ang wika ng tanong at panatilihin ang sipi
Gamitin ang MLQA kung, halimbawa, maaaring magtanong sa Vietnamese ang isang tao tungkol sa dokumentong nasa Ingles. Sa mga development file sa Ingles at Vietnamese na sinuri namin, may 511 magkatugmang tanong na puwedeng itanong sa alinman sa dalawang wika habang eksaktong pareho ang sipi sa Ingles at ang mga tinatanggap na sagot. Gamitin ang parehong mga sagot sa Ingles sa pagmamarka ng dalawang pagsubok para makita kung ano ang nagbago nang palitan ang wika ng tanong. Orihinal na papel tungkol sa MLQA · Paghahambing ng mga file sa Ingles at Vietnamese
Para suriin nang hiwalay kung gaano nakakatulong ang sipi, itanong ang parehong mga tanong nang may sipi at nang wala nito. Alamin kung ginagamit ng modelo ang teksto
Tiyaking sakop ng pagsusulit ang wikang kailangan mo
Para sa Thai, gamitin ang TyDiQA-SelectP para makitang nahahanap ng modelo ang tamang sipi, XQuAD para makitang nahahanap nito ang mga salita ng sagot sa ibinigay na sipi, o Belebele para makitang napipili nito ang tamang sagot. Walang mga tanong sa Thai ang TyDiQA-GoldP development file. Arabic at Ingles lang ang nasa lahat ng apat na pangkat ng file na pinaghambing namin: pangunahing TyDi QA, TyDi QA Gold Passage, XQuAD at mga development file ng MLQA na iisa ang wika ng tanong at sipi. Pagsuri sa mga wikang sakop · Mga file ng Belebele ayon sa wika
Kapag nag-uulat ng score, banggitin ang gawain, mga wika at bilang ng mga tanong na kasama sa bawat score. Halimbawa, hindi isinasama ng dalawang opisyal na paraan ng pagmamarka ng TyDi QA ang Ingles sa pangkalahatang average kahit nasa mga file ito. Dokumentasyon sa pagmamarka ng TyDi QA