Ebidensya para sa mga gabay sa benchmark ng pagbasa
Ginagamit sa mga pagsusuring ito ang mga orihinal na archive ng Belebele at FLORES-200 at ang mga pampublikong development file ng MLQA. May apat na pagpipilian sa bawat tanong sa Belebele. Ang 122 file para sa mga wika at sistema ng pagsulat sa orihinal na ZIP ay may parehong 900 question ID. Sa mga file na ito, ang bawat ID ay nagtatambal ng source URL at numero ng tanong. Papel tungkol sa Belebele · Download at format ng Belebele
Itugma ang bawat sagot sa tamang tanong
Kinopya namin ang mga numero ng minarkahang sagot mula sa bawat Belebele file at inayos ang mga ito ayon sa pagkakasunod-sunod ng mga tanong sa English. Sa 52 file, iba ang pagkakasunod-sunod ng mga tanong kumpara sa English. Nang itugma ang mga kinopyang sagot sa bawat file ayon sa numero ng row, nakakuha ng 73.55%. Nang itugma ayon sa question ID, nakakuha ng 100% sa 109,800 row. Sa pagtutugma ayon sa numero ng row, 38,876 na sagot ang napunta sa ibang tanong. Sa mga iyon, 9,838 ang nakakuha pa rin ng puntos dahil nagtugma ang mga numero ng sagot.
Tingnan kung pareho ang teksto ng dalawang pagpipilian
Sa 148 row, may isa pang pagpipilian na eksaktong kapareho ng teksto ng minarkahang sagot. Kinopya namin ang teksto ng minarkahang sagot mula sa bawat row. Nawala ang 16 credit nang italaga ang unang pagpipiliang may kaparehong teksto. Nawala naman ang 133 credit nang italaga ang huli. Inihahambing ng pagsusuring ito ang teksto nang eksakto ayon sa pagkakasimpan nito sa orihinal na ZIP.
Gamitin ang parehong mga tanong
Kung aalisin ang 148 apektadong row lamang sa mga file kung saan lumilitaw ang mga ito, 894 hanggang 899 tanong ang matitira sa bawat file. Saklaw ng mga apektadong row ang 23 magkakaibang question ID. Kung aalisin ang lahat ng 23 ID sa bawat file, ang parehong 877 tanong ang matitira sa bawat isa.
Suriin kung saan nagmula ang mga teksto
Sa English file, 513 tanong ang tumutukoy sa mga pahina sa development split ng orihinal na FLORES-200. Para sa 417 sa mga tanong na iyon, eksaktong nabubuo ang teksto sa Belebele kapag pinagsama ang orihinal na mga pangungusap sa FLORES ayon sa pagkakasunod-sunod. Nag-iiba ang bilang ng mga eksaktong tugma sa 116 iba pang file para sa mga wika at sistema ng pagsulat na kapwa nasa mga archive.
Sinuri rin namin ang 45,279 Belebele row mula sa mga FLORES-200 devtest URL sa 117 file para sa mga wika at sistema ng pagsulat na kapwa nasa mga archive, kabilang ang English. Sa bawat isa sa 9 na magkakaibang question ID, may tekstong naglalaman ng isang buong development sentence sa kahit isang file. Itinutugma sa pagsusuri ang mga source URL at eksaktong teksto sa mga pinagmulang archive. Dokumentasyon ng FLORES-200 · Orihinal na archive ng FLORES-200
Suriin ang tuntunin sa pinakamaikling sagot
Ang palaging pagpili sa pinakamaikling sagot ay nakakuha ng score na 27.03% sa buong Belebele test. Binibilang ng tuntunin ang mga character matapos gawing pare-pareho ang magkakatumbas na Unicode character at whitespace. Kung may magkakapantay na pinakamaikling pagpipilian, hinahati nito nang pantay ang isang puntos sa mga iyon at ang bahagi lamang ng minarkahang sagot ang binibilang. Ang inaasahang score ng pantay-pantay na paghula sa apat na pagpipilian ay 25%. Ginamit ng mga orihinal na may-akda ng Belebele ang pagkakatugma ng mga salita at haba ng sagot upang suriin kung may mga pahiwatig. Iniulat din nila ang resultang 28% sa 900 tanong mula sa isang modelong gumamit ng mga salita nang hindi isinasaalang-alang ang pagkakasunod-sunod ng mga ito. Papel tungkol sa Belebele, seksyon 3.2 · Apendise A.6
Ihambing ang mga score gamit ang iba’t ibang teksto
Ginamit namin ang parehong 900 question ID sa English at Vietnamese. Pinipili ng tuntunin ang sagot na may pinakamalaking bahagi ng magkakaibang salitang lumilitaw sa tanong o sa ibinigay na teksto. Kapag walang teksto, ang tanong lamang ang ginagamit nito. Kapag may magkapantay na pagpipilian, hinahati nang pantay ang isang puntos sa mga ito. Sa bawat pagsubok na may kapalit na teksto, kinukuha ang teksto mula sa ibang pahina at ginagamit ang parehong pinagmulang pahina para sa kapalit sa dalawang wika.
| Wika | Walang teksto | Unang kapalit | Itinalagang teksto | Saklaw sa 16 kapalit |
|---|---|---|---|---|
| Ingles | 24.60% | 26.38% | 28.72% | 24.60% hanggang 27.89% |
| Wikang Vietnamese | 25.98% | 24.80% | 27.17% | 23.58% hanggang 27.84% |
Mas mataas ang score gamit ang itinalagang teksto kaysa sa lahat ng 16 kapalit sa English at sa 15 kapalit sa Vietnamese. Kung ihahambing sa walang teksto, nadagdagan ang puntos gamit ang itinalagang teksto sa 311 tanong sa English at 313 sa Vietnamese. Nabawasan naman ang puntos sa 218 tanong sa English at 234 sa Vietnamese. Code para sa pagtutugma ng salita · Pinagsama-samang resulta
Palitan ang wika ng tanong
Sa English at Vietnamese MLQA development file, lumilitaw ang 511 question ID sa lahat ng apat na kumbinasyon ng wika ng tanong at teksto. Sa mga ID na iyon, kapag pinalitan ang wika ng tanong mula English patungong Vietnamese habang pinananatili ang English na teksto, eksaktong pareho ang teksto at listahan ng mga tinatanggap na sagot. Sa paghahambing gamit ang setup na iyon, ang parehong English na mga sagot ang batayan ng score para sa dalawang pagsubok. Papel tungkol sa MLQA · Ayos ng mga MLQA file
Ulitin ang pagsusuri sa pagtutugma ng mga salita
I-download ang orihinal na Belebele ZIP, ang script para sa pagtutugma ng mga salita, ang pantulong na script sa Python nito, at ang mga naka-save na pinagsama-samang resulta. Ilagay ang mga ito sa iisang folder. Bineberipika ng script ang hash ng archive at binabasa ang mga English at Vietnamese file. Iniuulat nito ang mga score bilang mga yunit ng puntos, kung saan ang 12 yunit ay katumbas ng isang tamang sagot. Gamitin ang Python 3.12 upang ulitin ang paghahambing.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json