Lumaktaw sa pangunahing nilalaman

Menu

Pananaliksik

Paano ihambing ang mga score sa pagbasa na may pagpipilian sa iba’t ibang wika

Wika ng artikulo: Tagalog

Gamitin ang parehong mga tanong at tuntunin sa pagmamarka sa bawat wika. Tingnan kung may magkaparehong pagpipilian at mga tekstong maaaring nakita na ng modelo. Sa Belebele, isang pagsusulit sa pagbasa sa iba’t ibang wika, kinopya namin ang mga numero ng tamang sagot sa bawat file at inayos ang mga ito ayon sa pagkakasunod-sunod ng mga tanong sa Ingles. Lumabas na 73.55% ang score kapag numero ng hilera ang ginamit sa pagtutugma. Naging 100% ito kapag ID ng tanong ang ginamit. Pag-ulit sa pagmamarka ng Belebele

Itugma ang bawat sagot sa tamang tanong

Itabi ang wika, ID ng tanong at numero o titik ng piniling sagot. Pareho ang 900 ID ng tanong sa lahat ng 122 file ng Belebele, pero iba sa Ingles ang pagkakasunod-sunod sa 52 file. Sa pagtutugma ayon sa hilera, nakakuha pa rin ng puntos ang 9,838 sagot na napunta sa maling tanong dahil nagkataong magkapareho ang mga numero ng sagot. Pagsuri sa ayos ng mga tanong

Tingnan kung pareho ang teksto ng dalawang pagpipilian

Halimbawang 12 ang nakasulat sa B at D at B ang minarkahang tama sa file. Kung 12 ang sagot, alam mo ang teksto nito. Kailangan ang titik para markahan ito ayon sa posisyon. Sa 148 hilera ng Belebele, nauulit ang teksto ng minarkahang tamang sagot. Nang kopyahin namin ito nang eksakto, nabawasan ng 16 puntos kapag pinili ang unang tugma at 133 kapag ang huli. Magpasya kung label o teksto ang batayan sa pagmamarka, at iyon din ang gamitin sa pagsusuri ng mga pagpipilian. Magkaparehong pagpipilian

Ihambing ang mga score sa parehong mga tanong

Kung aalisin ang 148 hilera ng nauulit na sagot sa mga file lamang kung saan lumalabas ang mga ito, 894 hanggang 899 na tanong ang matitira sa bawat wika. Para ihambing ang parehong mga tanong sa lahat ng wika, alisin ang lahat ng 23 apektadong ID sa bawat file. May 877 tanong na matitira sa lahat. Iulat ang dami sa simula at ang daming binigyan ng score. Paghahambing ng mga paraan ng pagsala

Alamin kung aling mga teksto ang maaaring nakita na ng modelo

Kung ginamit ang development set ng FLORES-200 sa pag-adjust ng modelo, tingnan kung kasama sa Belebele ang parehong mga teksto. Sa file sa Ingles, 513 tanong ang tumutukoy sa mga pahina sa development set. Sa 417 sa mga iyon, ang pinagsama-samang pangungusap mula sa FLORES ay eksaktong teksto sa Belebele. Nag-iiba ang bilang ng eksaktong tugma sa iba pang 116 file ng wika at sistema ng pagsulat na pareho sa dalawang dataset. Suriin ang teksto sa wikang sinusubok mo. Pag-uulit ng mga tekstong Ingles · Pag-uulit ng mga isinaling teksto