Lumaktaw sa pangunahing nilalaman

Menu

Pananaliksik

Paano alamin kung ginagamit ng modelo ang teksto

Wika ng artikulo: Tagalog

Itanong sa modelo ang parehong mga tanong nang dalawang beses, una na may teksto at pangalawa na wala. Panatilihin ang mga tanong, pagpipilian at tuntunin sa pagmamarka. Ihambing ang score para makita kung gaano kalaki ang naitulong ng teksto. Para sa may pagpipilian, subukan din na iyon lang ang ibigay. Sa buong Belebele, nakakuha ng 27.03% ang tuntuning laging pumipili ng pinakamaikling sagot. Kung pantay ang tsansa ng bawat pagpipilian sa paghula, 25% ang inaasahang score. Pagsuri sa haba ng sagot sa Belebele

Isa lang ang baguhin sa bawat pagsubok

Ano ang ibinibigay sa modeloAno ang ihahambing
Teksto, tanong at mga pagpipilianGaano kadalas itong tama kapag kumpleto ang ibinigay
Tanong at mga pagpipilianGaano kadalas itong tama nang walang teksto
Mga pagpipilian langGaano kadalas itong tama gamit ang mga pagpipilian lang

Gamitin ang parehong modelo at mga setting sa bawat pagsubok. Bilangin kung ilang maling sagot ang nagiging tama dahil sa teksto at kung ilan ang nagbabago sa kabaligtaran. Ipinapakita nito kung bakit maaaring maliit ang pagbabago ng score kahit magkaibang tanong ang nasagot nang tama. Para sa nakasulat na sagot, ihambing ang unang dalawang pagsubok nang walang pagpipilian, gamit ang parehong mga tinatanggap na sagot.

Tingnan kung saang mga tanong nagbago ang resulta

Ipagpalagay na tama ang modelo sa 70 sa 100 tanong sa parehong pagsubok. Sa pagtutugma ayon sa ID, 62 ang tama sa pareho at 22 ang mali sa pareho. Nang idagdag ang teksto, naging tama ang walong mali at naging mali ang walong tama. Nanatiling 70% ang score, pero may 16 tanong na puwedeng suriin para makita kung saan nakatulong o nakasagabal ang teksto.

Sumubok ng simpleng tuntunin sa pagtutugma ng salita

Sinuri ng mga may-akda ng Belebele kung may pahiwatig sa magkatugmang mga salita at haba ng sagot. Nag-ulat din sila ng 28% sa 900 tanong gamit ang modelong tumitingin sa mga salitang naroon kahit ano ang pagkakasunod-sunod. Papel tungkol sa Belebele, seksiyon 3.2 · Apendise A.6

Gumamit kami ng iisang tuntunin sa parehong 900 tanong ng Belebele sa Ingles at Vietnamese. Sinubukan namin nang walang teksto, gamit ang kaukulang teksto at gamit ang teksto mula sa ibang pahina. Sa bawat pagpipilian, binilang namin ang bahagi ng mga natatanging salita nito na nasa tanong o sa ibinigay na teksto. Kung walang teksto, tanong lang ang ginamit. Pinipili ng tuntunin ang may pinakamalaking bahagi. Kapag tabla ang mga pagpipiliang may pinakamalaking bahagi, hinahati namin nang pantay ang isang punto at binibilang lang ang bahagi ng minarkahang tamang sagot. Sa bawat tanong, ang mga pamalit sa Ingles at Vietnamese ay mula sa parehong ibang pahina, sa kani-kanilang wika. Code para ulitin ang pagsusuri · Mga resulta

WikaWalang tekstoTeksto mula sa ibang pahinaKaukulang teksto
Ingles24.60%26.38%28.72%
Vietnamese25.98%24.80%27.17%

Sa unang paghahambing, pinakamataas ang score sa dalawang wika kapag kaukulang teksto ang ginamit. Sumubok pa kami ng 15 paraan ng pagpapalit. Sa lahat ng 16 na pagpapalit, mula 24.60% hanggang 27.89% ang score sa Ingles at 23.58% hanggang 27.84% sa Vietnamese. Mas mataas ang score sa kaukulang teksto kaysa sa lahat ng 16 na pagpapalit sa Ingles at 15 sa Vietnamese. Sumubok ng ilang pamalit para hindi masyadong nakadepende ang konklusyon sa pahinang napili. Mga resulta ng lahat ng pagpapalit

Kumpara sa pagsubok na walang teksto, tumaas ang puntos sa 311 tanong sa Ingles at 313 sa Vietnamese gamit ang kaukulang teksto. Bumaba ang puntos sa 218 tanong sa Ingles at 234 sa Vietnamese. Kung ihahambing ang tuntunin sa isang modelo, pareho ang gamitin na mga tanong sa pagmamarka.

Panatilihin ang mga tanong at tuntunin sa pagmamarka

Itabi ang ID ng tanong sa bawat sagot. Pareho ang 900 ID sa 122 file ng Belebele, pero iba sa Ingles ang ayos sa 52 file. Kung aalisin ang tanong na may magkaparehong teksto ng mga pagpipilian, alisin ang parehong mga ID sa lahat ng pagsubok. Itabi ang titik para makilala ang dalawang pagpipilian na pareho ang nakasulat. Pag-ulit sa pagsuri ng ayos ng tanong · Pagsala ng mga tanong

Suriin kung ano ang maaaring nakita na ng modelo

Ang tamang sagot kahit walang teksto ay maaaring mula sa dating kaalaman, pahiwatig sa tanong o mga pagpipilian, o hula. Kung ginamit ang FLORES-200 development set sa pag-adjust ng modelong susubukin sa Belebele, puwedeng alisin ang mga tanong mula sa mga URL na iyon. Suriin din ang teksto. Sa orihinal na mga file, may siyam na tanong mula sa ibang URL na may pangungusap pa rin mula sa development set, sa kahit isang wika o sistemang panulat na sinuri. Pagsuri sa mga teksto ng Belebele

Panatilihin ang teksto kapag binago ang wika ng tanong

Para malaman kung nakakaapekto ang ibang wika ng tanong sa resulta, gawin nang hiwalay ang paghahambing. Sa sinuri naming mga file ng MLQA sa Ingles at Vietnamese, pinapayagan ng 511 ID ang pagpapalit ng wika ng tanong habang eksaktong pareho ang tekstong Ingles at ang mga tinatanggap na sagot. Markahan ang dalawang pagsubok gamit ang parehong sagot sa Ingles. Magkatugmang tanong sa MLQA