Lumaktaw sa pangunahing nilalaman

Menu

Pananaliksik

Paano ulitin at ihambing ang mga score ng chrF para sa buong corpus

Wika ng artikulo: Tagalog

Para ulitin ang pagkalkula ng chrF para sa buong corpus, itabi ang pangalan, bersiyon, at mga setting ng sukatan pati ang eksaktong input. I-save ang file ng mga prediksiyon at ang listahan ng mga reference file sa tamang ayos, kasama ang mga checksum. Panatilihin ang mga ID ng segment o ibang tala kung aling segment sa bawat reference file ang tumutugma sa bawat prediksiyon.

Gumagamit ang mga halimbawa ng kathang-isip na teksto, dalawang segment, at mga default na setting ng chrF2 sa SacreBLEU 2.6.0.

Gamitin ang ayos mula sa orihinal na pagsusuri

Pumipili ang SacreBLEU ng isang reference para sa bawat prediksiyon. Ginagamit nito ang mga bilang mula sa reference na may pinakamataas na score para sa pangungusap. Kapag eksaktong tabla, pinapanatili nito ang unang reference. Sa chrF2 para sa buong corpus, pinagsasama muna ang mga bilang ng napiling n-gram bago kalkulahin ang score.

Sa unang halimbawa, parehong nakakuha ng 6.25 ang dalawang reference para sa unang prediksiyon ng A. Magkaiba ang bilang ng mga n-gram. Kapag pinagpalit ang mga file, bumababa ang score ng A para sa corpus mula 79.03 hanggang 39.48. Nananatili sa 64.31 ang B kaya nag-iiba kung sino ang nangunguna. Pareho ang resulta mula sa API at command line. Iisa rin ang signature ng sukatan sa apat na pagtakbo. Gamitin ang mga file sa orihinal na ayos para suriin ang iniulat na halaga.

Ihambing ang parehong sistema sa bawat posibleng ayos

Kung hindi tiyak ang orihinal na ayos, itala ang mga ayos na maaaring ginamit at kalkulahin ang score ng dalawang sistema sa bawat isa. Kunin ang diperensiya sa bawat pagtakbo bago ibuod ang saklaw ng mga diperensiya.

Sa ibang halimbawa na may tatlong reference file, mula 22.67 hanggang 79.03 ang mga score ng A at mula 16.33 hanggang 43.33 ang sa B. Nagkakapatong ang mga saklaw. Gayunman, sa lahat ng anim na ayos na ginamit sa parehong sistema, nangunguna ang A nang 6.33 hanggang 35.69 puntos, gamit ang mga score bago i-round. Kung nag-iiba ang nangunguna ayon sa ayos, iulat iyon. Kung iisa ang nangunguna, sabihin kung aling mga parehong ayos ang sumusuporta sa konklusyon. Hanapin ang orihinal na ayos para suriin ang orihinal na halaga.

Kalkulahin ulit ang mga score kapag nagbago ang mga reference

Maaaring pataasin ng bagong reference ang score ng isang pangungusap habang bumababa ang chrF2 para sa buong corpus. Sa ikatlong halimbawa, pinataas ng dagdag na reference file ang score ng unang pangungusap ng A mula 6.25 hanggang 6.94. Nanatili sa 100 ang pangalawa. Tumaas ang average ng A para sa mga pangungusap, pero bumaba ang score nito para sa corpus mula 79.03 hanggang 43.60. Nanatili sa 64.31 ang B. Mas mataas ang score ng dagdag na reference para sa unang segment, at pareho ang resulta para sa corpus sa dalawang ayos. Binabago ng mga napiling bilang ang dami ng tugma at ang mga denominator sa pagkalkula para sa corpus.

Kapag nagbago ang mga reference, kalkulahin ang mga score ng parehong sistema gamit ang eksaktong file sa ayos ng bawat bersiyon. Itabi nang magkakasama ang apat na resulta para direktang maihambing ng mambabasa ang dalawang sistema sa bawat bersiyon at makita ang epekto ng pagbabago. Tukuyin kung ang resulta ay chrF2 para sa buong corpus o average ng mga score ng pangungusap.

Pagpili ng reference at pagkalkula para sa buong corpus sa SacreBLEU 2.6.0