# Ano ang susuriin bago ihambing ang macro-F1

Pareho ang bigat ng score ng bawat klaseng isinama sa average ng macro-F1. Bago ito gamitin sa pagpili ng classifier, itala ang mga ID ng kaso, bersiyon ng mga label, at mga setting sa pagkalkula. Makikita sa tatlong pagsubok gamit ang kathang-isip na datos sa scikit-learn 1.7.2 na puwedeng magkaiba ang ranggo kahit pareho ang mga prediksiyon. [Kahulugan at mga opsyon ng F1 sa scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Ihambing ang mga score sa parehong antas ng detalye ng mga label.** Sa siyam na kaso ng customer support na may mga label na refund, invoice, at pag-login, nanguna ang B, 0.778 kumpara sa 0.556. Nang pagsamahin ang refund at invoice sa kategoryang pagsingil, naging tamang prediksiyon para sa pagsingil ang apat na pagkakamali ng A. Ang dalawang pagkakamali ng B ay nasa magkaibang kategorya pa rin sa mga tamang sagot. Nanguna naman ang A, 1.000 kumpara sa 0.750. Kung kailangan mong ihambing ang mga score mula sa magkaibang bersiyon ng label, itabi ang talaan ng pagtutumbas at kalkulahin ulit ang score ng dalawang sistema sa parehong antas. Itabi ang mga orihinal na label at prediksiyon kung mahalaga pa rin sa gawain ang pagkakaiba ng mga label.

**Suriin kung aling mga klase ang kasama sa bawat average.** Sa ibang grupo na walang kaso ng panloloko sa mga reference label, minsang nagpredikta ang A ng panloloko at nakakuha ng F1 na may tiyak na halagang sero para sa klaseng iyon. Walang panloloko sa mga reference label o prediksiyon ng B. Nang tukuyin ang mga klase mula sa datos, nakakuha ang B ng 0.667 sa dalawang klase at ang A ng 0.600 sa tatlo. Sa isang takdang listahan ng tatlong klase at sero para sa F1 na walang tiyak na halaga, bumaba ang B sa 0.444. Sa parehong listahan, nang alisin sa average ang F1 na walang tiyak na halaga, bumalik ang B sa 0.667. Itala ang listahan ng mga klaseng balak isama, ang tuntunin para sa mga score na walang tiyak na halaga, ang bilang ng mga reference label at prediksiyon sa bawat klase, at ang bilang ng mga klaseng naisama sa average.

**Sabihin kung pinagsama mo ang mga kaso o kinuha ang average ng mga score ng grupo.** Sa dalawang balanseng grupo na may walong kaso bawat isa, nanguna ang A batay sa average ng dalawang macro-F1 score, 0.600 kumpara sa 0.564. Nang sabay na kalkulahin ang score ng lahat ng 16 na prediksiyon, nanguna ang B, 0.625 kumpara sa 0.600. Kung pareho ang laki ng mga grupo, pareho ang average kapag pantay ang bigat ng mga grupo o kapag ibinatay ang bigat sa dami ng kaso. Ang pinagsamang score ng isang klase ay gumagamit ng kabuuang bilang ng mga tunay na positibo, maling positibo, at maling negatibo. Para sa pinagsamang ulat, pagsamahin ang mga bilang bago kalkulahin ang F1 ng bawat klase. Para sa ulat na nakahiwalay ayon sa grupo, ipakita ang mga score at bigat ng bawat grupo.

Itabi kasama ng score ang bersiyon ng pagtutumbas ng mga label at ang mga bilang sa confusion matrix para sa bawat klase. Kapag iba-iba ang mga setting ng mga ulat, kalkulahin ulit ang score ng dalawang sistema gamit ang parehong mga kaso, detalye ng label, tuntunin para sa mga score na walang tiyak na halaga, at paraan ng pagsasama bago bigyang-kahulugan ang ranggo.

[I-download ang mga script at na-save na resulta (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
