Lumaktaw sa pangunahing nilalaman

Menu

Pananaliksik

Paano suriin ang AUROC mula sa cross-validation bago pumili ng modelo

Wika ng artikulo: Tagalog

Magsimula sa paghahambing na kailangan mo. Kasama ba ang lahat ng kailangang test fold? Dapat bang pareho ang bigat ng bawat fold o ng bawat pares na maihahambing? Kung galing ang mga score sa mga modelong sinanay nang magkahiwalay, alamin kung maihahambing ang mga ito sa iba’t ibang fold.

Tiyaking may score ang bawat kailangang fold

Para sa binary AUROC, bilangin ang mga positibo at negatibong kaso sa bawat test fold. Itabi ang mga validation ID na nabigyan ng score, ang score ng bawat kandidato sa bawat fold, at ang mga babala sa pagtakbo.

Sa kathang-isip na grid search na may sampung kaso, dalawang fold ang may parehong dalawang klase at puro negatibo ang pangatlo. Nagbababala ang scikit-learn 1.7.2 at nagbibigay ng NaN sa dalawang kandidato sa pangatlong fold. Parehong NaN ang average at parehong nasa ranggo 1 ang mga kandidato. Sinasanay ulit ng search ang unang kandidato, kahit may error_score="raise". Nagbabago ang napipili kapag binaligtad ang ayos.

Sa hiwalay na pagsusuri na limitado sa dalawang fold na may tiyak na score, 1.00 ang average ng A at 0.375 ang sa B. Napipili ang A sa parehong ayos. Kung iuulat ang pagsusuring ito, itala ang mas makitid na saklaw. Ayusin muna ang saklaw ng orihinal na kailangang fold bago gamitin ang search sa pagpili ng mananalo.

Suriin kung paano binibigyan ng bigat ang mga score

Sa binary AUROC na walang weighting, ang test fold na may p positibo at n negatibo ay may p × n paghahambing ng positibo at negatibo. Ipinapakita ng AUROC sa loob ng fold kung gaano kadalas mas mataas ang score ng positibo, na may kalahating puntos kapag tabla. Sa average ayon sa fold, pantay ang bigat ng mga fold. Sa weighting ayon sa pares sa loob ng fold, pantay ang bigat ng bawat pares na puwedeng isama.

Sa isa pang kathang-isip na halimbawa, parehong may anim na row ang mga fold. Sa fold 1, isang positibo at limang negatibo ang nagbibigay ng limang pares. Sa fold 2, tatlo sa bawat klase ang nagbibigay ng siyam na pares. Nakakuha ang A ng 5/5 at 4/9. Nakakuha ang B ng 2/5 at 8/9.

PagkalkulaABMas mataas na score
Pantay na bigat bawat fold13/1829/45A
Pantay na bigat bawat pares sa loob ng fold9/1410/14B

Tabla ang mga score sa paghahambing na ito kapag 20/47 ang bigat ng fold 1. Kung pantay ang bigat ng mga fold, mas malaki ang bigat ng fold 1. Sa weighting ayon sa pares, 5/14 ang bigat nito kaya nangunguna ang B. Parehong binibilang ng dalawang paraan ang paghahambing sa loob ng mga fold.

Suriin ang mga palagay sa pagsasama-sama ng score

Kapag pinag-isang hanay muna ang mga prediksiyon, naihahambing din ang mga positibo at negatibong kaso mula sa magkaibang fold. Sa ikatlong halimbawa, nakakuha ang A ng 3/4 sa bawat fold at ang B ng 2/4 sa bawat fold. Ang unang pinagsamang score ay 13/16 para sa A at 11/16 para sa B. Kapag dinagdagan ng isang pare-parehong halaga ang mga score ng A sa ikalawang fold, hindi nagbabago ang pagkakasunod sa bawat fold pero bumababa sa 10/16 ang pinagsamang score ng A. Nananatili ang B sa 11/16 at nababaligtad ang resulta.

Kung ang tanong ay tungkol sa ranggo sa loob ng bawat fold na inilaan sa test, iulat ang score ng bawat fold at ang napiling weighting. Kung pinagsama ang mga prediksiyon, itala kung bakit maihahambing ang mga scale mula sa magkahiwalay na pagsasanay. Itabi ang pagtatalaga sa fold, bilang bawat klase, mga column ng score, tuntunin ng pagsasama at resulta ng pagpili para maulit ng ibang reviewer ang paghahambing.

Kathang-isip ang mga score sa tatlong halimbawa. Mga prediksiyon mula sa cross-validation sa scikit-learn · Pag-aaral sa pagsasama ng mga resulta ng cross-validation