Pananaliksik
Paano magplano ng pagsusuri ng sample para makakita ng maling label
Itakda muna kung anong desisyon ang susuportahan ng pagsusuri bago pumili ng laki ng sample. Kung may takdang bilang ng maling label sa pangkat ng datos, gaano kalaking panganib ang tatanggapin mong walang matagpuan? Depende ito sa pagpili ng mga row, sa mga maling kayang makita ng mga tagasuri, at sa paghahati ng trabaho.
Batay ang mga halimbawa sa kathang-isip na pangkat sa gabay sa pagsusuri ng dataset, na may 120 row at anim na maling label. Ibang bahagi ng plano ang tinitingnan sa bawat halimbawa.
Kuwentahin ang panganib ayon sa paraan ng pagpili ng mga row
Ipagpalagay muna na nakikita ang bawat mali sa mga sinuring row. Kapag pantay ang pagkakataong mapili ang anumang pangkat ng 20 magkakaibang row, hindi nakikita ang lahat ng anim na mali sa humigit-kumulang 32.63% ng mga pagkakataon. Kung kukunin mo ang bawat ikaanim na row mula sa isang sapalarang panimula at nasa iisang puwesto ang mga mali sa magkakasunod na pangkat ng anim na row, isa lang sa anim na panimula ang makakakita sa mga ito. Sa ayos na iyon, 83.33% ang tsansang walang matagpuan.
Kapag pumili ng tig-isang row mula sa bawat pangkat ng anim nang hiwalay sa ibang pangkat, bumababa ang panganib sa 33.49% sa ayos na iyon. Iyan din ang pinakamataas na panganib para sa paraang ito saanman nakapuwesto ang anim na mali. Sa halimbawang may umuulit na ayos, nagiging mas mababa lang sa 5% ang panganib kapag ginamit ang lahat ng anim na magkakaibang panimula. Sa pagpiling pantay ang tsansa, naaabot iyon sa 47 row kung nakikita ang lahat ng maling nasusuri.
Ihiwalay ang pagpili ng row sa kakayahang makakita ng mali
Sa 47 row na pinili nang pantay ang tsansa, 4.66% ang panganib na walang makitang totoong mali kung nakikita ang bawat maling nasusuri. Nagiging 10.06% ito kung ang bawat mali sa sample ay may hiwalay na 80% tsansang matukoy. Sa palagay na magkakahiwalay ang pagkakataong matukoy ang bawat mali, sa 59 row pa unang bumababa sa 5% ang panganib.
Sa 47 row, ang parehong 80% tsansa sa bawat mali ay maaaring magbigay ng 8.96% hanggang 23.73% na panganib na walang makitang mali, depende sa kung aling mga mali ang sabay na matutukoy. Ipinapalagay ng kuwenta na walang kaugnayan ang pantay na pagpili sa kung aling mali ang kayang makita ng pagsusuri. Sa pinakamasamang kaso, nakikita ang lahat ng anim na mali sa 80% ng mga pagsubok at wala sa natitirang 20%. Kahit suriin nang minsan ang bawat row, may 20% pa ring tsansang walang matagpuan. Sa mga pagsubok na alam na ang mga mali, itala kung alin ang sabay na nakita sa bawat maihahambing na pagsusuri.
Bilangin ang magkakaibang row at mga independiyenteng pagkakataong makakita ng mali
Isipin na may oras para sa 60 pagsusuri ng row. Sa halimbawang ito, nakikita ng bawat tagasuri ang lahat ng itinalagang mali sa 80% ng mga pagsubok at wala sa iba. Pantay ang pagkakataong maitalaga ang mga row, anuman ang kakayahang makita ang mga mali sa pagsubok.
| Paghahati ng pagsusuri | Magkakaibang row | Tsansang walang makitang totoong mali |
|---|---|---|
| Isang tagasuri ang tumitingin sa 60 row | 60 | 21.10% |
| Dalawang independiyenteng tagasuri ang tumitingin sa magkahiwalay na tig-30 row | 60 | 10.33% |
| Dalawang tagasuri na nakakakita ng mga mali sa parehong pagsubok ang tumitingin sa magkahiwalay na tig-30 row | 60 | 21.10% |
| Dalawang independiyenteng tagasuri ang parehong tumitingin sa iisang hanay ng 30 row | 30 | 20.36% |
Itala ang mga ID ng napiling row, ang tuntunin sa pagpili, kung sino ang tumingin sa bawat row, at ang mga palagay tungkol sa pagtukoy ng mali. Ihambing ang plano sa itinakdang limitasyon sa panganib. Sa pagsusuring naghahanap ng kahit isang totoong mali, suriin din nang hiwalay ang maling babala, ang kalidad ng pagresolba ng hindi pagkakasundo, at ang pagiging angkop sa layunin.
Halimbawa ng pagpili ng sample sa gabay sa pagsusuri ng dataset · Mga pamamaraan ng pagpili ng sample ng Statistics Canada · Pag-aaral sa mga pagsusuring maaaring makaligtaan ang mali