Araştırma
Gruplu bir değerlendirme bölmesini kabul etmeden önce sınıf kapsamı nasıl kontrol edilir?
Eğitim ve test ayrımında birlikte kalması gereken örnekleri aynı grupta tutun. Bir grup, bir konuşma, müşteri veya değerlendirmede tanımlanan başka bir birim olabilir. Bölme yöntemini seçmeden önce her test bölümünde bulunması gereken sınıfları ve asgari örnek sayılarını yazın. Sınıfların bulunması ve tam denge farklı koşullardır.
Oluşturulan bölmeyi kontrol edin
Grupların hangi bölümlere atandığını kaydedin ve her test bölümündeki sınıf örneklerini sayın. Grupların bütünlüğünü ve sınıf kapsamını ayrı ayrı kontrol edin. Gerekli bir sınıf eksikse bölmeyi kabul etmeyi erteleyin ve bütün grupları farklı atamanın koşulu karşılayıp karşılamadığına bakın.
24 satırlık kurgusal örnekte scikit-learn 1.7.2 içindeki StratifiedGroupKFold, karıştırma kapalıyken üç bölüm kullandı. Bir sayısal grup kimliği dizisi (4, 2), (4, 6) ve (4, 4) sınıf sayısı çiftlerini verdi. Kimlikler ters çevrilince satırlar, etiketler ve grup üyelikleri aynı kalmasına rağmen (4, 6), (4, 0) ve (4, 6) elde edildi. İlk sonuç tüm sınıfları içeriyor ama tam dengeli değil. İkincisi iki koşulu da karşılamıyor. Örnekte tam (4, 4) dağılımı mümkündü.
Koşulun karşılanıp karşılanamayacağını kontrol edin
İki bölümün de her sınıfı içermesi için her sınıf en az iki bağımsız grupta bulunmalıdır. Tüm sınıfların iki bölümde aynı anda yer alıp alamayacağını görmek için sınıfların hangi gruplarda bulunduğuna bakın.
12 satırlık iki ayrı örnekte her sınıf iki grupta bulunur ve her grupta iki satır vardır. Dolayısıyla her sınıfın iki grubu ayrı bölümlere gitmelidir. Altı çift bir halka oluşturduğunda grupları sırayla farklı bölümlere atamak işe yarar. Çiftler iki üçgen oluşturduğunda, her üçgendeki üç grubun her çifti ayrı bölümlere gitmek zorunda kalır. Her üçgende bir eksik kaçınılmazdır. Adlandırılmış ve boş olmayan iki bölüme yapılan 62 atamanın tamamında, halka için iki tam kapsamlı atama vardır, üçgenler için hiç yoktur.
Sabit koşullara uyan bir düzeltme seçin
İki üçgen örneğinde, oluşan ilk bölümde sınıf 5, ikinci bölümde sınıf 1 eksiktir. Mevcut grup atamaları sabit kalırsa iki yeni bağımsız grup boşlukları ayrı ayrı doldurabilir. Bütün bir grup yalnızca bir test bölümüne girebilir.
Mevcut gruplar taşınabiliyorsa tek yeni grup yeterli olabilir. Örnekte 15 olası iki sınıflı profilin dokuzu işe yarar. Her profilde her üçgenden bir sınıf vardır. Dört profil en az bir eski grubun taşınmasını, diğer beşi en az üç grubun taşınmasını gerektirir. Yeni grubu toplamadan önce içerdiği sınıfları ve hangi taşımaların mümkün olduğunu kontrol edin.
Kabul edilen atamayı, bölüm başına sayıları ve grup bütünlüğünü nasıl kontrol ettiğinizi kaydedin. Vaka listesi değişirse değerlendirmeye yeni bir sürüm verin. Kapsam kontrolü istenen sayıları ve üyelikleri doğrular. Vakaların kullanım amacını temsil etmesi gibi diğer kabul koşullarını da kontrol edin.