शोध
समूहों में बाँटे गए टेस्ट सेट को स्वीकार करने से पहले वर्गों की जाँच कैसे करें
जिन उदाहरणों को ट्रेनिंग और टेस्ट के बँटवारे में साथ रहना चाहिए, उन्हें एक ही समूह में रखें। समूह बातचीत, ग्राहक या मूल्यांकन की कोई दूसरी इकाई हो सकते हैं। तरीका चुनने से पहले लिखें कि हर टेस्ट फ़ोल्ड में कौन-से वर्ग ज़रूरी हैं और न्यूनतम संख्या क्या है। हर वर्ग का होना और सटीक संतुलन अलग शर्तें हैं।
बने हुए विभाजन की जाँच करें
कौन-सा समूह किस फ़ोल्ड में गया, यह सहेजें और हर टेस्ट फ़ोल्ड में हर वर्ग के उदाहरण गिनें। अलग से जाँचें कि समूह टूटे नहीं और सभी ज़रूरी वर्ग मौजूद हैं। कोई ज़रूरी वर्ग गायब हो, तो विभाजन को रोकें और देखें कि पूरे समूहों को दूसरी तरह बाँटने से शर्त पूरी होती है या नहीं।
24 पंक्तियों के काल्पनिक उदाहरण में scikit-learn 1.7.2 के StratifiedGroupKFold ने बिना शफ़ल किए तीन फ़ोल्ड बनाए। समूहों की संख्यात्मक ID के एक सेट से वर्गों की संख्या के जोड़े (4, 2), (4, 6) और (4, 4) मिले। ID उलटने पर (4, 6), (4, 0) और (4, 6) मिले, जबकि पंक्तियाँ, लेबल और समूह-सदस्यता वही रहीं। पहले नतीजे में सभी वर्ग थे, पर सटीक संतुलन नहीं था। दूसरे में दोनों शर्तें पूरी नहीं हुईं। इस उदाहरण में ठीक (4, 4) का बँटवारा संभव था।
देखें कि शर्त पूरी हो सकती है या नहीं
दोनों फ़ोल्ड में हर वर्ग चाहिए, तो हर वर्ग कम से कम दो स्वतंत्र समूहों में होना चाहिए। देखें कि कौन-सा वर्ग किन समूहों में है, ताकि पता चले कि सारे वर्ग एक साथ दोनों फ़ोल्ड में आ सकते हैं या नहीं।
12 पंक्तियों के दो अलग उदाहरणों में हर वर्ग दो समूहों में है और हर समूह में दो पंक्तियाँ हैं। इसलिए हर वर्ग के दोनों समूह अलग फ़ोल्ड में जाने चाहिए। छह जोड़ों की एक कड़ी गोल चक्र बनाए, तो समूहों को बारी-बारी से बाँटना काम करता है। दो त्रिकोण बनें, तो हर त्रिकोण के तीनों समूहों की हर जोड़ी अलग फ़ोल्ड में जानी होगी। हर त्रिकोण में कुछ कमी रह जाती है। दो नाम वाले, गैर-खाली फ़ोल्ड में बाँटने के सभी 62 तरीकों में चक्र के लिए दो तरीके पूरे वर्ग देते हैं और दोनों त्रिकोणों के लिए कोई तरीका नहीं।
ऐसा सुधार चुनें जो तय शर्तें मानता हो
दो त्रिकोण वाले उदाहरण में बने पहले फ़ोल्ड में वर्ग 5 नहीं है और दूसरे में वर्ग 1 नहीं है। मौजूदा समूह अपनी जगह रहें, तो दो नए स्वतंत्र समूह अलग-अलग कमियाँ पूरी कर सकते हैं। एक पूरा समूह केवल एक टेस्ट फ़ोल्ड में जा सकता है।
मौजूदा समूहों को बदल सकते हैं, तो एक नया समूह काफ़ी हो सकता है। उदाहरण में दो वर्गों के 15 संभावित मेलों में नौ काम करते हैं। हर मेल में हर त्रिकोण से एक वर्ग है। चार मेलों में कम से कम एक पुराना समूह बदलना पड़ता है और बाकी पाँच में कम से कम तीन। नया समूह इकट्ठा करने से पहले देखें कि उसमें कौन-से वर्ग हैं और मूल्यांकन किन बदलावों की इजाज़त देता है।
मंज़ूर बँटवारा, हर फ़ोल्ड की गिनती और समूहों को साथ रखने की जाँच का तरीका दर्ज करें। मामलों की सूची बदले, तो मूल्यांकन को नया संस्करण दें। कवरेज की जाँच तय गिनती और सदस्यता की पुष्टि करती है। बाकी शर्तें भी जाँचें, जैसे मामले उस उपयोग का प्रतिनिधित्व करते हैं या नहीं जिसके लिए मूल्यांकन किया गया है।