शोध
मॉडल चुनने से पहले क्रॉस-वैलिडेशन AUROC कैसे जाँचें
पहले तय करें कि आपको कौन-सी तुलना चाहिए। क्या उसमें हर ज़रूरी टेस्ट फ़ोल्ड शामिल है? हर फ़ोल्ड को बराबर वज़न मिलना चाहिए या तुलना करने लायक हर जोड़ी को? अगर स्कोर अलग-अलग ट्रेन किए गए मॉडल से आए हैं, तो जाँचें कि उनकी तुलना फ़ोल्ड के बीच की जा सकती है या नहीं।
देखें कि हर ज़रूरी फ़ोल्ड का स्कोर है
बाइनरी AUROC के लिए हर टेस्ट फ़ोल्ड में पॉज़िटिव और नेगेटिव मामले गिनें। स्कोर की गई वैलिडेशन ID, हर उम्मीदवार के फ़ोल्डवार स्कोर और रन की चेतावनियाँ सहेजें।
दस मामलों की एक काल्पनिक ग्रिड सर्च में दो फ़ोल्ड में दोनों वर्ग हैं और तीसरे में सिर्फ़ नेगेटिव मामले हैं। scikit-learn 1.7.2 चेतावनी देता है और तीसरे फ़ोल्ड में दोनों उम्मीदवारों के लिए NaN लौटाता है। दोनों औसत NaN हैं और दोनों उम्मीदवार रैंक 1 पर हैं। सर्च सूची में पहले उम्मीदवार को फिर ट्रेन करती है, error_score="raise" के साथ भी। क्रम उलटने पर चुनाव बदलता है।
सिर्फ़ परिभाषित स्कोर वाले दो फ़ोल्ड की अलग जाँच में A का औसत 1.00 और B का 0.375 है। दोनों क्रमों में A चुना जाता है। इस जाँच की रिपोर्ट दें तो वैलिडेशन का छोटा दायरा दर्ज करें। सर्च से विजेता चुनने से पहले मूल रूप से ज़रूरी फ़ोल्ड का कवरेज ठीक करें।
फ़ोल्ड के स्कोर का वज़न जाँचें
बिना वज़न वाले बाइनरी AUROC में p पॉज़िटिव और n नेगेटिव मामलों वाले टेस्ट फ़ोल्ड में p × n पॉज़िटिव-नेगेटिव तुलनाएँ होती हैं। फ़ोल्ड के भीतर AUROC बताता है कि कितनी बार पॉज़िटिव का स्कोर अधिक होता है। बराबरी पर आधा अंक मिलता है। फ़ोल्डवार औसत में हर फ़ोल्ड का वज़न बराबर है। फ़ोल्ड के भीतर जोड़ियों से वज़न तय करने पर हर योग्य जोड़ी का वज़न बराबर है।
एक अलग काल्पनिक उदाहरण में दोनों फ़ोल्ड में छह पंक्तियाँ हैं। फ़ोल्ड 1 में एक पॉज़िटिव और पाँच नेगेटिव हैं, इसलिए पाँच जोड़ियाँ बनती हैं। फ़ोल्ड 2 में दोनों वर्गों के तीन-तीन मामले हैं, इसलिए नौ जोड़ियाँ बनती हैं। A को 5/5 और 4/9 मिलते हैं। B को 2/5 और 8/9 मिलते हैं।
| गणना | A | B | ज़्यादा स्कोर |
|---|---|---|---|
| हर फ़ोल्ड का समान वज़न | 13/18 | 29/45 | A |
| एक ही फ़ोल्ड की हर जोड़ी का समान वज़न | 9/14 | 10/14 | B |
इस तुलना में फ़ोल्ड 1 का वज़न 20/47 हो, तो स्कोर बराबर हैं। फ़ोल्ड के समान वज़न से फ़ोल्ड 1 को इससे अधिक वज़न मिलता है। जोड़ियों के हिसाब से उसे 5/14 मिलता है और B आगे निकलता है। दोनों गणनाएँ फ़ोल्ड के भीतर की तुलनाएँ गिनती हैं।
स्कोर मिलाने की मान्यताएँ जाँचें
पहले भविष्यवाणियाँ मिलाने पर अलग-अलग फ़ोल्ड के पॉज़िटिव और नेगेटिव मामलों की तुलना भी होती है। तीसरे उदाहरण में हर फ़ोल्ड के भीतर A को 3/4 और B को 2/4 मिलता है। मूल संयुक्त स्कोर A के लिए 13/16 और B के लिए 11/16 हैं। दूसरे फ़ोल्ड में A के हर स्कोर में एक समान मान जोड़ने से दोनों स्थानीय क्रम बने रहते हैं, पर A का संयुक्त स्कोर 10/16 हो जाता है। B 11/16 पर रहता है और तुलना का नतीजा उलट जाता है।
अगर सवाल हर अलग रखे टेस्ट फ़ोल्ड के भीतर की रैंकिंग का है, तो फ़ोल्ड के स्कोर और चुना वज़न बताएँ। भविष्यवाणियाँ मिलाएँ, तो लिखें कि अलग ट्रेनिंग के स्कोर की तुलना क्यों की जा सकती है। फ़ोल्ड का बँटवारा, वर्गों की गिनती, स्कोर कॉलम, नतीजे जोड़ने का नियम और चुनाव साथ रखें ताकि कोई और तुलना दोहरा सके।
तीनों उदाहरण काल्पनिक स्कोर इस्तेमाल करते हैं। scikit-learn में क्रॉस-वैलिडेशन की भविष्यवाणियाँ · क्रॉस-वैलिडेशन के नतीजे जोड़ने पर शोध