शोध
मैक्रो-F1 की तुलना से पहले क्या जाँचें
मैक्रो-F1 औसत में शामिल हर वर्ग के स्कोर को बराबर वज़न देता है। इससे वर्गीकरण मॉडल चुनने से पहले मामलों की ID, लेबल का संस्करण और स्कोर निकालने की सेटिंग दर्ज करें। scikit-learn 1.7.2 में काल्पनिक डेटा वाले तीन परीक्षण दिखाते हैं कि एक जैसी भविष्यवाणियों से अलग-अलग रैंकिंग बन सकती हैं। scikit-learn में F1 की परिभाषा और विकल्प
लेबल में एक जैसा विवरण रखकर स्कोर की तुलना करें। ग्राहक सहायता के नौ मामलों पर रिफ़ंड, इनवॉइस और लॉगिन के लेबल थे। B का स्कोर 0.778 था और वह 0.556 वाले A से आगे था। रिफ़ंड और इनवॉइस को बिलिंग में मिलाने पर A की चार गलतियाँ बिलिंग के लिए सही भविष्यवाणियाँ बन गईं। B की दोनों गलतियाँ अब भी अलग-अलग श्रेणियों के बीच थीं। अब A 1.000 के साथ 0.750 वाले B से आगे था। अलग-अलग लेबल संस्करणों के स्कोर की तुलना करनी हो, तो लेबल का मिलान सहेजें और दोनों सिस्टम के स्कोर समान स्तर पर फिर से निकालें। अगर यह फ़र्क काम के लिए अब भी ज़रूरी है, तो मूल लेबल और भविष्यवाणियाँ सहेजकर रखें।
जाँचें कि हर औसत में कौन से वर्ग शामिल हैं। एक अलग समूह के संदर्भ लेबल में धोखाधड़ी का कोई मामला नहीं था। A ने एक बार धोखाधड़ी की भविष्यवाणी की और उस वर्ग के लिए उसका F1 स्कोर परिभाषित था, जिसका मान शून्य था। B के संदर्भ लेबल और भविष्यवाणियों में धोखाधड़ी नहीं थी। डेटा से वर्ग तय करने पर B को दो वर्गों पर 0.667 और A को तीन वर्गों पर 0.600 मिला। तीन वर्गों की तय सूची लेकर अपरिभाषित F1 स्कोर को शून्य मानने पर B का स्कोर 0.444 हो गया। उसी सूची से अपरिभाषित F1 स्कोर को औसत से हटाने पर B का स्कोर फिर 0.667 हुआ। दर्ज करें कि कौन से वर्ग शामिल करने थे, अपरिभाषित स्कोर का नियम क्या था, हर वर्ग में कितने संदर्भ लेबल और भविष्यवाणियाँ थीं, और औसत में वास्तव में कितने वर्ग शामिल हुए।
बताएँ कि आपने मामले मिलाए या समूहों के स्कोर का औसत लिया। आठ-आठ मामलों के दो संतुलित समूहों के मैक्रो-F1 स्कोर का औसत लेने पर A 0.600 के साथ 0.564 वाले B से आगे था। सभी 16 भविष्यवाणियों को साथ स्कोर करने पर B 0.625 के साथ 0.600 वाले A से आगे निकला। समूह बराबर आकार के हों, तो उन्हें बराबर वज़न देने या मामलों की संख्या के हिसाब से वज़न देने पर औसत समान रहता है। एक साथ निकाला गया वर्ग का स्कोर सही पॉज़िटिव, गलत पॉज़िटिव और गलत नेगेटिव की कुल संख्याओं का इस्तेमाल करता है। कुल स्कोर की रिपोर्ट में हर वर्ग का F1 निकालने से पहले ये संख्याएँ जोड़ें। समूहवार रिपोर्ट में हर समूह का स्कोर और वज़न दिखाएँ।
स्कोर के साथ लेबल के मिलान का संस्करण और हर वर्ग की कन्फ़्यूज़न मैट्रिक्स की गिनती सहेजें। रिपोर्ट की सेटिंग अलग हो, तो रैंकिंग समझने से पहले दोनों सिस्टम के स्कोर समान मामलों, लेबल के समान स्तर, अपरिभाषित स्कोर के समान नियम और नतीजे जोड़ने के समान तरीके से फिर निकालें।