शोध
NLI लेबल के इंडेक्स बदलने पर ज़ीरो-शॉट स्कोर बदल सकता है
तीन लॉजिट के दो काल्पनिक सेट, दो वास्तविक मॉडल कॉन्फ़िगरेशन के अनुसार व्यवस्थित करने पर, उलटी मल्टी-लेबल रैंकिंग देते हैं। एक उम्मीदवार वाला पथ भी स्कोर बदलता है। दो उम्मीदवारों वाला एक्सक्लूसिव पथ दोनों व्यवस्थाओं के लिए एक जैसी रैंकिंग देता है। यह तुलना सार्वजनिक कॉन्फ़िगरेशन मेटाडेटा का उपयोग करके Transformers 4.55.0 और 5.23.0 में ज़ीरो-शॉट स्कोरर की जाँच करती है; इसमें मॉडल इन्फ़रेंस नहीं होता।
अपेक्षित जोड़ी और इस्तेमाल की गई जोड़ी
ज़ीरो-शॉट क्लासिफ़िकेशन पाइपलाइन हर उम्मीदवार लेबल के लिए एक प्रिमाइस और एक हाइपोथीसिस बनाती है। इसकी मल्टी-लेबल स्कोरिंग का दस्तावेज़ हर उम्मीदवार के एंटेलमेंट और कॉन्ट्राडिक्शन लॉजिट पर सॉफ़्टमैक्स का वर्णन करता है। जाँचे गए दोनों रिलीज़ में स्कोरर label2id में एंटेलमेंट ढूँढ़ता है। जब एंटेलमेंट इंडेक्स 0 पर होता है, तो वह दूसरे इनपुट के रूप में आख़िरी लॉजिट इस्तेमाल करता है, और अन्यथा इंडेक्स 0 वाला लॉजिट। केवल एक उम्मीदवार होने पर भी यही शाखा चलती है। स्कोरिंग दस्तावेज़ · 4.55.0 स्कोरर · 5.23.0 स्कोरर
| प्रकाशित कॉन्फ़िग | इंडेक्स 0 | इंडेक्स 1 | इंडेक्स 2 | एंटेलमेंट के साथ जोड़ा गया लॉजिट |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | एंटेलमेंट | कॉन्ट्राडिक्शन | न्यूट्रल | न्यूट्रल |
| facebook/bart-large-mnli | कॉन्ट्राडिक्शन | न्यूट्रल | एंटेलमेंट | कॉन्ट्राडिक्शन |
दोनों कॉन्फ़िग में फ़ॉरवर्ड और रिवर्स लेबल मैप एक-दूसरे से मेल खाते हैं। वे घोषित मैपिंग स्थापित करते हैं। यह प्रयोग नहीं मापता कि संबंधित मॉडलों ने क्या सीखा या उनके वास्तविक लॉजिट कितनी बार रैंक बदलेंगे। ModernBERT कॉन्फ़िग · BART कॉन्फ़िग
नियंत्रित फ़िक्सचर में रैंकिंग बदलती है
दोनों कॉन्फ़िग के अनुसार समान अर्थ वाले लॉजिट को फिर से व्यवस्थित किया गया। लेबल A का एंटेलमेंट 2, कॉन्ट्राडिक्शन 0 और न्यूट्रल 4 है। लेबल B का एंटेलमेंट 1, कॉन्ट्राडिक्शन 2 और न्यूट्रल −1 है। संदर्भ गणना में दस्तावेज़ में बताई गई दो क्लास इस्तेमाल होती हैं। दोनों रिलीज़ में नतीजे एक जैसे हैं।
| स्कोरिंग पथ | लेबल A | लेबल B | अधिक स्कोर |
|---|---|---|---|
| एंटेलमेंट और घोषित कॉन्ट्राडिक्शन | 0.880797 | 0.268941 | A |
| ModernBERT मैपिंग से मल्टी-लेबल | 0.119203 | 0.880797 | B |
| BART मैपिंग से मल्टी-लेबल | 0.880797 | 0.268941 | A |
| दो उम्मीदवारों वाला एक्सक्लूसिव, कोई भी मैपिंग | 0.731059 | 0.268941 | A |
केवल लेबल A और डिफ़ॉल्ट multi_label=False के साथ, वही शाखा ModernBERT मैपिंग के लिए 0.119203 और BART के लिए 0.880797 देती है। तीन अलग-अलग लेबल के सभी छह क्रमों में से तीन के लिए मल्टी-लेबल शाखा ऐसे स्कोर देती है जो घोषित कॉन्ट्राडिक्शन स्लॉट से मेल खाते हैं और बाकी तीन के लिए न्यूट्रल स्लॉट से। ये एक फ़िक्सचर में छह संभावित व्यवस्थाएँ हैं। यह संख्या प्रभावित प्रकाशित मॉडलों के अनुपात का कोई अनुमान नहीं देती। पूरा आउटपुट
ज़ीरो-शॉट मूल्यांकन के लिए चेकपॉइंट का रिविज़न, क्लास मैपिंग, स्कोरिंग लाइब्रेरी का संस्करण, उम्मीदवारों की संख्या और मल्टी-लेबल सेटिंग सुरक्षित रखें। अलग-अलग चेकपॉइंट के स्वतंत्र स्कोर की तुलना करने से पहले जाँचें कि स्कोरिंग पथ वास्तव में कौन-से लॉजिट इस्तेमाल करता है। लेबल मैप में मौजूदा हेड का आउटपुट क्रम दिखना चाहिए। केवल कॉन्फ़िग संपादित करने से उसके आउटपुट कोऑर्डिनेट नहीं बदलते।
जाँच दोहराएँ
पाइपलाइन की विफलता जाँच चालू और NumPy उपलब्ध होने पर python3 check.py | cmp - observations.json चलाएँ। चेकर दो पाइपलाइन सोर्स फ़ाइलों और दो मॉडल कॉन्फ़िग फ़ाइलों के बाइट सत्यापित करता है, जिनका कुल आकार 27,139 बाइट है। यह पैकेज की डिपेंडेंसी के बिना एक छोटी क्लास में केवल पिन किए गए एंटेलमेंट-इंडेक्स और स्कोर पोस्टप्रोसेसिंग मेथड चलाता है। यह स्कोरर के टेंसर इनपुट से अपेक्षित इंटरफ़ेस के ज़रिए float32 ऐरे देता है। स्वतंत्र संदर्भ दो-क्लास सॉफ़्टमैक्स के लॉजिस्टिक रूप का उपयोग करता है। पैकेज स्कोर रिडक्शन और सॉर्टिंग की जाँच करता है। यह टोकनाइज़र, मॉडल, डेटासेट, पूरी लाइब्रेरी का इनिशियलाइज़ेशन या बेंचमार्क नहीं चलाता।
Transformers का रिपॉज़िटरी लाइसेंस Apache 2.0 है। दोनों मॉडल कार्ड के लाइसेंस लेबल क्रमशः Apache 2.0 और MIT थे। यह पैकेज सार्वजनिक लेबल मैप से जुड़े तथ्यों और पहचानकर्ताओं का उपयोग करता है। चेकर रनटाइम पर अपस्ट्रीम फ़ाइलें प्राप्त करता है और अपने साथ अपस्ट्रीम सोर्स, मॉडल वेट, कार्ड का पाठ या उदाहरण शामिल नहीं करता। चेकर · Transformers लाइसेंस