# पूरे कॉर्पस के chrF स्कोर फिर से कैसे निकालें और उनकी तुलना कैसे करें

पूरे कॉर्पस का chrF स्कोर दोबारा निकालने के लिए मेट्रिक का नाम, संस्करण, विकल्प और इस्तेमाल किए गए इनपुट सहेजें। भविष्यवाणियों की फ़ाइल और संदर्भ फ़ाइलों की सूची उसी क्रम में रखें। साथ में उनके चेकसम भी सहेजें। सेगमेंट की स्थायी ID रखें या किसी और तरीके से दर्ज करें कि हर संदर्भ फ़ाइल में कौन-सा सेगमेंट किस भविष्यवाणी से मेल खाता है।

इन उदाहरणों में काल्पनिक टेक्स्ट, दो सेगमेंट और SacreBLEU 2.6.0 की डिफ़ॉल्ट chrF2 सेटिंग इस्तेमाल हुई हैं।

## मूल मूल्यांकन में इस्तेमाल किया गया क्रम अपनाएँ

SacreBLEU हर भविष्यवाणी के लिए अलग से एक संदर्भ चुनता है। वह उस संदर्भ की गिनती इस्तेमाल करता है जिसका वाक्य स्कोर सबसे ज़्यादा है। स्कोर ठीक बराबर होने पर वह पहला संदर्भ रखता है। पूरे कॉर्पस का chrF2 निकालने से पहले चुने गए n-ग्राम की गिनती जोड़ी जाती है।

पहले उदाहरण में A की पहली भविष्यवाणी के लिए दोनों संदर्भों का स्कोर 6.25 है। उनके n-ग्राम की गिनती अलग है। फ़ाइलों का क्रम उलटने पर A का कॉर्पस स्कोर 79.03 से घटकर 39.48 हो जाता है। B का स्कोर 64.31 ही रहता है, इसलिए विजेता बदल जाता है। API और कमांड लाइन एक ही नतीजा देते हैं। चारों रन का मेट्रिक सिग्नेचर एक जैसा है। रिपोर्ट की गई संख्या जाँचने के लिए फ़ाइलों को मूल क्रम में रखें।

**chrF2 · संदर्भों का क्रम**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79.03 | 64.31 |
| `axxxbxxxx → axxx` | 39.48 | 64.31 |

## हर संभावित क्रम में दोनों सिस्टम की तुलना करें

अगर मूल क्रम का पता नहीं है, तो वे क्रम लिखें जो इस्तेमाल हुए हो सकते हैं। हर क्रम में दोनों सिस्टम का स्कोर निकालें। फ़र्क की पूरी सीमा बताने से पहले हर रन में दोनों स्कोर का फ़र्क निकालें।

तीन संदर्भ फ़ाइलों वाले एक अलग उदाहरण में, A का स्कोर 22.67 से 79.03 तक और B का स्कोर 16.33 से 43.33 तक है। दोनों दायरे कुछ जगह मिलते हैं। फिर भी, दोनों सिस्टम के लिए इस्तेमाल किए गए सभी छह समान क्रमों में A, 6.33 से 35.69 अंक आगे है। यह फ़र्क बिना राउंड किए गए स्कोर से निकाला गया है। अगर क्रम से विजेता बदलता है, तो यह दर्ज करें। अगर विजेता वही रहता है, तो बताएँ कि कौन-से साझा क्रम इस नतीजे की पुष्टि करते हैं। मूल संख्या की पुष्टि के लिए मूल क्रम पता करें।

## संदर्भ बदलें तो स्कोर फिर से निकालें

नया संदर्भ किसी वाक्य का स्कोर बढ़ा सकता है और पूरे कॉर्पस का chrF2 घटा सकता है। तीसरे उदाहरण में एक संदर्भ फ़ाइल जोड़ने पर A के पहले वाक्य का स्कोर 6.25 से बढ़कर 6.94 हो जाता है। दूसरे वाक्य का स्कोर 100 रहता है। A के वाक्यों का औसत बढ़ता है, जबकि कॉर्पस स्कोर 79.03 से घटकर 43.60 हो जाता है। B का स्कोर 64.31 रहता है। पहले सेगमेंट के लिए जोड़े गए संदर्भ का वाक्य स्कोर ज़्यादा है और दोनों क्रमों में कॉर्पस स्कोर एक जैसा आता है। चुनी गई गिनती से मेल की संख्या और कॉर्पस की गणना में इस्तेमाल होने वाले हर बदलते हैं।

संदर्भ बदलने पर दोनों सिस्टम के स्कोर हर संस्करण की ठीक उन्हीं फ़ाइलों को उसी क्रम में रखकर निकालें। चारों नतीजे साथ रखें ताकि पाठक हर संस्करण के लिए दोनों सिस्टम की सीधी तुलना कर सकें और बदलाव का असर देख सकें। बताएं कि नतीजा पूरे कॉर्पस का chrF2 है या वाक्य स्कोर का औसत।

[SacreBLEU 2.6.0 में संदर्भ चुनने और कॉर्पस का स्कोर निकालने का तरीका](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[स्क्रिप्ट और सहेजे गए नतीजे डाउनलोड करें (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
