# Zo reproduceer en vergelijk je chrF-scores voor een corpus

Bewaar de naam en versie van de metriek, de instellingen en de exacte invoer om een chrF-score voor een corpus te reproduceren. Bewaar het voorspellingenbestand en de referentiebestanden in hun oorspronkelijke volgorde, met hun controlesommen. Bewaar vaste segment-ID’s of leg op een andere manier vast welke voorspelling bij welk segment in elk referentiebestand hoort.

De voorbeelden gebruiken verzonnen teksten, twee segmenten en de standaardinstellingen voor chrF2 in SacreBLEU 2.6.0.

## Gebruik de volgorde van de oorspronkelijke meting

SacreBLEU kiest per voorspelling een referentie. Het gebruikt de tellingen van de referentie met de hoogste zinsscore. Bij een exact gelijke score kiest het de eerste referentie. Voor chrF2 over het hele corpus telt het eerst de gekozen n-gramtellingen bij elkaar op.

In het eerste voorbeeld geven beide referenties een score van 6.25 voor de eerste voorspelling van A. De aantallen n-grammen verschillen. Als je de bestanden omwisselt, daalt de corpusscore van A van 79.03 naar 39.48. B blijft op 64.31, waardoor de winnaar verandert. De API en de opdrachtregel geven hetzelfde resultaat. Alle vier de uitvoeringen hebben dezelfde metrieksignatuur. Gebruik de bestanden in de oorspronkelijke volgorde om de gerapporteerde waarde te controleren.

**chrF2 · Volgorde van de referenties**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Vergelijk beide systemen in elke aannemelijke volgorde

Weet je de oorspronkelijke volgorde niet zeker, noteer dan welke volgordes aannemelijk zijn en bereken in elke volgorde de scores voor beide systemen. Bereken eerst het verschil binnen elke uitvoering en vat daarna het bereik van de verschillen samen.

In een ander voorbeeld met drie referentiebestanden lopen de scores van A van 22.67 tot 79.03 en die van B van 16.33 tot 43.33. De bereiken overlappen. In alle zes de volgordes waarin beide systemen dezelfde bestanden in dezelfde volgorde gebruiken, leidt A met 6.33 tot 35.69 punten. De verschillen zijn berekend met onafgeronde scores. Meld het als de winnaar van de volgorde afhangt. Blijft de winnaar gelijk, vermeld dan welke gedeelde volgordes dat ondersteunen. Achterhaal de oorspronkelijke volgorde om de oorspronkelijke waarde te controleren.

## Bereken de scores opnieuw als referenties veranderen

Een nieuwe referentie kan een zinsscore verhogen terwijl de chrF2-score voor het corpus daalt. In het derde voorbeeld verhoogt een extra referentiebestand de eerste zinsscore van A van 6.25 naar 6.94. De tweede blijft op 100. De gemiddelde zinsscore van A stijgt, terwijl de corpusscore daalt van 79.03 naar 43.60. B blijft op 64.31. De toegevoegde referentie voor het eerste segment scoort voor die zin strikt hoger en beide volgordes geven dezelfde corpusscore. De gekozen tellingen veranderen zowel het aantal overeenkomsten als de noemers in de corpusberekening.

Als de referenties veranderen, beoordeel beide systemen dan met precies de bestanden van elke versie in de bijbehorende volgorde. Bewaar de vier resultaten bij elkaar, zodat de lezer beide systemen per versie kan vergelijken en het effect van de wijziging kan zien. Geef aan of het resultaat chrF2 voor het hele corpus is of het gemiddelde van de zinsscores.

[Referentiekeuze en corpusberekening in SacreBLEU 2.6.0](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Download de scripts en opgeslagen resultaten (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
