# Sådan genskaber og sammenligner du chrF-scorer for et korpus

Gem metrikkens navn, version og indstillinger og de nøjagtige input for at genskabe en chrF-score for et korpus. Gem filen med forudsigelser og listen over referencefiler i rækkefølge med deres kontrolsummer. Brug faste segment-id’er, eller gem på anden måde, hvilke segmenter i hver referencefil der svarer til forudsigelserne.

Eksemplerne bruger opdigtet tekst, to segmenter og standardindstillingerne for chrF2 i SacreBLEU 2.6.0.

## Brug rækkefølgen fra den oprindelige evaluering

SacreBLEU vælger en reference for hver forudsigelse. Det bruger optællingerne fra den reference med den højeste score for sætningen. Ved præcis samme score vælger det den første reference. Før scoren for korpussets chrF2 beregnes, lægges de valgte n-gramoptællinger sammen.

I det første eksempel giver begge referencer 6.25 for A’s første forudsigelse. Deres n-gramoptællinger er forskellige. Når filerne bytter plads, falder A’s score for hele korpusset fra 79.03 til 39.48. B bliver på 64.31, så vinderen skifter. API’et og kommandolinjen giver samme resultat. Alle fire kørsler har samme metriksignatur. Brug filerne i den oprindelige rækkefølge til at kontrollere den rapporterede værdi.

**chrF2 · Referencernes rækkefølge**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Sammenlign begge systemer i hver rækkefølge, der kan være brugt

Hvis den oprindelige rækkefølge er usikker, så notér de rækkefølger, der kan være brugt, og beregn begge systemers scorer i hver af dem. Beregn forskellen inden for hver kørsel, før du gør spændet mellem forskellene op.

I et andet eksempel med tre referencefiler går A’s scorer fra 22.67 til 79.03 og B’s fra 16.33 til 43.33. Intervallerne overlapper. I alle seks rækkefølger, som er afprøvet for begge systemer, fører A dog med 6.33 til 35.69 point ud fra scorerne før afrunding. Hvis vinderen afhænger af rækkefølgen, så angiv det. Hvis vinderen er den samme, så angiv, hvilke fælles rækkefølger der viser det. Find den oprindelige rækkefølge for at kontrollere den oprindelige værdi.

## Beregn scorerne igen, når referencerne ændres

En ny reference kan hæve scoren for en sætning, mens chrF2 for korpusset falder. I det tredje eksempel løfter en ekstra referencefil scoren for A’s første sætning fra 6.25 til 6.94. Den anden bliver på 100. A’s gennemsnit for sætningerne stiger, mens scoren for korpusset falder fra 79.03 til 43.60. B bliver på 64.31. Den nye reference til det første segment får en højere sætningsscore end de tidligere referencer, og begge rækkefølger giver samme score for korpusset. Dens valgte optællinger ændrer både antallet af match og nævnerne i beregningen for korpusset.

Når referencerne ændres, så beregn begge systemers scorer med de nøjagtige filer i hver versions rækkefølge. Gem de fire resultater sammen, så læseren kan sammenligne systemerne direkte i hver version og se, hvad ændringen betyder. Angiv, om resultatet er chrF2 for hele korpusset eller et gennemsnit af sætningsscorerne.

[Valg af referencer og beregning for hele korpusset i SacreBLEU 2.6.0](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Download scripts og gemte resultater (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
