# Slik gjenskaper og sammenligner du chrF-poeng for et korpus

Lagre målets navn, versjon og innstillinger og de nøyaktige inndataene for å gjenskape en chrF-poengsum for et korpus. Behold filen med prediksjoner og listen over referansefiler i rekkefølge med kontrollsummene deres. Behold faste segment-ID-er eller en annen oversikt over hvilke segmenter i hver referansefil som hører til prediksjonene.

Eksemplene bruker oppdiktet tekst, to segmenter og standardinnstillingene for chrF2 i SacreBLEU 2.6.0.

## Bruk rekkefølgen fra den opprinnelige evalueringen

SacreBLEU velger en referanse for hver prediksjon. Det bruker opptellingene fra referansen med høyest poengsum for setningen. Ved helt lik poengsum velges den første referansen. For chrF2 summeres de valgte n-gramtellingene før poengsummen for hele korpuset beregnes.

I det første eksemplet får begge referansene 6.25 for den første prediksjonen til A. N-gramtellingene er forskjellige. Å bytte om filene senker poengsummen til A for korpuset fra 79.03 til 39.48. B blir på 64.31, så vinneren skifter. API-et og kommandolinjen gir samme resultat. Alle fire kjøringene har samme målesignatur. Bruk filene i den opprinnelige rekkefølgen for å sjekke tallet som ble rapportert.

**chrF2 · Rekkefølge på referansene**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Sammenlign begge systemene i hver mulig rekkefølge

Hvis du er usikker på opprinnelig rekkefølge, noter hvilke rekkefølger som kan ha vært brukt, og beregn poengene for begge systemene i hver av dem. Regn ut forskjellen i hver kjøring før du oppsummerer spennet i forskjellene.

I et annet eksempel med tre referansefiler er poengene for A fra 22.67 til 79.03 og for B fra 16.33 til 43.33. Intervallene overlapper. I alle de seks rekkefølgene som brukes likt for begge systemene, leder A med 6.33 til 35.69 poeng, beregnet fra poengene før avrunding. Oppgi det hvis vinneren avhenger av rekkefølgen. Hvis vinneren er den samme, vis hvilke felles rekkefølger som støtter konklusjonen. Finn den opprinnelige rekkefølgen for å sjekke det opprinnelige tallet.

## Beregn poengene på nytt når referansene endres

En ny referanse kan gi en setning høyere poeng samtidig som chrF2 for korpuset synker. I det tredje eksemplet øker en ekstra referansefil poengsummen for den første setningen til A fra 6.25 til 6.94. Den andre blir på 100. Gjennomsnittet for setningene til A stiger, mens poengsummen for korpuset faller fra 79.03 til 43.60. B blir på 64.31. Den nye referansen for det første segmentet får høyere poengsum for setningen, og begge rekkefølgene gir samme poengsum for korpuset. De valgte tellingene endrer både antallet treff og nevnerne i korpusberegningen.

Når referansene endres, beregn poengene for begge systemene med de nøyaktige filene i rekkefølgen til hver versjon. Behold de fire resultatene sammen, så leseren kan sammenligne systemene direkte i hver versjon og se virkningen av endringen. Oppgi om resultatet er chrF2 for hele korpuset eller et gjennomsnitt av poengsummene for setningene.

[Valg av referanser og korpusberegning i SacreBLEU 2.6.0](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Last ned skriptene og de lagrede resultatene (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
