# Så återskapar och jämför du chrF-poäng för en korpus

Spara måttets namn, version, inställningar och exakta indata för att kunna återskapa en chrF-poäng för en korpus. Behåll filen med förutsägelser och listan över referensfiler i ordning, med deras kontrollsummor. Spara fasta segment-ID:n eller dokumentera på annat sätt vilket segment i varje referensfil som motsvarar en viss förutsägelse.

Exemplen använder påhittade texter, två segment och standardinställningarna för chrF2 i SacreBLEU 2.6.0.

## Använd ordningen från den ursprungliga utvärderingen

SacreBLEU väljer en referens för varje förutsägelse. Det använder räknevärdena från den referens som ger högst poäng för meningen. Om två poäng är exakt lika väljer det den första referensen. För chrF2 för hela korpusen summeras de valda n-gramräkningarna innan poängen beräknas.

I det första exemplet får båda referenserna 6.25 för A:s första förutsägelse. Deras n-gramräkningar skiljer sig. När filerna byter plats sjunker A:s korpuspoäng från 79.03 till 39.48. B ligger kvar på 64.31, så ett annat system vinner. API:t och kommandoraden ger samma resultat. Alla fyra körningar har samma måttsignatur. Använd filerna i ursprunglig ordning för att kontrollera det rapporterade värdet.

**chrF2 · Referensernas ordning**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Jämför båda systemen i varje tänkbar ordning

Om den ursprungliga ordningen är osäker, anteckna vilka ordningar som kan ha använts och beräkna poängen för båda systemen i var och en. Beräkna skillnaden inom varje körning innan du sammanfattar intervallet för skillnaderna.

I ett annat exempel med tre referensfiler varierar poängen för A mellan 22.67 och 79.03 och poängen för B mellan 16.33 och 43.33. Intervallen överlappar. I alla sex ordningar som används för båda systemen leder A ändå med 6.33 till 35.69 poäng, beräknat från de oavrundade poängen. Om vinnaren beror på ordningen, ange det. Om samma system vinner, ange vilka gemensamma ordningar som stöder slutsatsen. Ta reda på den ursprungliga ordningen för att kontrollera det ursprungliga värdet.

## Räkna om poängen när referenserna ändras

En ny referens kan höja poängen för en mening och samtidigt sänka chrF2 för korpusen. I det tredje exemplet höjer en extra referensfil poängen för A:s första mening från 6.25 till 6.94. Den andra ligger kvar på 100. A:s genomsnitt över meningarna stiger, medan korpuspoängen sjunker från 79.03 till 43.60. B ligger kvar på 64.31. Den nya referensen för det första segmentet ger en högre poäng för meningen, och båda ordningarna ger samma korpuspoäng. De valda räknevärdena ändrar både antalet träffar och nämnarna i beräkningen för hela korpusen.

När referenserna ändras, beräkna båda systemens poäng med exakt de filer och den ordning som hör till varje version. Spara de fyra resultaten tillsammans så att läsaren kan jämföra systemen direkt för varje version och se hur ändringen påverkar jämförelsen. Ange om resultatet gäller chrF2 för hela korpusen eller ett genomsnitt av meningspoängen.

[Val av referenser och beräkning för hela korpusen i SacreBLEU 2.6.0](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Ladda ner skripten och de sparade resultaten (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
