Zum Hauptinhalt springen

Menü

Forschung

So reproduzierst und vergleichst du chrF-Werte für einen Korpus

Sprache: Deutsch

Um einen chrF-Wert für einen Korpus zu reproduzieren, halte Name und Version der Metrik, ihre Einstellungen und die exakten Eingaben fest. Speichere die Vorhersagedatei und die geordnete Liste der Referenzdateien samt Prüfsummen. Speichere außerdem feste Segment-IDs oder eine andere Zuordnung zwischen den Vorhersagen und den Segmenten jeder Referenzdatei.

Die Beispiele nutzen erfundene Texte, zwei Segmente und die Standardeinstellungen für chrF2 in SacreBLEU 2.6.0.

Verwende die Reihenfolge der ursprünglichen Auswertung

SacreBLEU wählt für jede Vorhersage eine eigene Referenz. Es verwendet die Zählwerte der Referenz mit dem höchsten Satzwert. Bei exaktem Gleichstand bleibt die erste Referenz ausgewählt. Für den chrF2-Wert des Korpus addiert es zuerst die ausgewählten N-Gramm-Zählwerte.

Im ersten Beispiel ergeben beide Referenzen für die erste Vorhersage von A den Satzwert 6.25. Ihre N-Gramm-Zählwerte unterscheiden sich. Werden die Dateien vertauscht, sinkt der Korpuswert von A von 79.03 auf 39.48. B bleibt bei 64.31, sodass sich die Rangfolge umkehrt. API und Kommandozeile liefern dasselbe Ergebnis. Alle vier Läufe haben dieselbe Metriksignatur. Nutze die Dateien in der ursprünglichen Reihenfolge, um den berichteten Wert zu prüfen.

Vergleiche beide Systeme in jeder plausiblen Reihenfolge

Wenn die ursprüngliche Reihenfolge nicht sicher ist, halte die plausiblen Reihenfolgen fest und bewerte beide Systeme in jeder davon. Berechne den Unterschied innerhalb jedes Laufs, bevor du den Bereich der Unterschiede zusammenfasst.

In einem anderen Beispiel mit drei Referenzdateien liegen die Werte für A zwischen 22.67 und 79.03, für B zwischen 16.33 und 43.33. Die Bereiche überschneiden sich. In allen sechs Reihenfolgen, die für beide Systeme gleich sind, liegt A dennoch um 6.33 bis 35.69 Punkte vorne. Die Differenzen wurden aus ungerundeten Werten berechnet. Wenn je nach Reihenfolge ein anderes System vorne liegt, halte das fest. Bleibt die Rangfolge an der Spitze gleich, gib an, welche gemeinsamen Reihenfolgen das zeigen. Ermittle die ursprüngliche Reihenfolge, um den ursprünglichen Zahlenwert zu prüfen.

Werte beide Systeme mit neuen Referenzen erneut aus

Eine neue Referenz kann den Wert für einen Satz erhöhen und den chrF2-Wert für den Korpus senken. Im dritten Beispiel erhöht eine zusätzliche Referenzdatei den Wert für den ersten Satz von A von 6.25 auf 6.94. Der zweite bleibt bei 100. Der Durchschnitt über die Sätze steigt, während der Korpuswert von 79.03 auf 43.60 fällt. B bleibt bei 64.31. Die neue Referenz für das erste Segment erzielt einen strikt höheren Satzwert, und beide Reihenfolgen führen zum selben Korpuswert. Ihre ausgewählten Zählwerte ändern sowohl die Trefferzahlen als auch die Nenner der Korpusberechnung.

Wenn sich Referenzen ändern, bewerte beide Systeme mit den exakten Dateien jeder Version in der jeweiligen Reihenfolge. Halte die vier Ergebnisse zusammen fest, damit Leser beide Systeme für jede Version direkt vergleichen und die Auswirkung der Änderung sehen können. Gib an, ob das Ergebnis chrF2 für den Korpus oder ein Durchschnitt der Satzwerte ist.

Referenzauswahl und Korpusberechnung in SacreBLEU 2.6.0