# Как воспроизвести и сравнить оценки chrF по всему корпусу

Чтобы воспроизвести оценку chrF по всему корпусу, сохраните название и версию метрики, её параметры и точные входные данные. Сохраните файл предсказаний и список файлов эталонных переводов в исходном порядке вместе с их контрольными суммами. Сохраните постоянные идентификаторы сегментов или другую запись о соответствии предсказаний сегментам каждого эталонного файла.

В примерах используются вымышленные тексты, два сегмента и стандартные настройки chrF2 в SacreBLEU 2.6.0.

## Используйте порядок из исходной оценки

SacreBLEU выбирает эталон отдельно для каждого предсказания. Он берёт подсчёты из эталона, который даёт максимальную оценку для предложения. При точном равенстве сохраняется первый эталон. Перед расчётом chrF2 по всему корпусу выбранные количества n-грамм суммируются.

В первом примере оба эталона дают 6.25 для первого предсказания A. Количества n-грамм у них различаются. После перестановки файлов оценка A по корпусу падает с 79.03 до 39.48. Оценка B остаётся 64.31, и победитель меняется. API и командная строка дают одинаковый результат. Сигнатура метрики во всех четырёх запусках совпадает. Используйте исходный порядок файлов, чтобы проверить опубликованное число.

**chrF2 · Порядок эталонных файлов**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79,03 | 64,31 |
| `axxxbxxxx → axxx` | 39,48 | 64,31 |

## Сравните обе системы в каждом правдоподобном порядке

Если исходный порядок неизвестен, запишите правдоподобные варианты и посчитайте оценки обеих систем в каждом из них. Посчитайте разницу в каждом запуске, а затем укажите диапазон разниц.

В другом примере с тремя эталонными файлами оценки A лежат в диапазоне от 22.67 до 79.03, а B — от 16.33 до 43.33. Диапазоны пересекаются. При этом во всех шести вариантах порядка, общих для обеих систем, A опережает B на 6.33–35.69 балла по оценкам до округления. Если порядок влияет на победителя, укажите это. Если победитель остаётся тем же, укажите общие варианты порядка, которые подтверждают вывод. Восстановите исходный порядок, чтобы проверить исходное значение.

## Пересчитайте оценки при изменении эталонов

Новый эталон может повысить оценку предложения и снизить chrF2 по всему корпусу. В третьем примере дополнительный эталонный файл повышает оценку первого предложения A с 6.25 до 6.94. Второе предложение по-прежнему получает 100. Средняя оценка по предложениям A растёт, а оценка по корпусу падает с 79.03 до 43.60. Оценка B остаётся 64.31. Добавленный эталон для первого сегмента даёт более высокую оценку предложения, и оба варианта порядка приводят к одному результату по корпусу. Выбранные подсчёты меняют и число совпадений, и знаменатели при расчёте оценки по корпусу.

Когда эталоны меняются, посчитайте оценки обеих систем по точным файлам каждой версии в соответствующем порядке. Храните четыре результата вместе, чтобы читатель мог сравнить системы для каждой версии и увидеть последствия изменения. Укажите, что именно вы приводите: chrF2 по всему корпусу или среднюю оценку по предложениям.

[Выбор эталонов и расчёт по корпусу в SacreBLEU 2.6.0](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[Скачать скрипты и сохранённые результаты (ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
