# 말뭉치 전체의 chrF 점수를 재현하고 비교하는 방법

말뭉치 전체의 chrF 점수를 재현하려면 지표 이름과 버전, 옵션, 실제 입력을 기록하세요. 예측 파일과 순서가 있는 참조 파일 목록을 체크섬과 함께 저장하세요. 구간 ID가 바뀌지 않게 하거나, 각 예측이 참조 파일별로 어느 구간과 대응하는지 기록하세요.

예제는 가상의 텍스트와 두 구간을 사용하며, SacreBLEU 2.6.0의 기본 chrF2 설정을 적용합니다.

## 원래 평가에서 쓴 순서를 사용하세요

SacreBLEU는 각 예측에 대해 참조를 하나씩 고릅니다. 문장 점수가 가장 높은 참조의 집계값을 사용하고, 점수가 정확히 같으면 첫 번째 참조를 유지합니다. 말뭉치 전체의 chrF2를 계산할 때는 선택된 n-그램 집계값을 먼저 합산합니다.

첫 예제에서 A의 첫 예측에 대한 두 참조의 점수는 모두 6.25입니다. 두 참조의 n-그램 집계값은 서로 다릅니다. 파일 순서를 바꾸면 A의 말뭉치 점수가 79.03에서 39.48로 내려갑니다. B는 64.31 그대로라 순위가 뒤집힙니다. API와 명령줄에서 결과가 같고, 네 번의 실행에서 지표 서명도 같습니다. 보고된 값은 원래 순서의 파일로 확인하세요.

**chrF2 · 참조 파일 순서**

| | A | B |
| --- | ---: | ---: |
| `axxx → axxxbxxxx` | 79.03 | 64.31 |
| `axxxbxxxx → axxx` | 39.48 | 64.31 |

## 가능성이 있는 순서마다 두 시스템을 비교하세요

원래 순서가 확실하지 않으면 사용됐을 법한 순서를 기록하고 각 순서에서 두 시스템의 점수를 계산하세요. 점수 차이의 범위를 정리하기 전에 실행마다 두 점수의 차이를 구하세요.

참조 파일이 세 개인 별도의 예제에서 A의 점수는 22.67부터 79.03까지, B는 16.33부터 43.33까지입니다. 두 범위는 겹칩니다. 그래도 두 시스템에 공통으로 사용한 여섯 순서 모두에서 A가 6.33에서 35.69점 앞섭니다. 이 차이는 반올림 전 점수로 계산했습니다. 순서에 따라 우세한 시스템이 달라지면 그 사실을 밝히세요. 같은 시스템이 계속 앞서면 어떤 공통 순서에서 그런 결론이 나왔는지 밝히세요. 처음 보고된 값을 확인하려면 원래 순서를 찾아야 합니다.

## 참조 파일이 바뀌면 점수를 다시 계산하세요

참조가 추가되면 한 문장의 점수가 오르면서 말뭉치 전체의 chrF2는 내려갈 수 있습니다. 세 번째 예제에서 참조 파일 하나를 추가하자 A의 첫 문장 점수가 6.25에서 6.94로 올랐습니다. 두 번째 문장은 100으로 유지됐습니다. A의 문장 평균 점수는 올랐지만 말뭉치 점수는 79.03에서 43.60으로 떨어졌습니다. B는 64.31 그대로였습니다. 첫 구간에 추가한 참조의 문장 점수가 더 높으며, 두 순서에서 말뭉치 점수는 같습니다. 선택된 집계값이 말뭉치 점수를 계산할 때 일치 개수와 분모를 모두 바꿉니다.

참조가 바뀌면 각 버전의 정확한 파일을 원래 순서대로 써서 두 시스템의 점수를 계산하세요. 네 가지 결과를 함께 보관하면 버전별로 두 시스템을 직접 비교하고 수정의 영향을 볼 수 있습니다. 결과가 말뭉치 전체의 chrF2인지, 문장별 점수의 평균인지 밝혀 주세요.

[SacreBLEU 2.6.0의 참조 선택과 말뭉치 점수 계산](https://github.com/mjpost/sacrebleu/blob/v2.6.0/sacrebleu/metrics/chrf.py#L215-L284)

[스크립트와 저장된 결과 다운로드(ZIP)](https://sapien1.com/research/compare-chrf-scores-evidence/chrf-replay.zip)
