본문으로 바로가기

메뉴

연구

말뭉치 전체의 chrF 점수를 재현하고 비교하는 방법

언어: 한국어

말뭉치 전체의 chrF 점수를 재현하려면 지표 이름과 버전, 옵션, 실제 입력을 기록하세요. 예측 파일과 순서가 있는 참조 파일 목록을 체크섬과 함께 저장하세요. 구간 ID가 바뀌지 않게 하거나, 각 예측이 참조 파일별로 어느 구간과 대응하는지 기록하세요.

예제는 가상의 텍스트와 두 구간을 사용하며, SacreBLEU 2.6.0의 기본 chrF2 설정을 적용합니다.

원래 평가에서 쓴 순서를 사용하세요

SacreBLEU는 각 예측에 대해 참조를 하나씩 고릅니다. 문장 점수가 가장 높은 참조의 집계값을 사용하고, 점수가 정확히 같으면 첫 번째 참조를 유지합니다. 말뭉치 전체의 chrF2를 계산할 때는 선택된 n-그램 집계값을 먼저 합산합니다.

첫 예제에서 A의 첫 예측에 대한 두 참조의 점수는 모두 6.25입니다. 두 참조의 n-그램 집계값은 서로 다릅니다. 파일 순서를 바꾸면 A의 말뭉치 점수가 79.03에서 39.48로 내려갑니다. B는 64.31 그대로라 순위가 뒤집힙니다. API와 명령줄에서 결과가 같고, 네 번의 실행에서 지표 서명도 같습니다. 보고된 값은 원래 순서의 파일로 확인하세요.

가능성이 있는 순서마다 두 시스템을 비교하세요

원래 순서가 확실하지 않으면 사용됐을 법한 순서를 기록하고 각 순서에서 두 시스템의 점수를 계산하세요. 점수 차이의 범위를 정리하기 전에 실행마다 두 점수의 차이를 구하세요.

참조 파일이 세 개인 별도의 예제에서 A의 점수는 22.67부터 79.03까지, B는 16.33부터 43.33까지입니다. 두 범위는 겹칩니다. 그래도 두 시스템에 공통으로 사용한 여섯 순서 모두에서 A가 6.33에서 35.69점 앞섭니다. 이 차이는 반올림 전 점수로 계산했습니다. 순서에 따라 우세한 시스템이 달라지면 그 사실을 밝히세요. 같은 시스템이 계속 앞서면 어떤 공통 순서에서 그런 결론이 나왔는지 밝히세요. 처음 보고된 값을 확인하려면 원래 순서를 찾아야 합니다.

참조 파일이 바뀌면 점수를 다시 계산하세요

참조가 추가되면 한 문장의 점수가 오르면서 말뭉치 전체의 chrF2는 내려갈 수 있습니다. 세 번째 예제에서 참조 파일 하나를 추가하자 A의 첫 문장 점수가 6.25에서 6.94로 올랐습니다. 두 번째 문장은 100으로 유지됐습니다. A의 문장 평균 점수는 올랐지만 말뭉치 점수는 79.03에서 43.60으로 떨어졌습니다. B는 64.31 그대로였습니다. 첫 구간에 추가한 참조의 문장 점수가 더 높으며, 두 순서에서 말뭉치 점수는 같습니다. 선택된 집계값이 말뭉치 점수를 계산할 때 일치 개수와 분모를 모두 바꿉니다.

참조가 바뀌면 각 버전의 정확한 파일을 원래 순서대로 써서 두 시스템의 점수를 계산하세요. 네 가지 결과를 함께 보관하면 버전별로 두 시스템을 직접 비교하고 수정의 영향을 볼 수 있습니다. 결과가 말뭉치 전체의 chrF2인지, 문장별 점수의 평균인지 밝혀 주세요.

SacreBLEU 2.6.0의 참조 선택과 말뭉치 점수 계산