# 매크로 F1을 비교하기 전에 확인할 항목

매크로 F1은 평균에 포함되는 각 클래스의 점수에 같은 가중치를 줍니다. 이 점수로 분류 모델을 선택하기 전에 사례 ID, 라벨 버전, 점수 계산 설정을 기록하세요. scikit-learn 1.7.2와 가상의 데이터를 사용한 세 가지 예는 같은 예측도 계산 방식에 따라 순위가 달라질 수 있음을 보여줍니다. [scikit-learn의 F1 정의와 옵션](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**라벨의 세분화 수준을 맞춰 점수를 비교하세요.** 환불, 청구서, 로그인 라벨이 붙은 고객 지원 사례 아홉 건에서 B는 0.778 대 0.556으로 앞섰습니다. 환불과 청구서를 청구로 묶자 A의 오답 네 건이 청구에 대한 정답으로 바뀌었습니다. B의 오답 두 건은 여전히 다른 범주로 분류한 경우였습니다. 그 결과 A가 1.000 대 0.750으로 앞섰습니다. 라벨 버전이 다른 점수끼리 비교하려면 라벨의 대응 관계를 저장하고 같은 세분화 수준에서 두 시스템의 점수를 다시 계산하세요. 작업에서 라벨을 구분할 필요가 있다면 원래 라벨과 예측도 보관하세요.

**각 평균에 어떤 클래스가 들어가는지 확인하세요.** 별도의 그룹에서 정답 라벨에는 사기 사례가 없었습니다. A는 한 번 사기로 예측했으므로 해당 클래스의 F1은 정의되며 값은 영이었습니다. B의 경우 정답 라벨에도, 예측에도 사기가 없었습니다. 데이터에서 클래스 목록을 정했을 때 B는 두 클래스로 0.667을, A는 세 클래스로 0.600을 얻었습니다. 세 클래스의 목록을 명시하고 정의되지 않은 F1을 영으로 처리하자 B의 점수가 0.444로 내려갔습니다. 같은 목록에서 정의되지 않은 F1을 평균에서 제외하자 B의 점수가 다시 0.667이 됐습니다. 사용할 클래스 목록, 정의되지 않은 점수의 처리 규칙, 클래스별 정답과 예측 건수, 실제로 평균에 들어간 클래스 수를 기록하세요.

**사례를 합쳤는지, 그룹별 점수를 평균 냈는지 밝히세요.** 균형 잡힌 두 그룹에 사례가 여덟 건씩 있을 때, 그룹별 매크로 F1의 평균은 A가 0.600 대 0.564로 앞섰습니다. 예측 16건을 한꺼번에 채점하자 B가 0.625 대 0.600으로 앞섰습니다. 그룹 크기가 같으면 그룹에 같은 가중치를 주거나 사례 수에 비례해 가중치를 줘도 평균이 같습니다. 사례를 합쳐 클래스별 점수를 계산할 때는 참양성, 거짓양성, 거짓음성 건수를 각각 합산합니다. 통합 결과를 보고할 때는 먼저 건수를 합친 뒤 클래스별 F1을 계산하세요. 그룹별로 보고할 때는 각 그룹의 점수와 가중치를 표시하세요.

점수와 함께 라벨 대응표의 버전과 클래스별 혼동 행렬의 건수를 보관하세요. 보고서마다 설정이 다르면 사례 목록, 라벨의 세분화 수준, 정의되지 않은 점수의 처리 규칙, 집계 방식을 맞춰 두 시스템의 점수를 다시 계산하고 순위를 해석하세요.

[스크립트와 저장된 결과 다운로드(ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
