본문으로 바로가기

메뉴

연구

NLI 레이블 인덱스가 바뀌면 제로샷 점수가 달라질 수 있습니다

언어: 한국어

실제 모델 구성 두 가지에 따라 임의로 만든 로짓 세 개씩 두 세트를 배열하면 다중 레이블 순위가 반대로 나타납니다. 후보가 하나인 경로에서도 점수가 달라집니다. 후보 두 개가 상호 배타적인 경로에서는 두 배열의 순위가 같습니다. 이 비교는 공개 구성 메타데이터를 사용해 Transformers 4.55.0과 5.23.0의 제로샷 점수 계산을 테스트하며, 모델 추론은 실행하지 않습니다.

예상한 쌍과 실제로 사용된 쌍

제로샷 분류 파이프라인은 각 후보 레이블에 대해 전제와 가설을 구성합니다. 다중 레이블 점수 계산 문서에서는 각 후보의 함의와 모순 로짓에 소프트맥스를 적용한다고 설명합니다. 확인한 두 릴리스 모두 점수 계산 시 label2id에서 함의를 찾습니다. 함의가 인덱스 0에 있으면 마지막 로짓을 다른 입력으로 사용하고, 그 외에는 인덱스 0을 사용합니다. 후보가 하나뿐일 때도 같은 분기가 실행됩니다. 점수 계산 문서 · 4.55.0 점수 계산 코드 · 5.23.0 점수 계산 코드

공개된 구성인덱스 0인덱스 1인덱스 2함의와 짝지어지는 로짓
aiface/ModernBERT-large_nli함의모순중립중립
facebook/bart-large-mnli모순중립함의모순

두 구성 모두 정방향과 역방향 레이블 매핑이 서로 일치합니다. 이를 통해 선언된 매핑을 확인할 수 있습니다. 이 실험은 각 모델이 무엇을 학습했는지 또는 실제 로짓에서 순위가 얼마나 자주 바뀌는지는 측정하지 않습니다. ModernBERT 구성 · BART 구성

통제된 테스트 데이터에서 순위가 바뀝니다

의미상 같은 로짓을 각 구성에 따라 다시 배열했습니다. 레이블 A의 함의는 2, 모순은 0, 중립은 4입니다. 레이블 B의 함의는 1, 모순은 2, 중립은 −1입니다. 기준 계산에는 문서에 명시된 두 클래스를 사용합니다. 두 릴리스의 결과는 일치합니다.

점수 계산 경로레이블 A레이블 B더 높은 점수
함의와 선언된 모순0.8807970.268941A
ModernBERT 매핑을 사용한 다중 레이블0.1192030.880797B
BART 매핑을 사용한 다중 레이블0.8807970.268941A
후보 두 개가 상호 배타적이며 어느 매핑을 사용해도 동일0.7310590.268941A

레이블 A만 있고 기본 설정인 multi_label=False를 사용하면 같은 분기에서 ModernBERT 매핑은 0.119203, BART는 0.880797을 반환합니다. 서로 다른 레이블 세 개의 가능한 순열 여섯 가지 중 다중 레이블 분기는 세 가지에서 선언된 모순 위치에 부합하는 점수를, 나머지 세 가지에서 중립 위치에 부합하는 점수를 반환합니다. 이는 테스트 데이터에서 가능한 배열 여섯 가지입니다. 이 수치로 영향을 받는 공개 모델의 비율을 추정할 수는 없습니다. 전체 출력

제로샷 평가에서는 체크포인트 리비전, 클래스 매핑, 점수 계산 라이브러리 버전, 후보 수, 다중 레이블 설정을 보존하세요. 체크포인트 간에 개별 점수를 비교하기 전에 점수 계산 경로가 실제로 어떤 로짓을 사용하는지 확인하세요. 레이블 맵은 기존 헤드의 출력 순서를 나타내야 합니다. 구성만 수정해도 출력 좌표가 이동하지는 않습니다.

검증 재현하기

파이프라인 실패 확인을 활성화하고 NumPy를 사용할 수 있는 환경에서 python3 check.py | cmp - observations.json을 실행하세요. 검사기는 총 27,139바이트인 파이프라인 소스 파일 두 개와 모델 구성 파일 두 개의 바이트를 검증합니다. 패키지 의존성 없이 작은 클래스에서 고정된 함의 인덱스 및 점수 후처리 메서드만 실행합니다. 점수 계산기가 텐서 입력에서 기대하는 인터페이스를 통해 float32 배열을 제공합니다. 독립적인 기준 계산에는 이진 클래스 소프트맥스의 로지스틱 형태를 사용합니다. 이 패키지는 점수 축약과 정렬을 실행합니다. 토크나이저, 모델, 데이터셋, 전체 라이브러리 초기화 또는 벤치마크는 실행하지 않습니다.

Transformers 저장소의 라이선스는 Apache 2.0입니다. 두 모델 카드에 표시된 라이선스는 각각 Apache 2.0과 MIT였습니다. 이 패키지는 공개된 레이블 맵 정보와 식별자를 사용합니다. 검사기는 실행 시 업스트림 파일을 가져오며, 업스트림 소스, 모델 가중치, 모델 카드 본문 또는 예제를 포함하지 않습니다. 검사기 · Transformers 라이선스