Chuyển đến nội dung chính

Menu

Nghiên cứu

Điểm zero-shot có thể thay đổi khi chỉ số nhãn NLI thay đổi

Ngôn ngữ bài viết: Tiếng Việt

Hai bộ logit giả định, mỗi bộ gồm ba giá trị, tạo ra thứ hạng đa nhãn trái ngược khi được sắp xếp theo hai cấu hình mô hình thực tế. Luồng xử lý một nhãn ứng viên cũng làm thay đổi điểm số. Luồng loại trừ với hai nhãn ứng viên cho cùng thứ hạng ở cả hai cách sắp xếp. Phép so sánh này kiểm tra bộ tính điểm zero-shot trong Transformers 4.55.0 và 5.23.0 bằng siêu dữ liệu cấu hình công khai, không chạy suy luận mô hình.

Cặp giá trị dự kiến và cặp giá trị được dùng

Pipeline phân loại zero-shot tạo một tiền đề và một giả thuyết cho mỗi nhãn ứng viên. Tài liệu tính điểm đa nhãn mô tả phép softmax trên các logit entailment và contradiction của từng ứng viên. Trong cả hai bản phát hành được kiểm tra, bộ tính điểm tìm entailment trong label2id. Nó dùng logit cuối cùng làm đầu vào còn lại khi entailment ở chỉ số 0, và dùng logit ở chỉ số 0 trong các trường hợp khác. Cùng nhánh xử lý này cũng chạy khi chỉ có một ứng viên. Tài liệu tính điểm · Bộ tính điểm 4.55.0 · Bộ tính điểm 5.23.0

Cấu hình đã công bốChỉ số 0Chỉ số 1Chỉ số 2Logit ghép với entailment
aiface/ModernBERT-large_nliKéo theoMâu thuẫnTrung lậpTrung lập
facebook/bart-large-mnliMâu thuẫnTrung lậpKéo theoMâu thuẫn

Cả hai cấu hình đều có ánh xạ nhãn thuận và nghịch khớp nhau. Chúng xác lập ánh xạ đã khai báo. Thí nghiệm không đo những gì từng mô hình đã học hay tần suất các logit thực tế của chúng có thể làm thay đổi thứ hạng. Cấu hình ModernBERT · Cấu hình BART

Thứ hạng thay đổi trong bộ dữ liệu thử nghiệm có kiểm soát

Các logit có cùng ý nghĩa được sắp xếp lại theo từng cấu hình. Nhãn A có entailment là 2, contradiction là 0 và neutral là 4. Nhãn B có entailment là 1, contradiction là 2 và neutral là −1. Phép tính tham chiếu dùng hai lớp được nêu trong tài liệu. Kết quả khớp nhau ở cả hai bản phát hành.

Luồng tính điểmNhãn ANhãn BĐiểm cao hơn
Entailment và contradiction đã khai báo0.8807970.268941A
Đa nhãn theo ánh xạ ModernBERT0.1192030.880797B
Đa nhãn theo ánh xạ BART0.8807970.268941A
Loại trừ với hai ứng viên, cả hai ánh xạ0.7310590.268941A

Khi chỉ có nhãn A và dùng giá trị mặc định multi_label=False, cùng nhánh xử lý cho điểm 0,119203 với ánh xạ ModernBERT và 0,880797 với BART. Trong cả sáu hoán vị của ba nhãn khác nhau, nhánh đa nhãn cho điểm phù hợp với vị trí contradiction đã khai báo ở ba hoán vị và vị trí neutral ở ba hoán vị còn lại. Đây là sáu cách sắp xếp có thể có trong một bộ dữ liệu thử nghiệm. Con số này không ước tính tỷ lệ mô hình đã công bố bị ảnh hưởng. Kết quả đầy đủ

Khi đánh giá zero-shot, hãy lưu lại phiên bản checkpoint, ánh xạ lớp, phiên bản thư viện tính điểm, số lượng ứng viên và thiết lập đa nhãn. Kiểm tra những logit mà luồng tính điểm thực sự sử dụng trước khi so sánh các điểm độc lập giữa các checkpoint. Ánh xạ nhãn cần mô tả thứ tự đầu ra của head hiện có. Chỉ chỉnh sửa cấu hình không làm thay đổi các tọa độ đầu ra của head.

Tái lập phép kiểm tra

Chạy python3 check.py | cmp - observations.json khi đã bật kiểm tra lỗi pipeline và có sẵn NumPy. Công cụ kiểm tra xác minh từng byte của hai tệp mã nguồn pipeline và hai tệp cấu hình mô hình, tổng cộng 27.139 byte. Công cụ chỉ thực thi các phương thức xác định chỉ số entailment và hậu xử lý điểm đã được cố định phiên bản trong một lớp nhỏ, không cần các gói phụ thuộc của chúng. Công cụ cung cấp các mảng float32 qua giao diện mà bộ tính điểm mong đợi từ đầu vào tensor. Phép tính tham chiếu độc lập dùng dạng logistic của softmax hai lớp. Gói này thực hiện phép rút gọn điểm và sắp xếp. Gói không chạy tokenizer, mô hình, tập dữ liệu, khởi tạo toàn bộ thư viện hay benchmark.

Kho mã Transformers sử dụng giấy phép Apache 2.0. Nhãn giấy phép trên hai thẻ mô hình lần lượt là Apache 2.0 và MIT. Gói này sử dụng các thông tin và định danh công khai về ánh xạ nhãn. Công cụ kiểm tra tải các tệp nguồn từ dự án gốc khi chạy và không đóng gói mã nguồn dự án gốc, trọng số mô hình, nội dung thẻ hay ví dụ. Công cụ kiểm tra · Giấy phép Transformers