Ana içeriğe geç

Menü

Araştırma

NLI etiket indeksleri değiştiğinde sıfır atışlı bir skor değişebilir

Dil: Türkçe

Üçer logitten oluşan iki kurgusal küme, iki gerçek model yapılandırmasına göre düzenlendiğinde çok etiketli sıralamalar tersine dönüyor. Tek adaylı yol da skoru değiştiriyor. İki adaylı, tek seçimli yol ise her iki düzenlemede de aynı sıralamayı veriyor. Bu karşılaştırma, herkese açık yapılandırma meta verilerini kullanarak ve model çıkarımı yapmadan Transformers 4.55.0 ve 5.23.0 sürümlerindeki sıfır atışlı skorlayıcıyı test ediyor.

Beklenen çift ve kullanılan çift

Sıfır atışlı sınıflandırma işlem hattı, her aday etiket için bir öncül ve hipotez oluşturur. Çok etiketli skorlama belgeleri, her aday için gerektirim ve çelişki logitleri üzerinde bir softmax işlemi tanımlar. İncelenen her iki sürümde de skorlayıcı, gerektirimi label2id içinde bulur. Gerektirim 0. indeksteyse diğer girdi olarak son logiti, değilse 0. indeksteki logiti kullanır. Yalnızca bir aday olduğunda da aynı dal çalışır. Skorlama belgeleri · 4.55.0 skorlayıcısı · 5.23.0 skorlayıcısı

Yayımlanmış yapılandırmaİndeks 0İndeks 1İndeks 2Gerektirimle eşlenen logit
aiface/ModernBERT-large_nliGerektirimÇelişkiNötrNötr
facebook/bart-large-mnliÇelişkiNötrGerektirimÇelişki

Her iki yapılandırmada da doğrudan ve ters etiket eşlemeleri birbiriyle tutarlıdır. Bunlar beyan edilen eşlemeyi ortaya koyar. Deney, ilgili modellerin ne öğrendiğini veya gerçek logitlerinin ne sıklıkla bir sıralama değişikliğine yol açacağını ölçmez. ModernBERT yapılandırması · BART yapılandırması

Kontrollü bir test örneğinde sıralama değişiyor

Aynı anlamsal logitler her yapılandırmaya göre yeniden düzenlendi. A etiketinin gerektirimi 2, çelişkisi 0 ve nötr değeri 4. B etiketinin gerektirimi 1, çelişkisi 2 ve nötr değeri −1. Referans hesaplama, belgelerde adı geçen iki sınıfı kullanıyor. Sonuçlar her iki sürümde de aynı.

Skorlama yoluA etiketiB etiketiDaha yüksek skor
Gerektirim ve beyan edilen çelişki0.8807970.268941A
ModernBERT eşlemesiyle çok etiketli0.1192030.880797B
BART eşlemesiyle çok etiketli0.8807970.268941A
İki adaylı, tek seçimli; her iki eşleme0.7310590.268941A

Yalnızca A etiketi ve varsayılan multi_label=False kullanıldığında aynı dal, ModernBERT eşlemesi için 0.119203, BART için 0.880797 veriyor. Üç farklı etiketin altı permütasyonunun üçünde çok etiketli dal, beyan edilen çelişki konumuyla tutarlı skorlar verirken diğer üçünde nötr konumuyla tutarlı skorlar veriyor. Bunlar bir test örneğindeki altı olası düzenlemedir. Bu sayı, etkilenen yayımlanmış modellerin oranına dair bir tahmin sunmaz. Tam çıktı

Sıfır atışlı bir değerlendirme için kontrol noktası revizyonunu, sınıf eşlemesini, skorlama kütüphanesinin sürümünü, aday sayısını ve çok etiketli ayarını koruyun. Kontrol noktaları arasında bağımsız skorları karşılaştırmadan önce skorlama yolunun gerçekte hangi logitleri kullandığını kontrol edin. Etiket eşlemesi, mevcut model başlığının çıktı sırasını tanımlamalıdır. Yalnızca yapılandırmayı düzenlemek, çıktının koordinatlarını değiştirmez.

Kontrolü tekrarlayın

Boru hattında hata denetimi etkin ve NumPy kullanılabilir durumdayken python3 check.py | cmp - observations.json komutunu çalıştırın. Kontrol aracı, toplam 27.139 baytlık iki işlem hattı kaynak dosyasının ve iki model yapılandırma dosyasının baytlarını doğrular. Sabitlenmiş gerektirim indeksi ve skor son işleme yöntemlerini, paket bağımlılıkları olmadan küçük bir sınıf içinde çalıştırır. float32 dizilerini, skorlayıcının tensör girdilerinden beklediği arayüz aracılığıyla sağlar. Bağımsız referans, iki sınıflı softmax işleminin lojistik biçimini kullanır. Paket, skorların indirgenmesini ve sıralanmasını test eder. Tokenizer, model, veri kümesi, tam kütüphane başlatması veya performans karşılaştırması çalıştırmaz.

Transformers deposu Apache 2.0 lisanslıdır. İki model kartında belirtilen lisanslar sırasıyla Apache 2.0 ve MIT idi. Bu paket, herkese açık etiket eşlemesi bilgilerini ve tanımlayıcılarını kullanır. Kontrol aracı, üst kaynak dosyalarını çalışma zamanında getirir; üst kaynak kodunu, model ağırlıklarını, model kartı metnini veya örnekleri paketlemez. Kontrol aracı · Transformers lisansı