งานวิจัย
คะแนน zero-shot อาจเปลี่ยนเมื่อดัชนีป้ายกำกับ NLI เปลี่ยนตำแหน่ง
ชุด logit สมมติสองชุด ชุดละสามค่า ให้ผลการจัดอันดับแบบหลายป้ายกำกับที่ตรงกันข้ามกันเมื่อจัดเรียงตามการกำหนดค่าของโมเดลจริงสองชุด เส้นทางที่มีตัวเลือกเดียวก็ทำให้คะแนนเปลี่ยนเช่นกัน ส่วนเส้นทางแบบเลือกได้เพียงหนึ่งจากสองตัวเลือกให้ผลการจัดอันดับเหมือนกันทั้งสองแบบ การเปรียบเทียบนี้ทดสอบตัวคำนวณคะแนน zero-shot ใน Transformers 4.55.0 และ 5.23.0 โดยใช้เมทาดาทาการกำหนดค่าที่เปิดเผยต่อสาธารณะและไม่รันการอนุมานของโมเดล
คู่ค่าที่คาดไว้และคู่ค่าที่ใช้
ไปป์ไลน์การจำแนกแบบ zero-shot สร้างข้อความตั้งต้นและสมมติฐานสำหรับแต่ละป้ายกำกับตัวเลือก เอกสารการคำนวณคะแนนแบบหลายป้ายกำกับระบุว่าใช้ softmax กับ logit ของ entailment และ contradiction สำหรับแต่ละตัวเลือก ในทั้งสองรุ่นที่ตรวจสอบ ตัวคำนวณคะแนนค้นหา entailment ใน label2id โดยใช้ logit สุดท้ายเป็นอีกค่าที่นำมาคำนวณเมื่อ entailment อยู่ที่ดัชนี 0 และใช้ค่าที่ดัชนี 0 ในกรณีอื่น เงื่อนไขเดียวกันนี้ทำงานเมื่อมีตัวเลือกเพียงตัวเดียวด้วย เอกสารการคำนวณคะแนน · ตัวคำนวณคะแนน 4.55.0 · ตัวคำนวณคะแนน 5.23.0
| การกำหนดค่าที่เผยแพร่ | ดัชนี 0 | ดัชนี 1 | ดัชนี 2 | Logit ที่จับคู่กับ entailment |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |
การกำหนดค่าทั้งสองมีผังป้ายกำกับแบบไปข้างหน้าและย้อนกลับที่สอดคล้องกัน ซึ่งระบุการจับคู่ที่ประกาศไว้ การทดลองนี้ไม่ได้วัดว่าแต่ละโมเดลเรียนรู้อะไรหรือ logit จริงของโมเดลจะทำให้อันดับเปลี่ยนบ่อยเพียงใด การกำหนดค่า ModernBERT · การกำหนดค่า BART
อันดับเปลี่ยนในการทดสอบที่ควบคุมเงื่อนไข
นำ logit ที่มีความหมายเดียวกันมาจัดเรียงใหม่ตามการกำหนดค่าแต่ละชุด ป้ายกำกับ A มีค่า entailment 2, contradiction 0 และ neutral 4 ส่วนป้ายกำกับ B มีค่า entailment 1, contradiction 2 และ neutral −1 การคำนวณอ้างอิงใช้สองคลาสที่ระบุในเอกสาร ผลลัพธ์ตรงกันทั้งสองรุ่น
| เส้นทางคำนวณคะแนน | ป้ายกำกับ A | ป้ายกำกับ B | คะแนนสูงกว่า |
|---|---|---|---|
| Entailment และ contradiction ที่ประกาศไว้ | 0.880797 | 0.268941 | A |
| หลายป้ายกำกับด้วยการจับคู่แบบ ModernBERT | 0.119203 | 0.880797 | B |
| หลายป้ายกำกับด้วยการจับคู่แบบ BART | 0.880797 | 0.268941 | A |
| เลือกได้หนึ่งจากสองตัวเลือก ใช้การจับคู่แบบใดก็ได้ | 0.731059 | 0.268941 | A |
เมื่อมีเพียงป้ายกำกับ A และใช้ค่าเริ่มต้น multi_label=False เงื่อนไขเดียวกันให้คะแนน 0.119203 สำหรับการจับคู่แบบ ModernBERT และ 0.880797 สำหรับ BART จากลำดับที่เป็นไปได้ทั้งหกแบบของป้ายกำกับสามชนิดที่ต่างกัน เงื่อนไขแบบหลายป้ายกำกับให้คะแนนที่สอดคล้องกับตำแหน่ง contradiction ที่ประกาศไว้ในสามแบบ และตำแหน่ง neutral ในอีกสามแบบ ทั้งหกแบบเป็นเพียงการจัดเรียงที่เป็นไปได้ในการทดสอบ ตัวเลขนี้ไม่ได้ประมาณสัดส่วนของโมเดลที่เผยแพร่ซึ่งได้รับผลกระทบ ผลลัพธ์ทั้งหมด
สำหรับการประเมินแบบ zero-shot ให้เก็บข้อมูล revision ของ checkpoint การจับคู่คลาส เวอร์ชันไลบรารีที่ใช้คำนวณคะแนน จำนวนตัวเลือก และการตั้งค่าแบบหลายป้ายกำกับไว้ ตรวจสอบว่าเส้นทางคำนวณคะแนนใช้ logit ใดจริงก่อนเปรียบเทียบคะแนนแยกกันระหว่าง checkpoint ผังป้ายกำกับต้องระบุลำดับผลลัพธ์ของ head ที่มีอยู่ การแก้ไขไฟล์กำหนดค่าเพียงอย่างเดียวไม่ได้เปลี่ยนตำแหน่งค่าผลลัพธ์
ทำซ้ำการตรวจสอบ
รัน python3 check.py | cmp - observations.json โดยเปิดการตรวจจับความล้มเหลวของไปป์ไลน์และเตรียม NumPy ให้พร้อม ตัวตรวจสอบยืนยันข้อมูลระดับไบต์ของไฟล์ซอร์สไปป์ไลน์สองไฟล์และไฟล์กำหนดค่าโมเดลสองไฟล์ รวม 27,139 ไบต์ โดยรันเฉพาะเมธอดค้นหาดัชนี entailment และประมวลผลคะแนนภายหลังที่ตรึงเวอร์ชันไว้ในคลาสขนาดเล็ก โดยไม่ใช้แพ็กเกจที่เมธอดเหล่านั้นพึ่งพา ตัวตรวจสอบส่งอาร์เรย์ float32 ผ่านอินเทอร์เฟซที่ตัวคำนวณคะแนนคาดว่าจะได้รับจากอินพุตแบบเทนเซอร์ การคำนวณอ้างอิงที่เป็นอิสระใช้รูปแบบ logistic ของ softmax สองคลาส แพ็กเกจนี้ทดสอบการรวมคะแนนและการจัดเรียง โดยไม่รัน tokenizer, โมเดล, ชุดข้อมูล, การเริ่มต้นไลบรารีเต็มรูปแบบ หรือ benchmark
รีโพซิทอรีของ Transformers ใช้สัญญาอนุญาต Apache 2.0 ส่วนป้ายกำกับสัญญาอนุญาตในการ์ดโมเดลทั้งสองระบุ Apache 2.0 และ MIT ตามลำดับ แพ็กเกจนี้ใช้ข้อเท็จจริงและตัวระบุของผังป้ายกำกับที่เปิดเผยต่อสาธารณะ ตัวตรวจสอบดึงไฟล์จากต้นทางขณะทำงาน และไม่ได้รวมซอร์สต้นทาง น้ำหนักโมเดล ข้อความในการ์ดโมเดล หรือตัวอย่างไว้ในแพ็กเกจ ตัวตรวจสอบ · สัญญาอนุญาต Transformers