# คะแนน zero-shot อาจเปลี่ยนเมื่อดัชนีป้ายกำกับ NLI เปลี่ยนตำแหน่ง

ชุด logit สมมติสองชุด ชุดละสามค่า ให้ผลการจัดอันดับแบบหลายป้ายกำกับที่ตรงกันข้ามกันเมื่อจัดเรียงตามการกำหนดค่าของโมเดลจริงสองชุด เส้นทางที่มีตัวเลือกเดียวก็ทำให้คะแนนเปลี่ยนเช่นกัน ส่วนเส้นทางแบบเลือกได้เพียงหนึ่งจากสองตัวเลือกให้ผลการจัดอันดับเหมือนกันทั้งสองแบบ การเปรียบเทียบนี้ทดสอบตัวคำนวณคะแนน zero-shot ใน Transformers 4.55.0 และ 5.23.0 โดยใช้เมทาดาทาการกำหนดค่าที่เปิดเผยต่อสาธารณะและไม่รันการอนุมานของโมเดล

## คู่ค่าที่คาดไว้และคู่ค่าที่ใช้

ไปป์ไลน์การจำแนกแบบ zero-shot สร้างข้อความตั้งต้นและสมมติฐานสำหรับแต่ละป้ายกำกับตัวเลือก เอกสารการคำนวณคะแนนแบบหลายป้ายกำกับระบุว่าใช้ softmax กับ logit ของ entailment และ contradiction สำหรับแต่ละตัวเลือก ในทั้งสองรุ่นที่ตรวจสอบ ตัวคำนวณคะแนนค้นหา entailment ใน `label2id` โดยใช้ logit สุดท้ายเป็นอีกค่าที่นำมาคำนวณเมื่อ entailment อยู่ที่ดัชนี 0 และใช้ค่าที่ดัชนี 0 ในกรณีอื่น เงื่อนไขเดียวกันนี้ทำงานเมื่อมีตัวเลือกเพียงตัวเดียวด้วย [เอกสารการคำนวณคะแนน](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [ตัวคำนวณคะแนน 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [ตัวคำนวณคะแนน 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| การกำหนดค่าที่เผยแพร่ | ดัชนี 0 | ดัชนี 1 | ดัชนี 2 | Logit ที่จับคู่กับ entailment |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | Entailment | Contradiction | Neutral | Neutral |
| facebook/bart-large-mnli | Contradiction | Neutral | Entailment | Contradiction |

การกำหนดค่าทั้งสองมีผังป้ายกำกับแบบไปข้างหน้าและย้อนกลับที่สอดคล้องกัน ซึ่งระบุการจับคู่ที่ประกาศไว้ การทดลองนี้ไม่ได้วัดว่าแต่ละโมเดลเรียนรู้อะไรหรือ logit จริงของโมเดลจะทำให้อันดับเปลี่ยนบ่อยเพียงใด [การกำหนดค่า ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [การกำหนดค่า BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## อันดับเปลี่ยนในการทดสอบที่ควบคุมเงื่อนไข

นำ logit ที่มีความหมายเดียวกันมาจัดเรียงใหม่ตามการกำหนดค่าแต่ละชุด ป้ายกำกับ A มีค่า entailment 2, contradiction 0 และ neutral 4 ส่วนป้ายกำกับ B มีค่า entailment 1, contradiction 2 และ neutral −1 การคำนวณอ้างอิงใช้สองคลาสที่ระบุในเอกสาร ผลลัพธ์ตรงกันทั้งสองรุ่น

| เส้นทางคำนวณคะแนน | ป้ายกำกับ A | ป้ายกำกับ B | คะแนนสูงกว่า |
| --- | ---: | ---: | --- |
| Entailment และ contradiction ที่ประกาศไว้ | 0.880797 | 0.268941 | A |
| หลายป้ายกำกับด้วยการจับคู่แบบ ModernBERT | 0.119203 | 0.880797 | B |
| หลายป้ายกำกับด้วยการจับคู่แบบ BART | 0.880797 | 0.268941 | A |
| เลือกได้หนึ่งจากสองตัวเลือก ใช้การจับคู่แบบใดก็ได้ | 0.731059 | 0.268941 | A |

เมื่อมีเพียงป้ายกำกับ A และใช้ค่าเริ่มต้น `multi_label=False` เงื่อนไขเดียวกันให้คะแนน 0.119203 สำหรับการจับคู่แบบ ModernBERT และ 0.880797 สำหรับ BART จากลำดับที่เป็นไปได้ทั้งหกแบบของป้ายกำกับสามชนิดที่ต่างกัน เงื่อนไขแบบหลายป้ายกำกับให้คะแนนที่สอดคล้องกับตำแหน่ง contradiction ที่ประกาศไว้ในสามแบบ และตำแหน่ง neutral ในอีกสามแบบ ทั้งหกแบบเป็นเพียงการจัดเรียงที่เป็นไปได้ในการทดสอบ ตัวเลขนี้ไม่ได้ประมาณสัดส่วนของโมเดลที่เผยแพร่ซึ่งได้รับผลกระทบ [ผลลัพธ์ทั้งหมด](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

สำหรับการประเมินแบบ zero-shot ให้เก็บข้อมูล revision ของ checkpoint การจับคู่คลาส เวอร์ชันไลบรารีที่ใช้คำนวณคะแนน จำนวนตัวเลือก และการตั้งค่าแบบหลายป้ายกำกับไว้ ตรวจสอบว่าเส้นทางคำนวณคะแนนใช้ logit ใดจริงก่อนเปรียบเทียบคะแนนแยกกันระหว่าง checkpoint ผังป้ายกำกับต้องระบุลำดับผลลัพธ์ของ head ที่มีอยู่ การแก้ไขไฟล์กำหนดค่าเพียงอย่างเดียวไม่ได้เปลี่ยนตำแหน่งค่าผลลัพธ์

## ทำซ้ำการตรวจสอบ

รัน `python3 check.py | cmp - observations.json` โดยเปิดการตรวจจับความล้มเหลวของไปป์ไลน์และเตรียม NumPy ให้พร้อม ตัวตรวจสอบยืนยันข้อมูลระดับไบต์ของไฟล์ซอร์สไปป์ไลน์สองไฟล์และไฟล์กำหนดค่าโมเดลสองไฟล์ รวม 27,139 ไบต์ โดยรันเฉพาะเมธอดค้นหาดัชนี entailment และประมวลผลคะแนนภายหลังที่ตรึงเวอร์ชันไว้ในคลาสขนาดเล็ก โดยไม่ใช้แพ็กเกจที่เมธอดเหล่านั้นพึ่งพา ตัวตรวจสอบส่งอาร์เรย์ float32 ผ่านอินเทอร์เฟซที่ตัวคำนวณคะแนนคาดว่าจะได้รับจากอินพุตแบบเทนเซอร์ การคำนวณอ้างอิงที่เป็นอิสระใช้รูปแบบ logistic ของ softmax สองคลาส แพ็กเกจนี้ทดสอบการรวมคะแนนและการจัดเรียง โดยไม่รัน tokenizer, โมเดล, ชุดข้อมูล, การเริ่มต้นไลบรารีเต็มรูปแบบ หรือ benchmark

รีโพซิทอรีของ Transformers ใช้สัญญาอนุญาต Apache 2.0 ส่วนป้ายกำกับสัญญาอนุญาตในการ์ดโมเดลทั้งสองระบุ Apache 2.0 และ MIT ตามลำดับ แพ็กเกจนี้ใช้ข้อเท็จจริงและตัวระบุของผังป้ายกำกับที่เปิดเผยต่อสาธารณะ ตัวตรวจสอบดึงไฟล์จากต้นทางขณะทำงาน และไม่ได้รวมซอร์สต้นทาง น้ำหนักโมเดล ข้อความในการ์ดโมเดล หรือตัวอย่างไว้ในแพ็กเกจ [ตัวตรวจสอบ](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [สัญญาอนุญาต Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
