ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีคำนวณซ้ำและเปรียบเทียบคะแนน chrF ของทั้งชุดข้อความ

ภาษาของบทความ: ไทย

หากต้องการคำนวณคะแนน chrF ของทั้งชุดข้อความให้ได้ค่าเดิม ให้เก็บชื่อตัวชี้วัด เวอร์ชัน ตัวเลือก และข้อมูลที่ใช้จริง บันทึกไฟล์ผลทำนายและรายการไฟล์อ้างอิงตามลำดับพร้อมค่าเช็กซัม เก็บรหัสส่วนข้อความเดิมหรือบันทึกที่ระบุว่าผลทำนายแต่ละรายการตรงกับส่วนใดในไฟล์อ้างอิงแต่ละไฟล์

ตัวอย่างใช้ข้อความสมมติสองส่วนและการตั้งค่าเริ่มต้นของ chrF2 ใน SacreBLEU 2.6.0

ใช้ลำดับไฟล์ของการประเมินเดิม

SacreBLEU เลือกข้อความอ้างอิงแยกกันสำหรับผลทำนายแต่ละรายการ โดยใช้ค่าที่นับได้จากข้อความอ้างอิงที่ให้คะแนนประโยคสูงสุด หากคะแนนเสมอกันพอดี จะเลือกข้อความอ้างอิงแรก การคำนวณ chrF2 ของทั้งชุดข้อความจะรวมผลนับ n-gram ที่เลือกก่อนคำนวณคะแนน

ในตัวอย่างแรก ข้อความอ้างอิงทั้งสองได้ 6.25 เท่ากันสำหรับผลทำนายแรกของ A แต่ผลนับ n-gram ต่างกัน เมื่อสลับไฟล์ คะแนนทั้งชุดข้อความของ A ลดจาก 79.03 เป็น 39.48 ส่วน B คงที่ที่ 64.31 จึงเปลี่ยนผู้ชนะ ผลจาก API และบรรทัดคำสั่งตรงกัน และการรันทั้งสี่ครั้งมีลายเซ็นตัวชี้วัดเหมือนกัน ใช้ไฟล์ตามลำดับเดิมเพื่อตรวจสอบค่าที่รายงาน

เปรียบเทียบทั้งสองระบบในทุกลำดับที่เป็นไปได้

ถ้าไม่แน่ใจว่าลำดับเดิมเป็นแบบใด ให้บันทึกลำดับที่อาจใช้จริงแล้วคำนวณคะแนนทั้งสองระบบในแต่ละลำดับ คำนวณผลต่างในการรันแต่ละครั้งก่อนสรุปช่วงของผลต่าง

ในอีกตัวอย่างที่ใช้ไฟล์อ้างอิงสามไฟล์ คะแนนของ A อยู่ระหว่าง 22.67 ถึง 79.03 และของ B อยู่ระหว่าง 16.33 ถึง 43.33 ช่วงคะแนนทับซ้อนกัน แต่ในลำดับทั้งหกที่ใช้เหมือนกันกับทั้งสองระบบ A นำอยู่ 6.33 ถึง 35.69 คะแนนเมื่อคำนวณจากค่าก่อนปัดเศษ หากผู้ชนะเปลี่ยนตามลำดับ ให้ระบุไว้ หากผู้ชนะเหมือนเดิม ให้ระบุว่าลำดับร่วมใดสนับสนุนข้อสรุปนั้น หาลำดับเดิมเพื่อตรวจสอบค่าที่รายงานครั้งแรก

คำนวณคะแนนใหม่เมื่อไฟล์อ้างอิงเปลี่ยน

ข้อความอ้างอิงใหม่อาจเพิ่มคะแนนของประโยคหนึ่งพร้อมกับลด chrF2 ของทั้งชุดข้อความ ในตัวอย่างที่สาม การเพิ่มไฟล์อ้างอิงหนึ่งไฟล์ทำให้คะแนนประโยคแรกของ A เพิ่มจาก 6.25 เป็น 6.94 ประโยคที่สองยังได้ 100 ค่าเฉลี่ยคะแนนประโยคของ A เพิ่มขึ้น แต่คะแนนทั้งชุดลดจาก 79.03 เป็น 43.60 ส่วน B ยังได้ 64.31 ข้อความอ้างอิงที่เพิ่มให้ส่วนแรกมีคะแนนประโยคสูงกว่าเดิม และทั้งสองลำดับให้ผลคะแนนทั้งชุดเท่ากัน ผลนับที่เลือกเปลี่ยนทั้งจำนวนที่ตรงกันและตัวหารในการคำนวณคะแนนทั้งชุด

เมื่อไฟล์อ้างอิงเปลี่ยน ให้คำนวณคะแนนของทั้งสองระบบจากไฟล์จริงและตามลำดับของแต่ละเวอร์ชัน เก็บผลทั้งสี่ไว้ด้วยกัน เพื่อให้ผู้อ่านเปรียบเทียบทั้งสองระบบโดยตรงในแต่ละเวอร์ชันและเห็นผลของการแก้ไข ระบุว่าคะแนนเป็น chrF2 ของทั้งชุดข้อความหรือค่าเฉลี่ยของคะแนนรายประโยค

การเลือกข้อความอ้างอิงและคำนวณคะแนนทั้งชุดใน SacreBLEU 2.6.0