งานวิจัย
การคัดกรองไฟล์อ้างอิงเปลี่ยนสัดส่วนงานในชุดสาธารณะของ GDPval
คะแนนเบนช์มาร์กตีความได้ง่ายขึ้นเมื่อรู้ว่างานใดบ้างที่อาจนำมาคิดคะแนน ในตารางงาน gold สาธารณะของ GDPval อาชีพทั้ง 44 อาชีพเริ่มต้นด้วยงานละ 5 รายการ แต่การเปรียบเทียบที่ต้องใช้ไฟล์อ้างอิงจากผู้เชี่ยวชาญที่ระบุไว้ไม่สามารถใช้ทุกแถวในตารางได้ในลักษณะเดียวกัน เพราะ 35 จาก 220 แถวมีรายการ deliverable_files ว่าง
ยอดรวมดังกล่าวมีระบุไว้แล้วในการนำ GDPval ไปใช้ของ gbench เรานับว่ารายการว่างเหล่านี้กระจายอยู่ในภาคส่วนและอาชีพต่าง ๆ อย่างไรในสแนปชอต GDPval ที่ตรึงเวอร์ชันไว้ เดียวกัน ทั้ง 44 อาชีพยังคงมีอย่างน้อยหนึ่งแถวที่ระบุไฟล์ไว้ แต่สัดส่วนของงานที่เหลือกระจายไม่สม่ำเสมอเท่าตารางเริ่มต้น
งานไหนระบุไฟล์อ้างอิงจากผู้เชี่ยวชาญไว้บ้าง
ตัวเลขเหล่านี้พิจารณาเพียงว่าตารางระบุพาธของผลงานผู้เชี่ยวชาญไว้อย่างน้อยหนึ่งรายการหรือไม่ พาธที่ระบุไว้ไม่ได้ยืนยันว่าเข้าถึงหรือแสดงผลไฟล์ได้ และรายการว่างก็ไม่ได้บ่งชี้ว่ามีไฟล์อ้างอิงอยู่นอกตารางนี้หรือไม่
| ภาคส่วน | แถวในตาราง gold สาธารณะ | มีผลงานที่ระบุไว้ | รายการว่าง |
|---|---|---|---|
| การเงินและการประกันภัย | 25 | 17 | 8 |
| ภาครัฐ | 25 | 22 | 3 |
| การดูแลสุขภาพและความช่วยเหลือทางสังคม | 25 | 22 | 3 |
| สารสนเทศ | 25 | 14 | 11 |
| การผลิต | 25 | 25 | 0 |
| บริการวิชาชีพ วิทยาศาสตร์ และเทคนิค | 25 | 24 | 1 |
| อสังหาริมทรัพย์และการให้เช่า | 25 | 20 | 5 |
| การค้าปลีก | 20 | 16 | 4 |
| การค้าส่ง | 25 | 25 | 0 |
| รวม | 220 | 185 | 35 |
แถบแสดงการมีรายการ ไม่ใช่การยืนยันว่าเข้าถึงหรือแสดงผลไฟล์ได้
ตารางมี 44 กลุ่มอาชีพและภาคส่วน แต่ละกลุ่มมีงาน 5 รายการ ในจำนวนนี้ 22 กลุ่มยังคงมีครบทั้ง 5 แถวหลังการคัดกรองขั้นนี้ และอีก 22 กลุ่มเหลือระหว่าง 2 ถึง 4 แถว ทุกอาชีพยังคงปรากฏอยู่ แต่การปรากฏเพียงอย่างเดียวไม่ได้หมายความว่าแต่ละอาชีพมีจำนวนงานเท่ากันอีกต่อไป
ความแตกต่างระหว่างภาคส่วนมีประโยชน์ต่อการอ่านผลรวม ภาคสารสนเทศและภาคการผลิตต่างมี 25 จาก 220 แถวเดิม หรือ 11.4% หากสมมติให้สรุปผลโดยถ่วงน้ำหนักแต่ละงานเท่ากันจาก 185 แถวที่มีรายการไฟล์เท่านั้น ภาคสารสนเทศจะมีสัดส่วน 14/185 หรือ 7.6% และภาคการผลิตจะมีสัดส่วน 25/185 หรือ 13.5% ตัวเลขเหล่านี้เป็นสัดส่วนของงาน ไม่ใช่คะแนนโมเดลหรือการประเมินคุณค่าของอาชีพต่าง ๆ
ระบบให้คะแนนอ่านไฟล์อ้างอิงได้ไหม
การคำนวณจาก 185 แถวไม่ใช่ตัวหารสุดท้ายในการคิดคะแนนของ gbench เอกสารระบุว่ามีงานอีก 4 รายการที่ผลงานซึ่งระบุไว้ไม่สามารถแสดงผลเป็นข้อความได้ จึงเหลืองานที่แสดงผลไฟล์อ้างอิงได้ 181 รายการ ณ สแนปชอตนั้น เราไม่ได้แสดงผลไฟล์เหล่านั้นเพื่อตรวจสอบเองหรือรัน gbench
แม้ไม่ทราบว่างานทั้ง 4 รายการอยู่ในภาคส่วนใด ตัวเลขเหล่านี้ก็ช่วยกำหนดขอบเขตของชุดงานที่เอกสารระบุว่าแสดงผลไฟล์อ้างอิงได้ หากทั้ง 4 เป็นคนละแถวกันใน 185 แถวที่มีรายการไฟล์ จะเหลือแถวของภาคการผลิตอย่างน้อย 21 แถว และภาคสารสนเทศอย่างมาก 14 แถว หากให้น้ำหนักแต่ละงานเท่ากัน ขีดจำกัดดังกล่าวจะเท่ากับ 21/181 (11.6%) และ 14/181 (7.7%) ตามลำดับ การรันจริงอาจมีตัวหารในการคิดคะแนนต่างออกไป เพราะความล้มเหลวในการสร้างผลลัพธ์ ความล้มเหลวของผู้ตัดสิน และจำนวนครั้งที่ทดลองต่องานก็มีผลเช่นกัน ตัวเลขเหล่านี้ไม่ได้อธิบายผลเดิมของ OpenAI ที่ให้มนุษย์ประเมิน
วิธีให้คะแนนแบบอื่นมีข้อกำหนดต่างกัน ในโหมด rubric ของ NeMo Gym ที่ระบุไว้ในเอกสาร ณ commit 5d6429f ผู้ตัดสินที่เป็น LLM จะให้คะแนนผลงานที่นำมาประเมินเทียบกับ rubric ของงาน โค้ดเตรียมข้อมูล ไม่ได้คัดลอกรายการ deliverable_files ของผลงานผู้เชี่ยวชาญ ขณะที่ตัวตรวจสอบ rubric จะรายงาน missing_rubric หากช่อง rubric ทั้งสองว่างเปล่า ต้องจัดเตรียมไฟล์อินพุตของงานที่ระบุไว้ และยังต้องมีผลลัพธ์ที่นำมาประเมินกับผู้ตัดสินด้วย การเรียกใช้ขั้นตอนเตรียมข้อมูลไม่ได้ตรึง revision ของชุดข้อมูล เราไม่ได้รัน NeMo Gym หรือวัดความครอบคลุม คะแนน rubric ของระบบนี้และอัตราชนะหรือเสมอของ gbench เป็นตัววัดที่ต่างกัน
สิ่งที่ผู้ตัดสินมองเห็น
ความพร้อมใช้งานของไฟล์อ้างอิงเป็นเพียงส่วนหนึ่งของการเปรียบเทียบ เอกสารของ gbench รายงานไว้แล้วว่า rubric 32 จาก 220 รายการมีความยาวเกินขีดจำกัดเริ่มต้น 8,000 อักขระ ตัวจัดรูปแบบจะเก็บเกณฑ์ทั้งข้อไว้ตามลำดับเดิมจนกว่าข้อถัดไปจะทำให้เกินขีดจำกัด แล้วจึงเพิ่มเครื่องหมายแสดงการตัดทอน หากเกณฑ์ข้อแรกเพียงข้อเดียวเกินขีดจำกัด จะแสดงเพียงบางส่วนของข้อนั้น จำนวนอักขระไม่ใช่จำนวนโทเคน
เราใช้ตัวจัดรูปแบบเวอร์ชันที่ตรึงไว้ดังกล่าวกับตารางงาน ในบรรดา 185 แถวที่ระบุผลงานผู้เชี่ยวชาญ มี rubric 26 รายการที่จะถูกตัดทอนด้วยขีดจำกัดเริ่มต้น โดยตัดเกณฑ์ออกทั้งข้อรวม 247 ข้อจากแถวเหล่านั้น ผลงานที่ระบุไว้อาจแสดงผลไม่ได้เสมอไป และการสร้างผลลัพธ์ที่ล้มเหลวหรือว่างเปล่าอาจทำให้ไม่มีการเรียกผู้ตัดสิน ดังนั้นตัวเลขเหล่านี้จึงไม่ใช่จำนวนการเปรียบเทียบที่ผู้ตัดสินประเมิน เพื่อเป็นตัวอย่าง หากเปลี่ยนเฉพาะขีดจำกัดของตัวจัดรูปแบบเป็น 12,000 หรือ 16,000 อักขระ จะมี rubric ใน 185 รายการนั้นถูกตัดทอน 2 รายการหรือไม่มีเลยตามลำดับ เราไม่ได้รันการตั้งค่าเหล่านั้นผ่านระบบประเมินหรือผู้ตัดสิน จำนวนเกณฑ์ที่ถูกตัดออกไม่ได้บ่งชี้ถึงความสำคัญของเกณฑ์เหล่านั้นหรือว่าคำตัดสินจะเปลี่ยนไปหรือไม่ ขีดจำกัดที่สูงขึ้นอาจเหลือพื้นที่ให้ส่วนอื่นในหน้าต่างบริบทขนาดคงที่น้อยลง ควรตรวจสอบข้อมูลการตัดทอนที่บันทึกจากการรันจริงควบคู่กับจำนวนไฟล์อ้างอิงและจำนวนที่นำมาคิดคะแนน
สคริปต์คัดกรอง rubric สร้างตัวเลขเหล่านี้ซ้ำด้วย DuckDB 1.4.4 โดยดาวน์โหลดตารางงานฉบับเต็มที่ตรึงเวอร์ชันไว้ชั่วคราวและประมวลผลข้อความ rubric ในหน่วยความจำ ผลลัพธ์เก็บเฉพาะจำนวนรวม ไม่เก็บ ID งานหรือข้อความ rubric และลบตารางชั่วคราวหลังรันเสร็จตามปกติ สคริปต์เรียกใช้เฉพาะตัวจัดรูปแบบจาก gbench ที่ตรวจสอบและยืนยันแฮชแล้วภายใน namespace ที่จำกัด ซึ่งไม่ใช่แซนด์บ็อกซ์ด้านความปลอดภัย ไฟล์อาร์ไคฟ์มีใบอนุญาตและประกาศจากต้นทาง หลังตั้งค่า DuckDB ตามขั้นตอนด้านล่าง ให้ใช้ Python 3.11 สร้างสภาพแวดล้อม ดาวน์โหลดอาร์ไคฟ์ และรันบน macOS หรือ Linux ดังนี้
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.jsonบันทึกเส้นทางจากงานสู่คะแนน
เมื่อตั้งค่าหรือเปรียบเทียบการประเมิน ให้บันทึก revision ของชุดข้อมูล ประเภทไฟล์อ้างอิงที่ต้องใช้ และกฎคุณสมบัติแต่ละข้อ รายงานจำนวนแยกตามกลุ่มในตารางเริ่มต้น หลังตรวจสอบไฟล์อ้างอิง และหลังให้คะแนน แยกเหตุผลระหว่างกรณีไม่มีไฟล์อ้างอิงระบุไว้ ไฟล์อ้างอิงอ่านไม่ได้ การสร้างผลลัพธ์ล้มเหลว และคำตัดสินที่ใช้ไม่ได้ มิฉะนั้นผลรวมเพียงค่าเดียวอาจบดบังว่างานใดบ้างที่ไม่ได้มีส่วนในผลลัพธ์อีกต่อไป
ระบุด้วยว่าถ่วงน้ำหนักงานและครั้งที่ทดลองซึ่งเหลืออยู่อย่างไร การให้น้ำหนักเท่ากันต่องาน ต่ออาชีพ และต่อครั้งที่ทดลองตอบคำถามต่างกันเมื่อจำนวนไม่เท่ากัน ไม่มีวิธีใดแก้ปัญหาหลักฐานที่ขาดหายได้ด้วยตัวเอง การสรุปผลที่เหมาะสมขึ้นอยู่กับสิ่งที่การประเมินมุ่งวัด
สำหรับชุดงานที่ออกแบบเอง คู่มือประเมินเอเจนต์ แสดงวิธีกำหนดสิ่งที่ตรวจสอบได้และตีความผลการทดลองซ้ำ
บันทึกเวอร์ชันที่แน่นอนของไฟล์อินพุตแต่ละไฟล์
ตารางงานที่ตรึงเวอร์ชันไว้ไม่ได้หมายความว่าไฟล์ทุกไฟล์ที่ระบบประเมินดาวน์โหลดจะถูกตรึงเวอร์ชันด้วย ในตาราง GDPval สาธารณะฉบับก่อนหน้าที่ revision 4bf6426 มี 122 จาก 220 แถวงานที่ระบุไฟล์อินพุต URL ของไฟล์อินพุตทั้ง 262 รายการที่ระบุไว้ชี้ไปยังสาขา main ของ repository ซึ่งเปลี่ยนแปลงได้ ข้อมูลกำกับของผู้ให้บริการระบุว่า 62 พาธจากชุดเดียวกันมีขนาดและ blob ID ต่างออกไปเมื่อถึง revision 11e7900 โดยพาธทั้ง 62 ปรากฏอยู่ใน 20 แถวของตารางฉบับก่อนหน้า ไฟล์เหล่านี้เป็นอินพุตของงาน ต่างจากผลงานอ้างอิงของผู้เชี่ยวชาญใน deliverable_files ที่นับไว้ข้างต้น
ข้อมูลนี้ไม่ได้แสดงว่าการประเมินใดใช้ข้อมูลอินพุตที่เปลี่ยนไป ไฟล์ใดเสียหาย หรือคะแนนเปลี่ยนไป แต่แสดงให้เห็นว่าเหตุใดการเปิด URL ที่เปลี่ยนแปลงได้จากตารางที่บันทึกไว้ในภายหลังจึงอาจเลือกไฟล์อินพุตคนละเวอร์ชัน เราไม่ได้วิเคราะห์เนื้อหาของไฟล์อินพุต
ที่ คอมมิต 5c092d5 ของ Inspect Evals ตัวโหลด GDPval ตรึงตารางงานไว้ที่ revision a3848a2 ตารางนั้นตรงกับตารางฉบับก่อนหน้าข้างต้นทุกไบต์ และข้อมูลกำกับของไฟล์อินพุตจากผู้ให้บริการก็ตรงกันด้วย ตัวโหลดจับคู่ URL ในตารางเป็นรายการจับคู่ไฟล์ตัวอย่าง โดยเอกสารของ Inspect ระบุว่ารายการจับคู่เหล่านั้นใช้ URL ได้ ดังนั้นเส้นทางในซอร์สนี้จึงอาจนำ URL ที่เปลี่ยนแปลงได้มาใช้ควบคู่กับตารางที่ตรึงไว้ เราไม่ได้ทดสอบการดาวน์โหลดหรือแคชไฟล์ของ Inspect หรือยืนยันว่าการรันใดใช้ไฟล์อะไร
ระบบประเมินอาจเลือกดึงไฟล์จากพาธสัมพัทธ์ของชุดข้อมูลโดยใช้ revision ที่เปลี่ยนแปลงไม่ได้เดียวกับตาราง การนำ gbench ไปใช้ที่ตรวจสอบในที่นี้ ระบุ revision ที่ตรึงไว้อย่างชัดเจนเมื่อดึงไฟล์แนบ ควรบันทึก revision และตรวจสอบไฟล์ที่ใช้จริงเมื่อทำได้ เอกสารการดาวน์โหลดของ Hugging Face อธิบายวิธีระบุ commit จาก revision ที่เปลี่ยนแปลงได้เพื่อให้ดาวน์โหลดได้อย่างสม่ำเสมอ
สคริปต์วิเคราะห์ URL อินพุต สร้างตัวเลขเหล่านี้ซ้ำด้วย DuckDB 1.4.4 โดยดาวน์โหลดตารางงานฉบับก่อนหน้าชั่วคราว ลบหลังรันเสร็จตามปกติ และไม่เก็บข้อความงาน ID รายการ พาธอินพุต หรือเนื้อหาอินพุตไว้ในผลลัพธ์ มีแฟล็กเสริมสำหรับตรวจสอบส่วนหัวของการตอบกลับจากพาธหนึ่งรายการและ revision ปัจจุบันของ main ซึ่งผลอาจเปลี่ยนไปตาม main สำหรับการตรวจสอบนี้ สคริปต์ส่งเฉพาะคำขอ HEAD รวมถึงเมื่อมีการเปลี่ยนเส้นทาง และไม่สังเกตผลลัพธ์ที่ไม่พร้อมใช้งาน การตรวจสอบด้วยไลบรารีมาตรฐานของ Python จะเปรียบเทียบตารางและข้อมูลกำกับที่ Inspect ตรึงไว้ และตรวจสอบซอร์สตัวโหลดที่ตรึงไว้ โดยไม่รันซอร์สนั้น การตรวจสอบแฮชของตารางอ่านตารางฉบับเต็มเข้าสู่หน่วยความจำ แต่ไม่แยกวิเคราะห์หรือเก็บเนื้อหางาน สคริปต์ไม่ได้ร้องขอเนื้อหาของไฟล์อินพุต
หลังตั้งค่า DuckDB ตามขั้นตอนด้านล่าง ให้รันการตรวจสอบบน macOS หรือ Linux ดังนี้
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.pyวิธีนับ
สำหรับการสำรวจความพร้อมใช้งานของไฟล์อ้างอิง เราตรวจสอบตาราง Parquet train ที่ GDPval revision 11e7900cdcac61bc4daf59e65feb238acda98fbf ยืนยันว่ามี ID งานที่ไม่ซ้ำกัน 220 รายการ และจัดกลุ่มโดยใช้เฉพาะภาคส่วน อาชีพ และความยาวของรายการ deliverable_files แต่ละรายการ สคริปต์วิเคราะห์ ตรวจสอบแฮชของซอร์สและสร้างตัวเลขเหล่านี้ซ้ำด้วย DuckDB 1.4.4 โดยดาวน์โหลดตารางฉบับเต็มชั่วคราวและลบหลังรันเสร็จตามปกติ ผลลัพธ์ไม่เก็บพรอมป์ต rubric ID งานรายรายการ พาธของผลงาน หรือผลงาน ไม่มีการรันโมเดล เบนช์มาร์ก หรือตัวแสดงผลไฟล์อ้างอิง
หากต้องการทำซ้ำในเครื่องด้วย Python 3.9 ขึ้นไปบน macOS หรือ Linux ให้ตรวจสอบว่า python3 เลือกใช้เวอร์ชันดังกล่าว:
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.jsonsapien1 จัดเตรียมสคริปต์เหล่านี้ให้ดาวน์โหลดและรันในเครื่อง โดยไม่ได้ระบุใบอนุญาตเพิ่มเติมสำหรับการแก้ไขหรือแจกจ่ายต่อ ข้อกำหนดของชุดข้อมูลต้นทางแยกต่างหาก
OpenAI อธิบายว่าชุดย่อย gold จำนวน 220 งานเป็นโอเพนซอร์ส การ์ดชุดข้อมูลที่ตรึงเวอร์ชันไว้ มีข้อความ canary สำหรับเบนช์มาร์กและไม่มีช่องใบอนุญาต ควรตรวจสอบข้อกำหนดที่ใช้กับการใช้งานของตน แทนการอนุมานจากป้ายกำกับในการ์ดหรือจากจำนวนนี้ ชื่อภาคส่วนและอาชีพ รวมถึงเบนช์มาร์กยังคงระบุที่มาตามแหล่งต้นทาง