# การคัดกรองไฟล์อ้างอิงเปลี่ยนสัดส่วนงานในชุดสาธารณะของ GDPval

คะแนนเบนช์มาร์กตีความได้ง่ายขึ้นเมื่อรู้ว่างานใดบ้างที่อาจนำมาคิดคะแนน ในตารางงาน gold สาธารณะของ GDPval อาชีพทั้ง 44 อาชีพเริ่มต้นด้วยงานละ 5 รายการ แต่การเปรียบเทียบที่ต้องใช้ไฟล์อ้างอิงจากผู้เชี่ยวชาญที่ระบุไว้ไม่สามารถใช้ทุกแถวในตารางได้ในลักษณะเดียวกัน เพราะ 35 จาก 220 แถวมีรายการ `deliverable_files` ว่าง

ยอดรวมดังกล่าวมีระบุไว้แล้วใน[การนำ GDPval ไปใช้ของ gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) เรานับว่ารายการว่างเหล่านี้กระจายอยู่ในภาคส่วนและอาชีพต่าง ๆ อย่างไรใน[สแนปชอต GDPval ที่ตรึงเวอร์ชันไว้](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) เดียวกัน ทั้ง 44 อาชีพยังคงมีอย่างน้อยหนึ่งแถวที่ระบุไฟล์ไว้ แต่สัดส่วนของงานที่เหลือกระจายไม่สม่ำเสมอเท่าตารางเริ่มต้น

## งานไหนระบุไฟล์อ้างอิงจากผู้เชี่ยวชาญไว้บ้าง

ตัวเลขเหล่านี้พิจารณาเพียงว่าตารางระบุพาธของผลงานผู้เชี่ยวชาญไว้อย่างน้อยหนึ่งรายการหรือไม่ พาธที่ระบุไว้ไม่ได้ยืนยันว่าเข้าถึงหรือแสดงผลไฟล์ได้ และรายการว่างก็ไม่ได้บ่งชี้ว่ามีไฟล์อ้างอิงอยู่นอกตารางนี้หรือไม่

| ภาคส่วน | แถวในตาราง gold สาธารณะ | มีผลงานที่ระบุไว้ | รายการว่าง |
| --- | ---: | ---: | ---: |
| การเงินและการประกันภัย | 25 | 17 | 8 |
| ภาครัฐ | 25 | 22 | 3 |
| การดูแลสุขภาพและความช่วยเหลือทางสังคม | 25 | 22 | 3 |
| สารสนเทศ | 25 | 14 | 11 |
| การผลิต | 25 | 25 | 0 |
| บริการวิชาชีพ วิทยาศาสตร์ และเทคนิค | 25 | 24 | 1 |
| อสังหาริมทรัพย์และการให้เช่า | 25 | 20 | 5 |
| การค้าปลีก | 20 | 16 | 4 |
| การค้าส่ง | 25 | 25 | 0 |
| **รวม** | **220** | **185** | **35** |

![แถวที่ระบุผลงานผู้เชี่ยวชาญ แยกตามภาคส่วน](https://sapien1.com/research/gdpval-reference-coverage/figures/th/sector-coverage.svg)

แถบแสดงการมีรายการ ไม่ใช่การยืนยันว่าเข้าถึงหรือแสดงผลไฟล์ได้

ตารางมี 44 กลุ่มอาชีพและภาคส่วน แต่ละกลุ่มมีงาน 5 รายการ ในจำนวนนี้ 22 กลุ่มยังคงมีครบทั้ง 5 แถวหลังการคัดกรองขั้นนี้ และอีก 22 กลุ่มเหลือระหว่าง 2 ถึง 4 แถว ทุกอาชีพยังคงปรากฏอยู่ แต่การปรากฏเพียงอย่างเดียวไม่ได้หมายความว่าแต่ละอาชีพมีจำนวนงานเท่ากันอีกต่อไป

ความแตกต่างระหว่างภาคส่วนมีประโยชน์ต่อการอ่านผลรวม ภาคสารสนเทศและภาคการผลิตต่างมี 25 จาก 220 แถวเดิม หรือ 11.4% หากสมมติให้สรุปผลโดยถ่วงน้ำหนักแต่ละงานเท่ากันจาก 185 แถวที่มีรายการไฟล์เท่านั้น ภาคสารสนเทศจะมีสัดส่วน 14/185 หรือ 7.6% และภาคการผลิตจะมีสัดส่วน 25/185 หรือ 13.5% ตัวเลขเหล่านี้เป็นสัดส่วนของงาน ไม่ใช่คะแนนโมเดลหรือการประเมินคุณค่าของอาชีพต่าง ๆ

## ระบบให้คะแนนอ่านไฟล์อ้างอิงได้ไหม

การคำนวณจาก 185 แถวไม่ใช่ตัวหารสุดท้ายในการคิดคะแนนของ gbench เอกสารระบุว่ามีงานอีก 4 รายการที่ผลงานซึ่งระบุไว้ไม่สามารถแสดงผลเป็นข้อความได้ จึงเหลืองานที่แสดงผลไฟล์อ้างอิงได้ 181 รายการ ณ สแนปชอตนั้น เราไม่ได้แสดงผลไฟล์เหล่านั้นเพื่อตรวจสอบเองหรือรัน gbench

แม้ไม่ทราบว่างานทั้ง 4 รายการอยู่ในภาคส่วนใด ตัวเลขเหล่านี้ก็ช่วยกำหนดขอบเขตของชุดงานที่เอกสารระบุว่าแสดงผลไฟล์อ้างอิงได้ หากทั้ง 4 เป็นคนละแถวกันใน 185 แถวที่มีรายการไฟล์ จะเหลือแถวของภาคการผลิตอย่างน้อย 21 แถว และภาคสารสนเทศอย่างมาก 14 แถว หากให้น้ำหนักแต่ละงานเท่ากัน ขีดจำกัดดังกล่าวจะเท่ากับ 21/181 (11.6%) และ 14/181 (7.7%) ตามลำดับ การรันจริงอาจมีตัวหารในการคิดคะแนนต่างออกไป เพราะความล้มเหลวในการสร้างผลลัพธ์ ความล้มเหลวของผู้ตัดสิน และจำนวนครั้งที่ทดลองต่องานก็มีผลเช่นกัน ตัวเลขเหล่านี้ไม่ได้อธิบายผลเดิมของ OpenAI ที่ให้มนุษย์ประเมิน

วิธีให้คะแนนแบบอื่นมีข้อกำหนดต่างกัน ใน[โหมด rubric ของ NeMo Gym ที่ระบุไว้ในเอกสาร ณ commit `5d6429f`](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md) ผู้ตัดสินที่เป็น LLM จะให้คะแนนผลงานที่นำมาประเมินเทียบกับ rubric ของงาน [โค้ดเตรียมข้อมูล](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py) ไม่ได้คัดลอกรายการ `deliverable_files` ของผลงานผู้เชี่ยวชาญ ขณะที่[ตัวตรวจสอบ rubric](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py) จะรายงาน `missing_rubric` หากช่อง rubric ทั้งสองว่างเปล่า ต้องจัดเตรียมไฟล์อินพุตของงานที่ระบุไว้ และยังต้องมีผลลัพธ์ที่นำมาประเมินกับผู้ตัดสินด้วย การเรียกใช้ขั้นตอนเตรียมข้อมูลไม่ได้ตรึง revision ของชุดข้อมูล เราไม่ได้รัน NeMo Gym หรือวัดความครอบคลุม คะแนน rubric ของระบบนี้และอัตราชนะหรือเสมอของ gbench เป็นตัววัดที่ต่างกัน

## สิ่งที่ผู้ตัดสินมองเห็น

ความพร้อมใช้งานของไฟล์อ้างอิงเป็นเพียงส่วนหนึ่งของการเปรียบเทียบ [เอกสารของ gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) รายงานไว้แล้วว่า rubric 32 จาก 220 รายการมีความยาวเกินขีดจำกัดเริ่มต้น 8,000 อักขระ ตัวจัดรูปแบบจะเก็บเกณฑ์ทั้งข้อไว้ตามลำดับเดิมจนกว่าข้อถัดไปจะทำให้เกินขีดจำกัด แล้วจึงเพิ่มเครื่องหมายแสดงการตัดทอน หากเกณฑ์ข้อแรกเพียงข้อเดียวเกินขีดจำกัด จะแสดงเพียงบางส่วนของข้อนั้น จำนวนอักขระไม่ใช่จำนวนโทเคน

เราใช้ตัวจัดรูปแบบเวอร์ชันที่ตรึงไว้ดังกล่าวกับตารางงาน ในบรรดา 185 แถวที่ระบุผลงานผู้เชี่ยวชาญ มี rubric 26 รายการที่จะถูกตัดทอนด้วยขีดจำกัดเริ่มต้น โดยตัดเกณฑ์ออกทั้งข้อรวม 247 ข้อจากแถวเหล่านั้น ผลงานที่ระบุไว้อาจแสดงผลไม่ได้เสมอไป และการสร้างผลลัพธ์ที่ล้มเหลวหรือว่างเปล่าอาจทำให้ไม่มีการเรียกผู้ตัดสิน ดังนั้นตัวเลขเหล่านี้จึงไม่ใช่จำนวนการเปรียบเทียบที่ผู้ตัดสินประเมิน เพื่อเป็นตัวอย่าง หากเปลี่ยนเฉพาะขีดจำกัดของตัวจัดรูปแบบเป็น 12,000 หรือ 16,000 อักขระ จะมี rubric ใน 185 รายการนั้นถูกตัดทอน 2 รายการหรือไม่มีเลยตามลำดับ เราไม่ได้รันการตั้งค่าเหล่านั้นผ่านระบบประเมินหรือผู้ตัดสิน จำนวนเกณฑ์ที่ถูกตัดออกไม่ได้บ่งชี้ถึงความสำคัญของเกณฑ์เหล่านั้นหรือว่าคำตัดสินจะเปลี่ยนไปหรือไม่ ขีดจำกัดที่สูงขึ้นอาจเหลือพื้นที่ให้ส่วนอื่นในหน้าต่างบริบทขนาดคงที่น้อยลง ควรตรวจสอบข้อมูลการตัดทอนที่บันทึกจากการรันจริงควบคู่กับจำนวนไฟล์อ้างอิงและจำนวนที่นำมาคิดคะแนน

[สคริปต์คัดกรอง rubric](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip) สร้างตัวเลขเหล่านี้ซ้ำด้วย DuckDB 1.4.4 โดยดาวน์โหลดตารางงานฉบับเต็มที่ตรึงเวอร์ชันไว้ชั่วคราวและประมวลผลข้อความ rubric ในหน่วยความจำ ผลลัพธ์เก็บเฉพาะจำนวนรวม ไม่เก็บ ID งานหรือข้อความ rubric และลบตารางชั่วคราวหลังรันเสร็จตามปกติ สคริปต์เรียกใช้เฉพาะตัวจัดรูปแบบจาก gbench ที่ตรวจสอบและยืนยันแฮชแล้วภายใน namespace ที่จำกัด ซึ่งไม่ใช่แซนด์บ็อกซ์ด้านความปลอดภัย ไฟล์อาร์ไคฟ์มีใบอนุญาตและประกาศจากต้นทาง หลังตั้งค่า DuckDB ตามขั้นตอนด้านล่าง ให้ใช้ Python 3.11 สร้างสภาพแวดล้อม ดาวน์โหลดอาร์ไคฟ์ และรันบน macOS หรือ Linux ดังนี้

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## บันทึกเส้นทางจากงานสู่คะแนน

เมื่อตั้งค่าหรือเปรียบเทียบการประเมิน ให้บันทึก revision ของชุดข้อมูล ประเภทไฟล์อ้างอิงที่ต้องใช้ และกฎคุณสมบัติแต่ละข้อ รายงานจำนวนแยกตามกลุ่มในตารางเริ่มต้น หลังตรวจสอบไฟล์อ้างอิง และหลังให้คะแนน แยกเหตุผลระหว่างกรณีไม่มีไฟล์อ้างอิงระบุไว้ ไฟล์อ้างอิงอ่านไม่ได้ การสร้างผลลัพธ์ล้มเหลว และคำตัดสินที่ใช้ไม่ได้ มิฉะนั้นผลรวมเพียงค่าเดียวอาจบดบังว่างานใดบ้างที่ไม่ได้มีส่วนในผลลัพธ์อีกต่อไป

ระบุด้วยว่าถ่วงน้ำหนักงานและครั้งที่ทดลองซึ่งเหลืออยู่อย่างไร การให้น้ำหนักเท่ากันต่องาน ต่ออาชีพ และต่อครั้งที่ทดลองตอบคำถามต่างกันเมื่อจำนวนไม่เท่ากัน ไม่มีวิธีใดแก้ปัญหาหลักฐานที่ขาดหายได้ด้วยตัวเอง การสรุปผลที่เหมาะสมขึ้นอยู่กับสิ่งที่การประเมินมุ่งวัด

สำหรับชุดงานที่ออกแบบเอง [คู่มือประเมินเอเจนต์](https://sapien1.com/th/agent-evaluation) แสดงวิธีกำหนดสิ่งที่ตรวจสอบได้และตีความผลการทดลองซ้ำ

## บันทึกเวอร์ชันที่แน่นอนของไฟล์อินพุตแต่ละไฟล์

ตารางงานที่ตรึงเวอร์ชันไว้ไม่ได้หมายความว่าไฟล์ทุกไฟล์ที่ระบบประเมินดาวน์โหลดจะถูกตรึงเวอร์ชันด้วย ใน[ตาราง GDPval สาธารณะฉบับก่อนหน้าที่ revision `4bf6426`](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1) มี 122 จาก 220 แถวงานที่ระบุไฟล์อินพุต URL ของไฟล์อินพุตทั้ง 262 รายการที่ระบุไว้ชี้ไปยังสาขา `main` ของ repository ซึ่งเปลี่ยนแปลงได้ ข้อมูลกำกับของผู้ให้บริการระบุว่า 62 พาธจากชุดเดียวกันมีขนาดและ blob ID ต่างออกไปเมื่อถึง [revision `11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) โดยพาธทั้ง 62 ปรากฏอยู่ใน 20 แถวของตารางฉบับก่อนหน้า ไฟล์เหล่านี้เป็นอินพุตของงาน ต่างจากผลงานอ้างอิงของผู้เชี่ยวชาญใน `deliverable_files` ที่นับไว้ข้างต้น

ข้อมูลนี้ไม่ได้แสดงว่าการประเมินใดใช้ข้อมูลอินพุตที่เปลี่ยนไป ไฟล์ใดเสียหาย หรือคะแนนเปลี่ยนไป แต่แสดงให้เห็นว่าเหตุใดการเปิด URL ที่เปลี่ยนแปลงได้จากตารางที่บันทึกไว้ในภายหลังจึงอาจเลือกไฟล์อินพุตคนละเวอร์ชัน เราไม่ได้วิเคราะห์เนื้อหาของไฟล์อินพุต

ที่ [คอมมิต `5c092d5` ของ Inspect Evals](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py) ตัวโหลด GDPval ตรึงตารางงานไว้ที่ revision `a3848a2` ตารางนั้นตรงกับตารางฉบับก่อนหน้าข้างต้นทุกไบต์ และข้อมูลกำกับของไฟล์อินพุตจากผู้ให้บริการก็ตรงกันด้วย ตัวโหลดจับคู่ URL ในตารางเป็นรายการจับคู่ไฟล์ตัวอย่าง โดย[เอกสารของ Inspect](https://inspect.aisi.org.uk/datasets.html#sample-files) ระบุว่ารายการจับคู่เหล่านั้นใช้ URL ได้ ดังนั้นเส้นทางในซอร์สนี้จึงอาจนำ URL ที่เปลี่ยนแปลงได้มาใช้ควบคู่กับตารางที่ตรึงไว้ เราไม่ได้ทดสอบการดาวน์โหลดหรือแคชไฟล์ของ Inspect หรือยืนยันว่าการรันใดใช้ไฟล์อะไร

ระบบประเมินอาจเลือกดึงไฟล์จากพาธสัมพัทธ์ของชุดข้อมูลโดยใช้ revision ที่เปลี่ยนแปลงไม่ได้เดียวกับตาราง [การนำ gbench ไปใช้ที่ตรวจสอบในที่นี้](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py) ระบุ revision ที่ตรึงไว้อย่างชัดเจนเมื่อดึงไฟล์แนบ ควรบันทึก revision และตรวจสอบไฟล์ที่ใช้จริงเมื่อทำได้ [เอกสารการดาวน์โหลดของ Hugging Face](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision) อธิบายวิธีระบุ commit จาก revision ที่เปลี่ยนแปลงได้เพื่อให้ดาวน์โหลดได้อย่างสม่ำเสมอ

[สคริปต์วิเคราะห์ URL อินพุต](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py) สร้างตัวเลขเหล่านี้ซ้ำด้วย DuckDB 1.4.4 โดยดาวน์โหลดตารางงานฉบับก่อนหน้าชั่วคราว ลบหลังรันเสร็จตามปกติ และไม่เก็บข้อความงาน ID รายการ พาธอินพุต หรือเนื้อหาอินพุตไว้ในผลลัพธ์ มีแฟล็กเสริมสำหรับตรวจสอบส่วนหัวของการตอบกลับจากพาธหนึ่งรายการและ revision ปัจจุบันของ `main` ซึ่งผลอาจเปลี่ยนไปตาม `main` สำหรับการตรวจสอบนี้ สคริปต์ส่งเฉพาะคำขอ `HEAD` รวมถึงเมื่อมีการเปลี่ยนเส้นทาง และไม่สังเกตผลลัพธ์ที่ไม่พร้อมใช้งาน การตรวจสอบด้วยไลบรารีมาตรฐานของ Python จะเปรียบเทียบ[ตารางและข้อมูลกำกับที่ Inspect ตรึงไว้](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py) และตรวจสอบ[ซอร์สตัวโหลดที่ตรึงไว้](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py) โดยไม่รันซอร์สนั้น การตรวจสอบแฮชของตารางอ่านตารางฉบับเต็มเข้าสู่หน่วยความจำ แต่ไม่แยกวิเคราะห์หรือเก็บเนื้อหางาน สคริปต์ไม่ได้ร้องขอเนื้อหาของไฟล์อินพุต

หลังตั้งค่า DuckDB ตามขั้นตอนด้านล่าง ให้รันการตรวจสอบบน macOS หรือ Linux ดังนี้

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## วิธีนับ

สำหรับการสำรวจความพร้อมใช้งานของไฟล์อ้างอิง เราตรวจสอบตาราง Parquet `train` ที่ GDPval revision `11e7900cdcac61bc4daf59e65feb238acda98fbf` ยืนยันว่ามี ID งานที่ไม่ซ้ำกัน 220 รายการ และจัดกลุ่มโดยใช้เฉพาะภาคส่วน อาชีพ และความยาวของรายการ `deliverable_files` แต่ละรายการ [สคริปต์วิเคราะห์](https://sapien1.com/research/gdpval-reference-coverage/analyze.py) ตรวจสอบแฮชของซอร์สและสร้างตัวเลขเหล่านี้ซ้ำด้วย DuckDB 1.4.4 โดยดาวน์โหลดตารางฉบับเต็มชั่วคราวและลบหลังรันเสร็จตามปกติ ผลลัพธ์ไม่เก็บพรอมป์ต rubric ID งานรายรายการ พาธของผลงาน หรือผลงาน ไม่มีการรันโมเดล เบนช์มาร์ก หรือตัวแสดงผลไฟล์อ้างอิง

หากต้องการทำซ้ำในเครื่องด้วย Python 3.9 ขึ้นไปบน macOS หรือ Linux ให้ตรวจสอบว่า `python3` เลือกใช้เวอร์ชันดังกล่าว:

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

sapien1 จัดเตรียมสคริปต์เหล่านี้ให้ดาวน์โหลดและรันในเครื่อง โดยไม่ได้ระบุใบอนุญาตเพิ่มเติมสำหรับการแก้ไขหรือแจกจ่ายต่อ ข้อกำหนดของชุดข้อมูลต้นทางแยกต่างหาก

OpenAI อธิบายว่าชุดย่อย gold จำนวน 220 งานเป็น[โอเพนซอร์ส](https://openai.com/index/gdpval/) [การ์ดชุดข้อมูลที่ตรึงเวอร์ชันไว้](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md) มีข้อความ canary สำหรับเบนช์มาร์กและไม่มีช่องใบอนุญาต ควรตรวจสอบข้อกำหนดที่ใช้กับการใช้งานของตน แทนการอนุมานจากป้ายกำกับในการ์ดหรือจากจำนวนนี้ ชื่อภาคส่วนและอาชีพ รวมถึงเบนช์มาร์กยังคงระบุที่มาตามแหล่งต้นทาง
