# تصفية ملفات المرجع تغيّر توزيع المهام في مجموعة GDPval العامة

يسهل تفسير نتيجة معيار التقييم عند معرفة المهام التي يمكن أن تدخل في حسابها. في جدول GDPval العام للمهام الذهبية، تبدأ كل مهنة من المهن الأربع والأربعين بخمس مهام. لكن المقارنة التي تشترط إدراج ملف مرجعي من إعداد خبير لا يمكن أن تتعامل مع جميع صفوف الجدول بالطريقة نفسها: ففي 35 صفًا من أصل 220، تكون قائمة `deliverable_files` فارغة.

هذا العدد موثق بالفعل في [تنفيذ gbench لـ GDPval](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md). وقد أحصينا توزيع القوائم الفارغة على القطاعات والمهن في [لقطة GDPval المثبتة](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) نفسها. ولا تزال كل مهنة من المهن الأربع والأربعين تضم صفًا واحدًا على الأقل بملف مدرج. لكن توزيع المهام المتبقية لم يعد متوازنًا كما كان في الجدول الأصلي.

## ما المهام التي تذكر ملفًا مرجعيًا أعدّه خبير؟

تقيس هذه الأعداد فقط ما إذا كان الجدول يدرج مسارًا واحدًا على الأقل لمخرجات خبير. ولا يثبت إدراج المسار إمكان الوصول إلى الملف أو عرضه. كما أن القائمة الفارغة لا تثبت ما إذا كان هناك مرجع في مكان آخر خارج هذا الجدول.

| القطاع | الصفوف في الجدول العام للمهام الذهبية | تتضمن مخرجًا مدرجًا | تتضمن قائمة فارغة |
| --- | ---: | ---: | ---: |
| التمويل والتأمين | 25 | 17 | 8 |
| الحكومة | 25 | 22 | 3 |
| الرعاية الصحية والمساعدة الاجتماعية | 25 | 22 | 3 |
| المعلومات | 25 | 14 | 11 |
| التصنيع | 25 | 25 | 0 |
| الخدمات المهنية والعلمية والتقنية | 25 | 24 | 1 |
| العقارات والتأجير والاستئجار | 25 | 20 | 5 |
| تجارة التجزئة | 20 | 16 | 4 |
| تجارة الجملة | 25 | 25 | 0 |
| **الإجمالي** | **220** | **185** | **35** |

![الصفوف التي تتضمن مخرج خبير مدرجًا حسب القطاع](https://sapien1.com/research/gdpval-reference-coverage/figures/ar/sector-coverage.svg)

تُظهر الأشرطة وجود القائمة، لا التحقق من إمكان الوصول إلى الملفات أو عرضها.

يحتوي الجدول على 44 مجموعة تجمع كل منها بين مهنة وقطاع، وتضم كل مجموعة خمس مهام. تحتفظ 22 مجموعة بصفوفها الخمسة كلها بعد هذه التصفية، فيما تحتفظ 22 مجموعة بما بين صفين وأربعة صفوف. ولا تزال كل المهن ممثلة، لكن وجودها وحده لم يعد يعني أن لكل منها العدد نفسه من المهام.

تساعد المقارنة بين القطاعات عند قراءة نتيجة إجمالية. يستحوذ كل من المعلومات والتصنيع على 25 من أصل 220 صفًا في الجدول الأصلي، أي 11.4%. وفي ملخص افتراضي يعطي وزنًا متساويًا لكل مهمة ويقتصر على الصفوف الـ185 التي تتضمن قائمة غير فارغة، ستكون حصة المعلومات 14/185، أي 7.6%، وحصة التصنيع 25/185، أي 13.5%. هذه حصص من المهام، وليست نتائج للنموذج أو تقديرات لقيمة المهن المختلفة.

## هل يمكن للمقيّم قراءة الملفات المرجعية؟

لا يمثل حساب الصفوف الـ185 المقام النهائي لاحتساب نتيجة gbench. فتصف وثائقه أربع مهام أخرى لا يمكن تحويل مخرجاتها المدرجة إلى نص، ما يترك 181 مهمة يمكن تحويل مراجعها إلى نص في تلك اللقطة. لم نحوّل هذه الملفات بأنفسنا أو نشغّل gbench.

حتى من دون معرفة القطاعات التي تضم هذه المهام الأربع، تضع الأعداد حدودًا مفيدة لمجموعة المهام الموثقة التي يمكن تحويل مراجعها إلى نص. فإذا كانت هذه المهام أربعة صفوف مختلفة من أصل الصفوف الـ185 التي تتضمن قوائم غير فارغة، فسيبقى 21 صفًا على الأقل للتصنيع و14 صفًا على الأكثر للمعلومات. وبأوزان متساوية للمهام، يبلغ هذان الحدّان 21/181 ‏(11.6%) و14/181 ‏(7.7%)، على التوالي. وقد يختلف مقام النتائج المحتسبة في تشغيل فعلي، لأن حالات فشل التوليد وفشل الحكم وعدد المحاولات لكل مهمة تؤثر فيه أيضًا. ولا تصف هذه الأعداد نتائج OpenAI الأصلية التي قيّمها بشر.

لطرق التقييم الأخرى متطلبات مختلفة. في [وضع التقييم بمعايير التقدير الموثق في NeMo Gym عند الالتزام `5d6429f`](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md)، يقيّم نموذج لغوي كبير يؤدي دور الحكم مخرجًا مقدمًا وفق معايير تقدير المهمة. ولا تنسخ [شيفرة الإعداد](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py) قائمة `deliverable_files` الخاصة بمخرجات الخبراء، بينما يُبلغ [متحقق معايير التقدير](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py) عن `missing_rubric` إذا كان حقلا المعايير كلاهما فارغين. ويجب تجهيز أي ملفات مدخلات مدرجة للمهمة، كما يظل وجود مخرج مقدم وحكم ضروريًا؛ ولا يثبّت استدعاء الإعداد مراجعة محددة لمجموعة البيانات. لم نشغّل NeMo Gym أو نقس تغطيته. ودرجة معايير التقدير فيه ومعدل الفوز أو التعادل في gbench مقياسان مختلفان.

## ما يمكن للحكم رؤيته

توافر المرجع ليس سوى جزء واحد من المقارنة. تشير [وثائق gbench](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) بالفعل إلى أن 32 من أصل 220 معيار تقدير تتجاوز الحد الافتراضي البالغ 8,000 حرف. ويحتفظ المنسّق بمعايير التقييم كاملة وبترتيبها الأصلي إلى أن تؤدي إضافة المعيار التالي إلى تجاوز الحد، ثم يضيف علامة اقتطاع؛ وإذا تجاوز المعيار الأول وحده الحد، فإنه يعرض جزءًا منه فقط. وعدد الأحرف ليس عدد الرموز.

طبّقنا ذلك المنسّق المثبت على جدول المهام. ومن بين الصفوف الـ185 التي تتضمن مخرج خبير مدرجًا، سيُقتطع 26 معيار تقدير عند الحد الافتراضي، مع حذف 247 بندًا كاملًا من معايير التقييم عبر تلك الصفوف. والمخرج المدرج ليس قابلًا للتحويل إلى نص بالضرورة، كما أن فشل التوليد أو خلو مخرجاته قد يحول دون استدعاء الحكم، لذا فهذه ليست أعداد المقارنات التي قيّمها حكم. وللتوضيح، فإن تغيير حد المنسّق وحده إلى 12,000 أو 16,000 حرف سيؤدي إلى اقتطاع معياري تقدير أو عدم اقتطاع أي منها، على التوالي، من أصل 185. لم نجرّب هذين الإعدادين باستخدام مقيّم أو حكم. ولا تثبت أعداد البنود المحذوفة أهميتها أو ما إذا كان الحكم سيتغير؛ وقد يترك الحد الأكبر مساحة أقل لبقية المحتوى ضمن نافذة سياق ثابتة. افحص معلومات الاقتطاع المسجلة في التشغيل الفعلي إلى جانب أعداد المراجع والنتائج المحتسبة.

يعيد [فحص معايير التقدير](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip) إنتاج هذه الأعداد باستخدام DuckDB 1.4.4. وينزّل جدول المهام المثبت كاملًا بصورة مؤقتة ويعالج نصوص معايير التقدير في الذاكرة؛ ولا يحتفظ في مخرجاته إلا بالأعداد الإجمالية، دون معرّفات المهام أو نصوص المعايير. ويحذف الجدول المؤقت بعد التشغيل العادي. ولا ينفّذ من gbench سوى المنسّق الذي فُحص وتُحقق من تجزئته، ضمن نطاق أسماء مقيّد لا يشكّل بيئة عزل أمنية. وتتضمن الحزمة الترخيص والإشعار الأصليين. بعد إعداد DuckDB أدناه، استخدم Python 3.11 لإنشاء البيئة وتنزيل الحزمة والتشغيل على macOS أو Linux:

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## وثّق المسار من المهام إلى النتائج

عند إعداد تقييم أو مقارنة تقييمات، سجّل مراجعة مجموعة البيانات ونوع المرجع المطلوب وكل قاعدة أهلية. وأبلغ عن الأعداد حسب المجموعة في الجدول الأصلي، وبعد فحوص المراجع، وبعد احتساب النتائج. وسجّل كلًا من أسباب غياب مرجع مدرج، وتعذّر قراءة مرجع، وفشل التوليد، وتعذّر استخدام حكم المقيّم على حدة. وإلا فقد تخفي نتيجة إجمالية واحدة المهام التي توقفت عن المساهمة.

اذكر أيضًا كيفية ترجيح المهام والمحاولات المتبقية. فالوزن المتساوي لكل مهمة أو لكل مهنة أو لكل محاولة يجيب عن أسئلة مختلفة عندما تختلف الأعداد. ولا يعوّض أي منها وحده الأدلة المفقودة؛ ويعتمد الملخص المناسب على ما صُمم التقييم لقياسه.

إذا كنت تصمم مجموعة مهام بنفسك، يوضح [دليل تقييم الوكلاء](https://sapien1.com/ar/agent-evaluation) كيفية تحديد فحوص قابلة للملاحظة وتفسير التجارب المتكررة.

## سجّل النسخة الدقيقة لكل ملف إدخال

لا يضمن تثبيت جدول المهام بالضرورة تثبيت كل ملف ينزّله المقيّم. في [جدول GDPval عام سابق عند المراجعة `4bf6426`](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1)، يدرج 122 صفًا من أصل 220 صف مهمة ملفات مدخلات. وتشير عناوين URL الـ262 المدرجة للمدخلات جميعها إلى فرع `main` المتغير في المستودع. وتفيد البيانات الوصفية للمزوّد بأن 62 من هذه المسارات نفسها اختلفت أحجامها ومعرّفات كتل البيانات الخاصة بها بحلول [المراجعة `11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf)؛ وتظهر هذه المسارات الـ62 في 20 صفًا من صفوف الجدول السابق. وهذه مدخلات للمهام، وتختلف عن مخرجات الخبراء المرجعية في `deliverable_files` التي أُحصيت أعلاه.

لا يثبت ذلك أن تقييمًا معينًا استخدم مدخلًا تغيّر، أو أن ملفًا تالف، أو أن نتيجة تغيّرت. لكنه يوضح سبب احتمال أن يؤدي اتباع عناوين URL المتغيرة في جدول محفوظ لاحقًا إلى اختيار نسخة مختلفة من أحد المدخلات. لم نحلل محتويات ملفات المدخلات.

عند [التزام Inspect Evals ‏`5c092d5`](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py)، يثبّت محمّل GDPval جدول مهامه عند المراجعة `a3848a2`. وهذا الجدول مطابق للجدول السابق أعلاه على مستوى البايتات، وتتطابق أيضًا البيانات الوصفية لملفات المدخلات لدى المزوّد. ويربط المحمّل عناوين URL المقترنة في الجدول بتعيينات ملفات العينات؛ وتشير [وثائق Inspect](https://inspect.aisi.org.uk/datasets.html#sample-files) إلى أن هذه التعيينات يمكن أن تستخدم عناوين URL. لذلك يمكن أن يحمل مسار المصدر هذا عناوين URL متغيرة إلى جانب جدول ثابت. لم نختبر تنزيل الملفات أو تخزينها مؤقتًا في Inspect، ولم نحدد ما استخدمه أي تشغيل.

يمكن للمقيّم بدلًا من ذلك حل المسارات النسبية لمجموعة البيانات عند المراجعة الثابتة نفسها التي يستخدمها الجدول. يمرّر [تنفيذ gbench الذي فُحص هنا](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py) مراجعته المثبتة صراحةً عند جلب المرفقات. سجّل المراجعة وتحقق، حيثما أمكن، من الملفات المستخدمة فعليًا. وتشرح [وثائق التنزيل لدى Hugging Face](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision) كيفية تعيين مراجعة متغيرة إلى التزام محدد لضمان اتساق التنزيلات.

يعيد [برنامج تحليل عناوين URL للمدخلات](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py) إنتاج الأعداد باستخدام DuckDB 1.4.4. وينزّل جدول المهام السابق بصورة مؤقتة، ويحذفه بعد التشغيل العادي، ولا يحتفظ في مخرجاته بنصوص المهام أو المعرّفات الفردية أو مسارات المدخلات أو محتوياتها. ويتحقق خيار إضافي من ترويسات استجابة أحد المسارات ومن مراجعة `main` الحالية؛ وقد تتغير نتيجته مع تغيّر `main`. ولإجراء هذا الفحص، يرسل البرنامج طلبات `HEAD` فقط، بما في ذلك عند اتباع عمليات إعادة التوجيه، ولا يرصد النتائج غير المتاحة. وتقارن فحوص مكتبة Python القياسية [الجدول والبيانات الوصفية المثبتين في Inspect](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py)، وتفحص [مصدر المحمّل المثبت](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py) دون تشغيله. ويقرأ فحص تجزئة الجدول الجدول كاملًا في الذاكرة، لكنه لا يحلل محتوى المهام أو يحتفظ به. ولا تطلب البرامج أجسام استجابات ملفات المدخلات.

بعد إعداد DuckDB أدناه، شغّل الفحوص على macOS أو Linux باستخدام:

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## طريقة الإحصاء

لإحصاء توافر المراجع، فحصنا جدول Parquet ‏`train` عند مراجعة GDPval ‏`11e7900cdcac61bc4daf59e65feb238acda98fbf`، وتحققنا من وجود 220 معرّف مهمة مميزًا، ثم جمعنا البيانات حسب القطاع والمهنة وطول كل قائمة `deliverable_files` فقط. ويتحقق [برنامج التحليل](https://sapien1.com/research/gdpval-reference-coverage/analyze.py) من تجزئة المصدر ويعيد إنتاج الأعداد باستخدام DuckDB 1.4.4. وينزّل الجدول كاملًا بصورة مؤقتة ويحذفه بعد التشغيل العادي؛ ولا يحتفظ في مخرجاته بالمطالبات أو معايير التقدير أو معرّفات المهام الفردية أو مسارات المخرجات أو المخرجات نفسها. لم يُشغّل أي نموذج أو معيار تقييم أو أداة لتحويل المراجع.

لإعادة الإنتاج محليًا باستخدام Python 3.9 أو إصدار أحدث على macOS أو Linux، تأكد من أن `python3` يختار ذلك الإصدار:

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

تتيح sapien1 هذه البرامج للتنزيل والتشغيل محليًا؛ ولم يُذكر ترخيص إضافي لتعديلها أو إعادة توزيعها. وتخضع مجموعة البيانات المصدر لشروط منفصلة.

تصف OpenAI مجموعة المهام الذهبية الفرعية، التي تضم 220 مهمة، بأنها [مفتوحة المصدر](https://openai.com/index/gdpval/). وتحتوي [بطاقة مجموعة البيانات المثبتة](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md) على عبارة تتبّع لمعيار التقييم، ولا تتضمن حقل ترخيص؛ لذا تحقق من الشروط السارية على استخدامك بدلًا من استنتاجها من تسمية البطاقة أو من هذا الإحصاء. وتبقى تسميات القطاعات والمهن ومعيار التقييم منسوبة إلى مصدرها.
