# هل يمكن مقارنة درجتين في اختبار معياري؟

ابدأ بتحديد القرار الذي يُفترض أن تدعمه الدرجات. إذا أردت الاستشهاد بنتيجة تاريخية، فحدّد الجدول المنشور بدقة. للاختيار بين وكيلين، تحقّق من أنهما تعاملا مع الحالات نفسها وفق القواعد ذاتها، ثم قارن بينهما باستخدام نتائج تلك الحالات. توضّح أربعة أمثلة منشورة أهمية هذه الفحوص.

## اعثر على الجدول الذي يشير إليه الاستشهاد

استخدم LiveBench وسم لوحة الصدارة نفسه، `2025-05-30`، لجدولين مختلفين من المصدر. يظهر في الجدولين المثبّتين على مراجعتين محددتين 30 وسمًا مشتركًا للنماذج. لدى 28 من هذه الوسوم، كانت درجة واحدة على الأقل من الدرجتين في فئة Coding المنفصلة أعلى في الجدول اللاحق. يذكر القائمون على المشروع أنهم أعادوا تشغيل Agentic Coding بعد تغيير إطار التقييم والحد الأقصى للخطوات. ولا تبيّن جداول المصدر سبب تغيّر درجات فئة Coding المنفصلة. احفظ مراجعة الجدول أو بصمة الملف مع الرقم المُستشهد به، وسجّل وسم تاريخ الاختبار في حقل مستقل. [جدول LiveBench السابق](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [جدول LiveBench اللاحق](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [سجل التغييرات الذي نشره القائمون على المشروع](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## طابِق الحالات قبل مقارنة نسب النجاح

يختار كل واحد من حدّين تجريبيين للموارد 44 مهمة من أصل 66 في Terminal-Bench v4.1.0. ولا يظهر في الاختيارين معًا سوى 36 معرّفًا للمهام. الحد الأول هو 4 وحدات CPU وذاكرة تبلغ 8,192 MB ومساحة تخزين تبلغ 10,240 MB. والحد الثاني هو وحدتا CPU وذاكرة تبلغ 16,384 MB ومساحة تخزين تبلغ 20,480 MB. يطبّق مرشّح الموارد كل حد على القيم المُعلنة لبيئة المهمة وبيئة أداة التحقّق. النتائج التالية افتراضية. [إعدادات الموارد ومرشّحها في Terminal-Bench](https://sapien1.com/ar/research/terminal-bench-resource-settings)

لنفترض أن الوكيل «أ» حلّ 32 حالة في الاختيار الأول، وأن الوكيل «ب» حلّ 34 حالة في الاختيار الثاني. يحتوي كل اختيار على ثماني حالات لا تنتمي إلى المجموعة المشتركة. لذلك ربما حلّ «أ» بين 24 و32 حالة من أصل 36 حالة مشتركة، وربما حلّ «ب» بين 26 و34 حالة. إذا حلّ «أ» 32 حالة مشتركة وحلّ «ب» 26، فسيتقدّم «أ» بست حالات في المجموعة المشتركة. وإذا حلّ «أ» 24 وحلّ «ب» 34، فسيتقدّم «ب» بعشر حالات. كلا السيناريوهين يتوافق مع المجاميع المُبلغ عنها.

| نتيجة افتراضية | الحالات المحلولة في اختياره البالغ 44 حالة | عدد الحالات التي ربما حلّها من أصل 36 حالة مشتركة |
| --- | ---: | ---: |
| الوكيل «أ» | 32 | 24–32 |
| الوكيل «ب» | 34 | 26–34 |

في هذا المثال، لا تحدّد المجاميع ترتيب الوكيلين في الحالات المشتركة. اطلب النتائج لكل حالة أو قيّم الوكيلين في قائمة الحالات الموثّقة نفسها. إذا استُخدمت ميزانيات موارد مختلفة، فصِف النتيجة على أنها مقارنة بين تلك التهيئات. لعزل أثر تغيير الوكيل، ثبّت الميزانية وبقية شروط التشغيل. حدّد المقام المشترك وطريقة احتساب عمليات التشغيل المفقودة أو الفاشلة أو التي لم تُمنح درجة قبل ترتيب الوكلاء. أبلغ عن نسبة التغطية الناتجة.

## تحقّق من أن أداة احتساب الدرجات استخدمت المدخلات نفسها

تضم لقطتا اختبارات SWE-bench Verified لشهري فبراير وأغسطس 2026 معرّفات الحالات الـ500 نفسها. أزال تعديلان في أغسطس بندًا واحدًا من اختبارات التراجع المتوقّعة في حالة من Astropy وخمسة بنود في حالة من Django. تُبيّن المراجعات ما تغيّر في القوائم المحفوظة. لقياس أثر ذلك على الدرجات، قيّم التصحيحات المرشّحة نفسها باستخدام المراجعتين مع تثبيت بقية الإعدادات. لمقارنة الوكيلين، استخدم مراجعة مجموعة البيانات وأداة احتساب الدرجات وبيئة التنفيذ وخيارات التقييم نفسها لكل منهما. [لقطة اختبارات فبراير](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [لقطة اختبارات أغسطس](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [أول تغيير في SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [ثاني تغيير في SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [الشيفرة المصدرية لأداة احتساب الدرجات](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## تحقّق من ملف النتائج لكل حالة قبل استخدامه

يتيح Every Eval Ever سجلات مجمّعة وفهرسًا لكل مجموعة للعثور على نتائج كل عينة. عند مراجعة ثابتة لمستودع البيانات، ذكر المصدران قيم SHA-256 مختلفة لملفات العينات المرتبطة بجميع السجلات الـ14 في فهرس `MMLU-Pro` والسجلات الـ11 في فهرس `gsm8k`. بعد تنزيل أول ملف عينة مُدرج في كل مجموعة، طابقت بصمة الملف القيمة الواردة في الفهرس. واختلفت قيمة المجموع الاختباري في السجل المجمّع. يكشف هذا الفحص تعارضًا على مستوى الملف. ولا يقيّم صحة الدرجات أو يحدّد سبب عدم تطابق البصمتين. [فهرس MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [فهرس GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [مثال لسجل GSM8K المجمّع](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

احفظ موقع الملف الثابت وبصمته التي تحقّقت منها مع النتائج المتقابلة التي تستخدمها. إذا تعارضت معلومات الناشر، فسوِّ التعارض قبل استخدام الملف دليلًا على الدرجة.

## وثّق المقارنة

| البند | ما ينبغي حفظه |
| --- | --- |
| النتيجة المنشورة | رابط المصدر، ووسم الاختبار المعياري، ومراجعة الجدول أو بصمته، والمقياس ووحدته |
| الحالات والمحاولات | مراجعة مجموعة البيانات وتقسيمها، ومعرّفات الحالات والمحاولات بدقة، ومقام احتساب الدرجات وقواعد الاستبعاد |
| ظروف التشغيل | مراجعات الوكيل والنموذج، والأدوات، وأداة احتساب الدرجات وتهيئتها، والميزانية، ومعرّف البيئة وبصمة صورتها إن توفّرت |
| الأدلة | مخرجات كل حالة أو نتائجها، ومواقع الملفات الثابتة وبصماتها الموثّقة |

احصر استنتاجات الأداء في النطاق الذي تدعمه سجلاتك. عند الاستشهاد بنتيجة تاريخية، حدّد مصدرها بدقة. وعند مقارنة وكلاء، أبلغ عن النتائج المتقابلة لكل حالة وعن التغطية في الظروف المذكورة.
