انتقل إلى المحتوى الرئيسي

القائمة

قيّم وكيل الذكاء الاصطناعي على العمل المطلوب منه

اللغة: العربية

قدم مهمة ممثلة والنتيجة التي ينبغي أن يحققها الوكيل. يمكننا تحديد نطاق اختبار يتضمن فحوصات واضحة وتقريرا بالاختبارات الناجحة والفاشلة وعمليات التشغيل التي لم تُقيّم. صف مشروعك لـ sapien1

يتحقق تقييم وكيل الذكاء الاصطناعي من قدرته على إتمام مهمة بالمعلومات والأدوات والقيود التي سيواجهها في الواقع. حدّد النتيجة المتوقعة، وتحقق مما تغيّر، وافحص الخطوات التي أدت إلى النتيجة.

تساعد sapien1 فرق العمل على تحديد نطاق مجموعات المهام وتقييم بيانات الاختبار وتطوير بيئات لاختبار الوكلاء. ابدأ بسير عمل واحد وحدّد القرار الذي تريد أن يساعدك التقييم في اتخاذه.

حوّل سير العمل إلى مهمة قابلة للاختبار

تحتاج المهمة إلى حالة ابتدائية وطلب ومعايير نجاح قابلة للملاحظة. تمثّل رسالة الوكيل النهائية جزءًا من الأدلة. وقد تبيّن الملفات الناتجة أو السجلات أو حالة الأدوات ما إذا كان العمل قد اكتمل.

يميّز دليل Anthropic لتقييم الوكلاء بين المهمة وكل محاولة وجهات التصحيح وسجلّ التنفيذ والنتيجة في البيئة. تساعد هذه التمييزات في تحديد ما إذا كان الإخفاق ناتجًا عن الوكيل أو الاختبار أو البيئة.

لنفترض مثلًا أنّ وكيل دعم تلقّى طلبًا لتغيير عنوان التسليم. يمكن أن يزوّده الاختبار بسجلّ الطلب وطلب العميل والسياسة السارية. وينبغي أن تعكس الفحوص المهمة الفعلية:

جزء المهمةمثال على الفحص
تحديد الطلبيختار الوكيل الطلب المذكور في طلب العميل
تطبيق السياسةيتوافق قرار الوكيل مع القواعد المقدَّمة وحالة الطلب
تنفيذ التغييرإذا كان التغيير مسموحًا، يظهر العنوان المطلوب في سجلّ الطلب. وإلا فيبقى العنوان كما هو.
الحفاظ على التفاصيل الأخرىتبقى المنتجات والكميات والسجلات غير المرتبطة كما هي
توضيح النتيجةيصف الردّ بدقة الإجراء الذي اتُّخذ أو المعلومات التي ما زالت مطلوبة

هذه مواصفات توضيحية لمهمة. وتحدّد سياستك وسير عملك الفحوص المناسبة.

تحقّق من الإذن ومن الحالة الناتجة

لنفترض أنّ مستخدمًا يأذن لوكيل بتغيير عنوان الطلب A من 1 Example Lane إلى 2 Example Lane. يبدأ الطلب B بعنوان 3 Example Lane وهو خارج نطاق الطلب. يوضّح سجلّ التنفيذ الخيالي التالي، المعدّ مسبقًا، ما قد يسجّله فحص أذونات في محاكاة:

طلب الوكيل الموجّه إلى الأداةقرار الإذنالنتيجة المسجّلة
الطلب A: تغيير العنوان إلى 2 Example Laneمسموحنُفّذ التحديث
الطلب B: تغيير العنوان إلى 4 Example Laneمرفوضمُنع التحديث

يسجّل سجلّ التنفيذ الطلب المسموح به والطلب الواقع خارج النطاق. في هذا المثال، يُظهر فحص الحالة أن عنوان الطلب A هو 2 Example Lane وأن عنوان الطلب B لا يزال 3 Example Lane. رفض طلب وتنفيذ تغيير نتيجتان مختلفتان. احتفظ بقرار الإذن والحالة النهائية إلى جانب ردّ الوكيل.

يميّز دليل Anthropic لتقييم الوكلاء بين سجلّ تنفيذ المحاولة والحالة الناتجة عنها. وتتناول إرشادات AWS لأذونات الأدوات التحقق من الطلبات التي يرسلها الوكيل إلى الأدوات ومراجعة قرارات السماح أو الرفض. يوضّح هذا السجلّ الخيالي فحصًا واحدًا، ولا يثبت أن النظام آمن.

ابنِ اختبارًا من حالة اكتملت معالجتها

لنفترض أنّ سجلّ دعم خياليًا منفصلًا يتضمّن التسلسل التالي. في الساعة 10:00، يطلب صاحب الطلب A، بعد التحقق من هويته، تغيير عنوان الطلب من 1 Example Lane إلى 2 Example Lane. لا يزال الطلب قيد التجهيز للشحن. وتنصّ السياسة السارية على تغيير العنوان بناءً على طلب صاحب الطلب الذي جرى التحقق من هويته إذا ورد الطلب قبل الشحن. في الساعة 10:05، تسجّل ملاحظة من فريق الدعم أنّ العنوان تغيّر.

لاختبار قرار الساعة 10:00، أعطِ الوكيل الطلب وحالة الطلبية الأصلية والسياسة السارية حينها، وشغّل أدوات الاختبار انطلاقًا من تلك الحالة. أبقِ الطلبية قيد التجهيز أثناء عمل الوكيل. أتح ملاحظة الساعة 10:05 للمراجع، واستبعدها من التعليمات الأولية للوكيل ومن السجلات التي يمكن لأدواته الوصول إليها في هذا الاختبار. وإلا فقد يطّلع الوكيل على النتيجة النهائية قبل أن يُطلب منه التصرّف.

تبيّن سياسة الساعة 10:00 للمراجع النتيجة المتوقعة. يصبح عنوان الطلب A هو 2 Example Lane. اشترط في الاختبار أيضًا بقاء السجلات غير المرتبطة كما هي. توثّق ملاحظة الساعة 10:05 ما حدث. ارجع إلى السياسة لتحديد صحة الإجراء. إذا تعذّر تحديد السياسة السارية أو الحالة السابقة للإجراء، فضع الحالة جانبًا لمراجعتها. وقبل استخدام السجلات الحقيقية، تأكد من وجود إذن باستخدامها وتعامل مع الحقول الحساسة بالطريقة المناسبة.

يميّز دليل مجموعات البيانات في Inspect بين المدخلات المقدّمة للنموذج والهدف المرجعي الذي يمكن استخدامه في التصحيح. ويوضّح أن ملفات العيّنات قد تُنسخ أيضًا إلى بيئة معزولة. افحص التعليمات والمواد المسترجعة واستجابات الأدوات وملفات البيئة المعزولة بحثًا عن معلومات مخصّصة للمراجع وحده. أجرِ هذه الفحوص حتى إذا كانت مجموعة البيانات تتضمّن هدفًا مرجعيًا مستقلًا للتصحيح.

اختر الأدلة التي تناسب القرار

استخدم الفحوص المباشرة عندما تكون النتيجة قابلة للملاحظة، مثل حقل تغيّر أو ناتج عملية حسابية أو ملف أُنشئ أو اختبار ناجح. واستخدم معايير مكتوبة للتصحيح عندما يتطلّب الحكم تفسيرًا بشريًا، مثل تقدير وضوح شرح أو التحقق من أن إجابة بحثية تسند استنتاجها.

يمكن لمُقيّم آلي أن يساعد على مراجعة المخرجات على نطاق واسع. قارن أحكامه بالمراجعة البشرية على أمثلة ممثّلة قبل الاعتماد على درجاته. وثّق مواضع الاختلاف لتتمكّن من تحسين معايير التصحيح أو المُقيّم.

التحقّق من استخدام النموذج للمقطع

سجّل مدخلات المهمة والأدوات وإعدادات الوكيل والنتائج. كرّر المحاولات إذا كان التفاوت بينها مؤثرًا في القرار. وافحص المحاولات الفاشلة وتلك التي نجحت على نحو غير متوقّع. فالنتيجة العالية قد تشير إلى أداء قوي أو تخفي ضعفًا في الاختبار. ويتناول دليل Anthropic هذه الاعتبارات في اختيار جهات التصحيح وتصميم المحاولات.

تحقّق من معرّفات الحالات قبل احتساب الدرجات

عندما تبني حالة من سجلات سابقة، احتفظ بمعرّفها في النتيجة المتوقعة ونتيجة الاختبار. وقبل احتساب درجة لنتيجة واحدة لكل حالة، قارن الملفّين بقائمة المعرّفات المتوقعة. يجب أن يظهر كل معرّف متوقّع مرة واحدة في كل ملف. عالج المعرّفات الناقصة أو المكرّرة أو غير المتوقّعة. وعند تكرار التشغيل، سجّل أيضًا معرّفًا لكل محاولة.

لنفترض أنك تتوقّع الحالتين A وB. يحتوي كل ملف على الحالة A وصفٍّ بلا معرّف. تختلف النتيجة المتوقعة عن نتيجة الاختبار للحالة A. ويحمل الصفّان اللذان بلا معرّف التصنيف نفسه. قد تطابق عملية الدمج في pandas هذين المفتاحين المفقودين حتى إذا نجح فحص المطابقة واحدًا لواحد. يعطي عدّ الصفوف المدمجة توافقًا واحدًا من زوجين. والحالة A وحدها تطابق معرّفًا متوقّعًا. لا يوجد توافق في الحالة الوحيدة ذات المعرّف، وتغطّي هذه المجموعة حالة واحدة من أصل حالتين متوقّعتين. وبغياب المعرّفات، لا نعرف ما إذا كان أيٌّ من الصفّين يعود إلى B، ومن ثمّ تظلّ الدرجة للحالتين المتوقّعتين غير محدّدة. إذا تعمّدت احتساب الدرجة لمجموعة فرعية، فاذكر نطاق تغطيتها إلى جانب الدرجة.

مقارنة درجات الاختبارات المعيارية

فسّر نتائج المحاولات المتكرّرة في ضوء القرار

لنفترض أن فريقًا يختبر مهمّتين ثلاث مرات لكل منهما، ويعيد المهمة إلى حالتها الابتدائية قبل كل محاولة. تعطي الفحوص هذه النتائج الخيالية:

المهمةالمحاولة الأولىالمحاولة الثانيةالمحاولة الثالثة
Aنجاحإخفاقنجاح
Bنجاحنجاحإخفاق

نجحت أربع محاولات من أصل ست. نجحت كلتا المهمّتين مرة واحدة على الأقل، ولم تنجح أيّ منهما في المحاولات الثلاث كلها. يجيب كل ملخص عن سؤال مختلف. قد تكون نتيجة صحيحة من حين إلى آخر ذات قيمة إذا استطاع النظام التحقق من عدة مخرجات مرشّحة والاختيار بينها بموثوقية. ويهمّ تكرار النجاح عندما يُفترض أن تعمل كل محاولة بمفردها. نجاح محاولة واحدة لا يجعل المحاولات الأخرى آمنة أو صحيحة.

لنفترض الآن أنّ محاولة سابعة توقّفت قبل أن تُقيّم، بسبب انقطاع خارجي مؤكّد في البيئة المعزولة. نجحت أربع من أصل ست محاولات أمكن تقييمها، وتحقّق النجاح في أربع من أصل سبع محاولات إجمالًا. المحاولة غير المقيّمة ليست نجاحًا مؤكّدًا ولا إخفاقًا مؤكّدًا للوكيل. تلخّص النسبة الأولى المحاولات المقيّمة، وتعرض الثانية حالات النجاح المؤكّد من مجموع المحاولات. قد تختلف النتيجة المعلنة باختلاف أوزان المهام أو إعدادات المقياس.

تصف هذه الأرقام الفحوص الخيالية المذكورة فحسب، ولا تحدّد معدل نجاح في بيئة الإنتاج. سجّل عدد المهام وعدد المحاولات لكل مهمة والفحوص المستخدمة وأي محاولات أُبطلت بسبب مشكلات في البنية التحتية، مثل انقطاع البيئة المعزولة. اعرض المحاولات غير الصالحة منفصلة عن إخفاقات الوكيل وبيّن المحاولات المشمولة في كل ملخص. يساعد تكرار مهمة واحدة في كشف التفاوت فيها، وتظلّ هناك حاجة إلى اختبار حالات أكثر تنوّعًا. يوضّح دليل Anthropic لتقييم الوكلاء كيف تخدم مقاييس النجاح مرة واحدة على الأقل ومقاييس النجاح المتّسق قرارات مختلفة.

قد تتغيّر تغطية المهام قبل احتساب الدرجات. في تحليلنا لتغطية المراجع في GDPval، يذكر 185 صفًا من أصل 220 صفًا عامًا للمهام مسارًا واحدًا على الأقل إلى مُخرج أعدّه خبير. ويختلف توزيع القطاعات لهذه الصفوف عن توزيعها في الجدول الكامل. إدراج المسار لا يثبت إمكان الوصول إلى الملف أو عرضه.

استخدم بيئة اختبار عندما تغيّر الإجراءات الحالة

إذا كان الوكيل يحرّر السجلات أو يشغّل برامج أو يعمل بعدة أدوات، فهو يحتاج إلى مكان ينفّذ فيه تلك الإجراءات. وتتيح لك بيئة قابلة لإعادة التشغيل استعادة الحالة الابتدائية وفحص النتيجة بعد التشغيل.

OpenEnv إطار عمل مفتوح لبيئات الوكلاء المعزولة. اختر الإطار بعد تحديد المهمة، وما يمكن للوكيل رؤيته، وما يمكنه فعله، وكيف ستتحقّق من النجاح.

للاطّلاع على مثال لاختلاف الموارد المعلنة من مهمة إلى أخرى، راجع إعدادات الموارد في 66 مهمة من Terminal-Bench.

ملخص متطلبات تقييمك الأول

صِف سير العمل ومهمة ممثّلة له وما يدلّ على النجاح فيها. وأضف الأدوات التي يستخدمها الوكيل والمعلومات التي يتلقّاها وأي إخفاق من شأنه تغيير قرار الإطلاق. إذا كانت لديك أمثلة بالفعل، فاذكر مصدرها وما تغطّيه.

يمكن بعد ذلك لمشروع محدّد النطاق أن يحدّد مجموعة المهام ومتطلبات البيئة وطريقة التصحيح ومراجعة النتائج. وإذا كنت تفتقر إلى الأمثلة نفسها، فابدأ بـالحصول على البيانات.

راسلنا بشأن تقييم الوكلاء