كيفية وضع مواصفات بيئة تعلم معزز لوكيل ذكاء اصطناعي
اللغة: العربية
قدم سير عمل واحدا، والإجراءات التي يجوز للوكيل اتخاذها، ومثالا على نتيجة ناجحة. يمكننا المساعدة في تحديد نطاق بيئة للمهمة تشمل شروط إعادة الضبط وقواعد التقييم والفحوصات. صف مشروعك لـ sapien1
تمنح بيئة التعلم المعزز (RL) الوكيل مساحة لمحاولة تنفيذ مهمة واتخاذ إجراءات وتلقي الملاحظات. وفي سير عمل تجاري، يمكن للبيئة محاكاة السجلات والأدوات بحيث تبدأ كل محاولة من حالة معروفة. وتوضح المواصفات المفيدة لمن يبني البيئة ما يمكن للوكيل رؤيته وفعله، وكيف تتغير الحالة، ومتى تنتهي المحاولة، وكيف تُقيّم النتيجة.
تسمى المحاولة الواحدة حلقة. والملاحظة هي المعلومات التي تقدمها البيئة للوكيل، أما المكافأة فهي إشارة رقمية عن سلوكه. تصف المفاهيم الأساسية في OpenEnv البيئة من حيث إعادة الضبط والإجراءات والملاحظات والمكافآت.
توفر البيئة المهمة والملاحظات. ويمكن لمدرب التعلم المعزز استخدام المكافآت لتحديث سياسة اتخاذ القرار لدى الوكيل؛ كما يمكن للتقييم استخدام بيئة لقياس أداء الوكيل دون تحديث سياسته. راجع نظرة عامة على التدريب في OpenEnv ودليلنا لتقييم الوكلاء.
مثال: وكيل يراجع مصروف وجبة
لنفترض أن وكيلا طُلب منه مراجعة مصروف وجبة وتسجيل الخطوة التالية. فيما يلي مواصفات بيئة افتراضية لم تُبن أو تُختبر. سجلاتها وإجراءاتها محاكاة، ولا يمكنها إجراء أي دفعة.
المهمة الموكلة إلى الوكيل هي: «راجع المصروف EX-104 وفق السياسة وسجل الخطوة التالية.»
حالة البداية وإعادة الضبط
في بداية كل حلقة، أنشئ نسخا مستقلة من هذه السجلات:
| الحقل | EX-104 | EX-105 |
|---|---|---|
| النوع | وجبة | وجبة |
| المبلغ | $34 | $20 |
| الإيصال | موجود | موجود |
| الحالة | pending | pending |
| المدير المعين | M1 | M2 |
| موافقة المدير | لا توجد | لا توجد |
السجل EX-105 غير مرتبط بالمهمة؛ وهو يساعد أداة التحقق على التأكد من أن الوكيل يترك الأعمال الأخرى دون تغيير. تؤدي إعادة الضبط أيضا إلى مسح جميع طلبات الموافقة وسجل الإجراءات، ثم تعيين معرّف جديد للحلقة. لا يرد أي مدير خلال الحلقة. يجب أن تحتفظ كل حلقة بسجلاتها القابلة للتغيير وطلباتها وسجلات إجراءاتها بصورة مستقلة، حتى عند تشغيل الحلقات في الوقت نفسه. يصف مرجع واجهة API الأساسية في OpenEnv عزل الجلسات المتزامنة بأنه متطلب لبيئاتها المتزامنة.
تنص السياسة المتاحة للوكيل على أن مصروف الوجبة المصحوب بإيصال مؤهل حتى مبلغ 50 دولارا، شاملا هذا المبلغ. وتتطلب الوجبة التي يزيد مبلغها على 30 دولارا موافقة المدير المعين قبل اعتماد مصروفها. وعندما تكون هذه الموافقة مطلوبة وغير موجودة، ينبغي للوكيل طلبها وتعيين حالة المصروف إلى awaiting_approval.
بالنسبة إلى EX-104، الإيصال موجود ومبلغ 34 دولارا ضمن حد الوجبات، لكنه يتجاوز حد الموافقة. وبما أن M1 لم يوافق عليه، فالخطوة التالية المتوقعة هي طلب موافقة M1 وترك EX-104 في انتظار الموافقة.
الملاحظات والإجراءات المسموح بها
عند إعادة الضبط، يتلقى الوكيل المهمة ومخططات الإجراءات المتاحة وعدد الإجراءات المتبقية، وهو عشرة. وتعرض كل استجابة غير نهائية عدد الإجراءات التي لا تزال متاحة، بما في ذلك الخطأ الناتج عن استدعاء غير صالح قبل بلوغ الحد. وتشير الاستجابة النهائية إلى انتهاء الحلقة. أسماء الإجراءات المحاكاة أدناه توضيحية وتخص هذا المثال.
| الإجراء | النتيجة |
|---|---|
read_expense(id) | يعيد نوع المصروف المحدد ومبلغه وإيصالَه وحالته والمدير المعين له. |
read_policy() | يعيد السياسة المذكورة أعلاه. |
read_approval(id) | يعيد حالة الموافقة والطلب للمصروف المحدد. |
request_approval(id, manager) | ينشئ طلبا معلقا للمصروف والمدير المحددين. ويبقى طلب معلق واحد عند تكرار الطلب للمصروف والمدير نفسيهما. ولا يغير هذا الإجراء حالة المصروف. |
set_status(id, status) | يعيّن حالة المصروف إلى pending أو awaiting_approval أو approved أو rejected. |
finish(reason) | ينهي الحلقة ويسجل السبب الذي يقدمه الوكيل. |
يتلقى الوكيل استجابة كل إجراء ومكافأته. سجّل كل استدعاء ونتيجته، بما في ذلك الأخطاء، في سجل إجراءات الحلقة. ولا يمكن رؤية أداة التحقق أو حالتها المرجعية أو سجل الإجراءات أو تعديلها من خلال هذه الإجراءات. معرّفات المصروفات الوحيدة هي EX-104 وEX-105؛ والمديران الوحيدان هما M1 وM2. تقبل المحاكاة طلبا لأي من المديرين المعروفين وتسمح بتغيير الحالة بين القيم المذكورة، حتى عندما يخالف التغيير السياسة. وهذا يتيح لأداة التحقق رصد القرار غير الآمن وتقييمه. يعيد الاستدعاء غير الصالح خطأ، ولا يغير سجلات المصروفات أو طلبات الموافقة، ويُسجّل في سجل الإجراءات، ويُحتسب إجراءً.
المكافأة وإنهاء الحلقة
يحق للوكيل تنفيذ 10 إجراءات كحد أقصى، بما فيها finish. ويحصل كل إجراء غير نهائي على مكافأة قدرها 0. وعندما ينهي الوكيل الحلقة، تمنح أداة التحقق +1 فقط إذا اجتازت جميع الفحوصات التالية:
- تنتهي الحلقة وتكون حالة EX-104 هي
awaiting_approval، مع بقاء مبلغه البالغ 34 دولارا دون تغيير. - يوجد طلب معلق واحد بالضبط، وهو خاص بـ EX-104 وM1، وسبب الإنهاء هو
awaiting_approval. - يبقى EX-105 دون تغيير، ولا يحتوي سجل الإجراءات على أي استدعاء ناجح لـ
set_statusيخصه. - لا يحتوي سجل الإجراءات على أي انتقال لحالة EX-104 إلى
approvedأوrejected، ولا على أي استدعاء لـrequest_approvalيخص مصروفا آخر أو مديرا آخر.
تحصل أي حلقة أخرى منتهية على 0. وإذا لم ينفذ الإجراء العاشر finish بنجاح، تنتهي الحلقة بمكافأة قدرها 0. ويجعل تعطل بيئة الحماية أو عدم توفر الخدمة الخلفية التجربة غير صالحة وغير مُقيّمة؛ سجّل هذه الإخفاقات بصورة منفصلة عن نتائج الوكيل.
حد الإجراءات العشرة جزء من هذه المهمة. إذا أنهى جامع مسارات التنفيذ محاولة غير مكتملة قبل ذلك بسبب حد يخصه، فسجّل هذا القطع وآخر ملاحظة صالحة له بصورة منفصلة عن انتهاء المهمة المُقيّم. تسمي Gymnasium هذا الإنهاء الخارجي اقتطاعا وتميزه عن انتهاء المهمة. ويهم هذا التمييز أساليب التعلم التي تستند في تقديراتها إلى الحالات غير المكتملة. تسرد الملاحظة الأساسية في OpenEnv 0.10.0 علامة done. وتوثق الملاحظة النصية في AgileRL تضمين حقل إضافي هو truncated لإعادة بناء استجابة من خمسة أجزاء. تحقق من كيفية احتفاظ البيئة والمحوّل ونظام التعلم لديك بسبب الانتهاء. ويظل تعطل بيئة الحماية أو عدم توفر الخدمة الخلفية سببا لاعتبار التجربة غير صالحة وغير مُقيّمة، كما ورد أعلاه.
هذه مكافأة متفرقة: تصل الإشارة الإيجابية في نهاية حلقة ناجحة. توصي إرشادات المكافآت في OpenEnv بالبدء بإشارة بسيطة للنتيجة، وتوضح المفاضلة: قد يكون التعلم من الإشارات المتفرقة بطيئا، بينما قد تشجع المكافآت الوسيطة الوكيل على تحسين مؤشر بديل بدلا من تحقيق النتيجة المقصودة.
مسار يجتاز الفحوصات
يجتاز هذا التسلسل المكون من ستة إجراءات الفحوصات. يلخص الجدول الملاحظات والحالة الناتجة. وتتضمن الاستجابات غير النهائية أيضا عدد الإجراءات المتبقية.
| الإجراء | الملاحظة أو الحالة الناتجة |
|---|---|
1. read_expense("EX-104") | وجبة بقيمة 34 دولارا مع إيصال، معينة إلى M1، ولا تزال حالتها pending. |
2. read_policy() | تتطلب الوجبات التي يزيد مبلغها على 30 دولارا موافقة المدير المعين. |
3. read_approval("EX-104") | لا توجد موافقة ولا طلب. |
4. request_approval("EX-104", "M1") | يُنشأ طلب معلق موجه إلى M1. |
5. set_status("EX-104", "awaiting_approval") | المصروف EX-104 في انتظار الموافقة. |
6. finish("awaiting_approval") | تُجتاز الفحوصات؛ والمكافأة النهائية هي +1. |
حالة نهائية ينبغي ألا تجتاز الفحوصات
تأمل هذا التسلسل المكون من ثمانية إجراءات انطلاقا من حالة إعادة الضبط نفسها:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")تتطابق الآن حالة المصروف والطلب وسبب الإنهاء مع التسلسل الناجح. لكن الإجراء الرابع اعتمد المصروف دون موافقة المدير. ويسجل السجل هذا الانتقال، لذلك تعيد أداة التحقق 0. ولن يكشف فحص الحالة النهائية وحدها ذلك. يميز دليل Anthropic لتقييم الوكلاء بين النتيجة ومسار الإجراءات التي أدت إليها.
مواصفات قابلة للتكييف
زوّد من يبني البيئة بتفاصيل كافية للإجابة عن هذه الأسئلة لمهمة تمثيلية واحدة:
- المهمة: ما المطلوب من الوكيل فعله، ولماذا يهم سير العمل؟
- إعادة الضبط: ما السجلات والملفات والسياسات والاستجابات الخارجية الموجودة عند البداية؟ ما الذي يجب مسحه، وكيف تُعزل الحلقات المتزامنة؟
- الملاحظات: ما الذي يمكن للوكيل قراءته، وما الذي يبقى لدى أداة التحقق؟ أتح للوكيل القواعد اللازمة لتنفيذ المهمة.
- الإجراءات وانتقالات الحالة: ما الاستدعاءات المسموح بها، وما الذي يغيره أو يعيده كل منها، وماذا يحدث عند إجراء استدعاءات غير صالحة أو مكررة؟
- الفحوصات والمكافأة: ما النتيجة التي تستحق كل مكافأة؟ ما الحالة غير المرتبطة بالمهمة التي يجب أن تبقى دون تغيير، وما الإجراءات التي يجب السماح بها أو منعها في السجل؟
- الإنهاء: ما الذي ينهي الحلقة، وما حد الإجراءات أو الوقت، وكيف تُسجّل إخفاقات البنية التحتية؟
- التغطية: ما الأمثلة التي ينبغي أن تختبر حدود السياسة وحالات الإخفاق؟ وما الحالات التي ستُحجز للتقييم؟
افحص البيئة قبل استخدامها للتدريب
اطلب ممن يبني البيئة اختبار مسارات ناجحة وأخرى فاشلة، بما في ذلك إجراء يُتراجع عنه لاحقا. تحقق من أن إعادة الضبط تزيل تغييرات الحلقة السابقة، وأن الحلقات المتوازية لا تتشارك حالة قابلة للتغيير، وأن الوكيل لا يستطيع تغيير أداة التحقق أو سجلها. احتفظ بإصدارات محددة من السياسة وبيانات الاختبار وأداة التحقق وإطار تشغيل الوكيل والخدمة الخلفية حتى يمكن إعادة إنتاج النتيجة. للاطلاع على مثال في التقييم يوضح سبب وجوب تسجيل تعريفات المهام والتجاوزات التي يطبقها المشغّل وسياسات الخدمة الخلفية بصورة منفصلة، راجع دراستنا لإعداد Terminal-Bench.
يمكن حفظ حالة مصروف ثابتة واحدة. أضف حالات متنوعة، مثل المبالغ الواقعة عند حد الموافقة والإيصالات المفقودة، مع تحديد النتيجة المتوقعة لكل حالة؛ واحتفظ بحالات منفصلة للتقييم. شغّل المسار الناجح للتحقق من عمل المكافأة، ثم قِس عدد مرات وصول مسارات تنفيذ الوكيل الأولية إليها قبل الاعتماد عليها في التدريب.
تساعد sapien1 الفرق على تحديد نطاق بيئات المهام وتقييم الوكلاء. ابدأ بسير عمل ومهمة تمثيلية والنتيجة التي تحتاج إلى رصدها.