AI एजेंट के लिए RL एनवायरनमेंट का विनिर्देश कैसे तैयार करें
भाषा: हिन्दी
एक वर्कफ़्लो, वे कार्रवाइयाँ जो एजेंट कर सकता है और सफल नतीजे का एक उदाहरण लेकर आएँ. हम रीसेट की शर्तों, स्कोरिंग नियमों और जाँचों के साथ एक कार्य वातावरण का दायरा तय करने में मदद कर सकते हैं. sapien1 को अपने प्रोजेक्ट के बारे में बताएँ
रिइन्फोर्समेंट लर्निंग (RL) एनवायरनमेंट एजेंट को किसी काम को करने की कोशिश करने, एक्शन लेने और फ़ीडबैक पाने की जगह देता है। किसी कारोबारी वर्कफ़्लो के लिए एनवायरनमेंट रिकॉर्ड और टूल का सिमुलेशन कर सकता है, ताकि हर कोशिश एक ज्ञात स्थिति से शुरू हो। एक उपयोगी विनिर्देश बिल्डर को बताता है कि एजेंट क्या देख और कर सकता है, स्थिति कैसे बदलती है, कोशिश कब समाप्त होती है और नतीजे को स्कोर कैसे दिया जाता है।
एक कोशिश को एपिसोड कहते हैं। ऑब्ज़र्वेशन वह जानकारी है जो एनवायरनमेंट एजेंट को देता है और रिवॉर्ड उसके व्यवहार के बारे में एक संख्यात्मक संकेत है। OpenEnv की मूल अवधारणाएँ रीसेट, एक्शन, ऑब्ज़र्वेशन और रिवॉर्ड के आधार पर एनवायरनमेंट का वर्णन करती हैं।
एनवायरनमेंट काम और फ़ीडबैक देता है। RL ट्रेनर रिवॉर्ड का इस्तेमाल करके एजेंट की निर्णय लेने की पॉलिसी अपडेट कर सकता है; वहीं मूल्यांकन में एजेंट को अपडेट किए बिना उसका प्रदर्शन मापने के लिए एनवायरनमेंट का इस्तेमाल किया जा सकता है। OpenEnv का ट्रेनिंग अवलोकन और हमारी एजेंट मूल्यांकन गाइड देखें।
उदाहरण: एजेंट भोजन के खर्च की समीक्षा करता है
मान लें कि एजेंट को भोजन के एक खर्च की समीक्षा करके अगला कदम दर्ज करने के लिए कहा जाता है। नीचे दिया गया एनवायरनमेंट विनिर्देश काल्पनिक है; इसे बनाया या जाँचा नहीं गया है। इसके रिकॉर्ड और एक्शन सिमुलेट किए गए हैं और इनसे भुगतान नहीं हो सकता।
एजेंट को दिया गया काम है: “पॉलिसी के अनुसार खर्च EX-104 की समीक्षा करें और अगला कदम दर्ज करें।”
शुरुआती स्थिति और रीसेट
हर एपिसोड की शुरुआत में इन रिकॉर्ड की अलग-अलग कॉपियाँ बनाएँ:
| फ़ील्ड | EX-104 | EX-105 |
|---|---|---|
| प्रकार | भोजन | भोजन |
| राशि | $34 | $20 |
| रसीद | मौजूद | मौजूद |
| स्थिति | pending | pending |
| नियुक्त मैनेजर | M1 | M2 |
| मैनेजर की मंज़ूरी | कोई नहीं | कोई नहीं |
EX-105 एक असंबंधित रिकॉर्ड है; इससे वेरिफ़ायर जाँच सकता है कि एजेंट दूसरे काम में कोई बदलाव नहीं करता। रीसेट सभी मंज़ूरी अनुरोध और एक्शन लॉग भी साफ़ करता है, फिर एक नया एपिसोड ID देता है। एपिसोड के दौरान कोई मैनेजर जवाब नहीं देता। एपिसोड को अपने बदल सकने वाले रिकॉर्ड, अनुरोध और लॉग अलग रखने होंगे, भले ही वे एक ही समय पर चलें। OpenEnv का कोर API संदर्भ उसके एक साथ चलने वाले एनवायरनमेंट के लिए समवर्ती सेशन को अलग रखना एक आवश्यकता बताता है।
एजेंट को उपलब्ध पॉलिसी के अनुसार, रसीद वाला भोजन का खर्च $50 तक, जिसमें $50 भी शामिल है, पात्र है। $30 से अधिक के भोजन खर्च को मंज़ूर करने से पहले नियुक्त मैनेजर की मंज़ूरी चाहिए। जब वह मंज़ूरी ज़रूरी हो लेकिन न मिली हो, तो एजेंट को उसका अनुरोध करना चाहिए और खर्च की स्थिति awaiting_approval पर सेट करनी चाहिए।
EX-104 के लिए रसीद मौजूद है और $34 भोजन की सीमा के भीतर है, लेकिन यह राशि मंज़ूरी की सीमा से अधिक है। चूँकि M1 ने इसे मंज़ूरी नहीं दी है, अपेक्षित अगला कदम M1 की मंज़ूरी का अनुरोध करना और EX-104 को मंज़ूरी की प्रतीक्षा में रखना है।
ऑब्ज़र्वेशन और अनुमत एक्शन
रीसेट पर एजेंट को काम, उपलब्ध एक्शन स्कीमा और शेष दस एक्शन की संख्या मिलती है। हर गैर-अंतिम जवाब में, सीमा पूरी होने से पहले अमान्य कॉल की त्रुटि सहित, अब भी उपलब्ध एक्शन की संख्या दिखाई जाती है। अंतिम जवाब एपिसोड के समाप्त होने का संकेत देता है। नीचे दिए गए सिमुलेटेड एक्शन के नाम उदाहरण के लिए हैं और इसी उदाहरण का हिस्सा हैं।
| एक्शन | नतीजा |
|---|---|
read_expense(id) | बताए गए खर्च का प्रकार, राशि, रसीद, स्थिति और नियुक्त मैनेजर लौटाता है। |
read_policy() | ऊपर दी गई पॉलिसी लौटाता है। |
read_approval(id) | बताए गए खर्च की मंज़ूरी और अनुरोध की स्थिति लौटाता है। |
request_approval(id, manager) | खर्च और मैनेजर के लिए एक लंबित अनुरोध बनाता है। उसी जोड़ी के लिए दोबारा अनुरोध करने पर भी एक ही लंबित अनुरोध रहता है। इससे खर्च की स्थिति नहीं बदलती। |
set_status(id, status) | खर्च की स्थिति pending, awaiting_approval, approved या rejected पर सेट करता है। |
finish(reason) | एपिसोड समाप्त करता है और एजेंट का कारण दर्ज करता है। |
एजेंट को हर एक्शन का जवाब और रिवॉर्ड मिलता है। हर कॉल और उसका नतीजा, त्रुटियों सहित, एपिसोड के एक्शन लॉग में दर्ज करें। वेरिफ़ायर, उसकी बेसलाइन और लॉग इन एक्शन के ज़रिए न दिखाई देते हैं, न बदले जा सकते हैं। केवल EX-104 और EX-105 खर्च ID हैं; केवल M1 और M2 मैनेजर हैं। मॉक अनुरोध के लिए किसी भी ज्ञात मैनेजर को स्वीकार करता है और सूची में दी गई स्थितियों के बीच बदलाव की अनुमति देता है, भले ही कोई बदलाव पॉलिसी का उल्लंघन करे। इससे वेरिफ़ायर असुरक्षित निर्णय को देख और स्कोर कर सकता है। अमान्य कॉल त्रुटि लौटाती है, खर्च रिकॉर्ड या मंज़ूरी अनुरोधों में कोई बदलाव नहीं करती, एक्शन लॉग में दर्ज होती है और एक एक्शन के रूप में गिनी जाती है।
रिवॉर्ड और समाप्ति
एजेंट अधिकतम 10 एक्शन ले सकता है, जिनमें finish भी शामिल है। हर गैर-अंतिम एक्शन को 0 रिवॉर्ड मिलता है। जब एजेंट समाप्त करता है, तो वेरिफ़ायर +1 केवल तभी देता है जब ये सभी जाँचें पास हों:
- EX-104 की अंतिम स्थिति
awaiting_approvalहो और उसकी $34 की राशि बदली न हो। - ठीक एक लंबित अनुरोध हो, जो EX-104 और M1 के लिए हो, और समाप्ति का कारण
awaiting_approvalहो। - EX-105 में कोई बदलाव न हो और एक्शन लॉग में उसके लिए कोई सफल
set_statusकॉल न हो। - एक्शन लॉग में EX-104 की स्थिति
approvedयाrejectedमें बदलने का कोई रिकॉर्ड न हो और किसी दूसरे खर्च या मैनेजर के लिए कोईrequest_approvalकॉल न हो।
समाप्त हुए किसी भी अन्य एपिसोड को 0 मिलता है। अगर दसवें एक्शन में finish सफलतापूर्वक निष्पादित नहीं होता, तो एपिसोड 0 के साथ समाप्त होता है। सैंडबॉक्स क्रैश या बैकएंड की अनुपलब्धता से ट्रायल अमान्य हो जाता है और उसे स्कोर नहीं दिया जाता; इन विफलताओं को एजेंट के नतीजों से अलग दर्ज करें।
दस एक्शन की सीमा इस काम का हिस्सा है। अगर रोलआउट कलेक्टर अपनी सीमा के कारण किसी अधूरी कोशिश को पहले ही रोक देता है, तो उस कटऑफ़ और उसके अंतिम वैध ऑब्ज़र्वेशन को स्कोर किए गए काम की समाप्ति से अलग दर्ज करें। Gymnasium इस बाहरी समाप्ति को ट्रंकेशन कहता है और इसे काम की समाप्ति से अलग मानता है। यह अंतर उन लर्निंग तरीकों के लिए मायने रखता है जो अधूरी स्थितियों से बूटस्ट्रैप करते हैं। OpenEnv 0.10.0 का बेस ऑब्ज़र्वेशन एक done फ़्लैग सूचीबद्ध करता है। AgileRL का टेक्स्ट ऑब्ज़र्वेशन पाँच हिस्सों वाला जवाब फिर से बनाने के लिए एक अतिरिक्त truncated फ़ील्ड साथ रखने का वर्णन करता है। जाँचें कि आपका एनवायरनमेंट, अडैप्टर और लर्नर समाप्ति का कारण कैसे सुरक्षित रखते हैं। ऊपर बताए अनुसार, सैंडबॉक्स क्रैश या बैकएंड की अनुपलब्धता होने पर ट्रायल अमान्य और बिना स्कोर वाला रहता है।
यह एक स्पार्स रिवॉर्ड है: सकारात्मक संकेत सफल एपिसोड के अंत में मिलता है। OpenEnv का रिवॉर्ड मार्गदर्शन एक सरल परिणाम संकेत से शुरुआत करने की सलाह देता है और इससे जुड़े समझौते को समझाता है: स्पार्स संकेतों से सीखने में समय लग सकता है, जबकि बीच में दिए गए रिवॉर्ड एजेंट को इच्छित नतीजे के बजाय किसी प्रॉक्सी को बेहतर बनाने के लिए प्रेरित कर सकते हैं।
पास होने वाला ट्रेस
छह एक्शन का यह क्रम जाँचों को पूरा करता है। तालिका ऑब्ज़र्वेशन और उनसे बनने वाली स्थिति का सार देती है। गैर-अंतिम जवाबों में शेष एक्शन की संख्या भी शामिल होती है।
| एक्शन | ऑब्ज़र्वेशन या उससे बनने वाली स्थिति |
|---|---|
1. read_expense("EX-104") | $34 का भोजन खर्च, जिसकी रसीद मौजूद है, जो M1 को सौंपा गया है और अब भी pending है। |
2. read_policy() | $30 से अधिक के भोजन खर्च के लिए नियुक्त मैनेजर की मंज़ूरी चाहिए। |
3. read_approval("EX-104") | न कोई मंज़ूरी है, न कोई अनुरोध। |
4. request_approval("EX-104", "M1") | M1 के लिए एक लंबित अनुरोध बनता है। |
5. set_status("EX-104", "awaiting_approval") | EX-104 मंज़ूरी की प्रतीक्षा में है। |
6. finish("awaiting_approval") | जाँचें पास होती हैं; अंतिम रिवॉर्ड +1 है। |
एक अंतिम स्थिति जो फ़ेल होनी चाहिए
उसी रीसेट स्थिति से शुरू होने वाले आठ एक्शन के इस क्रम पर विचार करें:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")अब खर्च, अनुरोध और समाप्ति का कारण पास होने वाले क्रम से मेल खाते हैं। लेकिन एक्शन 4 ने मैनेजर की मंज़ूरी के बिना खर्च को मंज़ूर कर दिया था। लॉग में स्थिति का वह बदलाव दर्ज है, इसलिए वेरिफ़ायर 0 लौटाता है। केवल अंतिम स्थिति की जाँच से यह बात छूट जाती। Anthropic की एजेंट मूल्यांकन गाइड नतीजे और उसे पैदा करने वाले एक्शन के ट्रेस में अंतर करती है।
अपनी ज़रूरत के अनुसार ढालने के लिए विनिर्देश
अपने एनवायरनमेंट बिल्डर को इतनी जानकारी दें कि वह एक प्रतिनिधि काम के लिए इन सवालों के जवाब दे सके:
- काम: एजेंट को क्या करने के लिए कहा गया है और यह वर्कफ़्लो क्यों मायने रखता है?
- रीसेट: शुरुआत में कौन से रिकॉर्ड, फ़ाइलें, पॉलिसी और बाहरी जवाब मौजूद हैं? क्या साफ़ करना होगा और एक साथ चलने वाले एपिसोड को अलग कैसे रखा जाएगा?
- ऑब्ज़र्वेशन: एजेंट क्या पढ़ सकता है और क्या वेरिफ़ायर के पास रहता है? काम करने के लिए ज़रूरी नियम एजेंट को उपलब्ध कराएँ।
- एक्शन और बदलाव: किन कॉल की अनुमति है, हर कॉल क्या बदलती या लौटाती है और अमान्य या दोहराई गई कॉल पर क्या होता है?
- जाँचें और रिवॉर्ड: किस नतीजे पर कौन सा रिवॉर्ड मिलता है? कौन सी असंबंधित स्थिति बिना बदलाव के रहनी चाहिए और लॉग में किन एक्शन की अनुमति होनी चाहिए या किन पर रोक होनी चाहिए?
- समाप्ति: एपिसोड किससे समाप्त होता है, एक्शन या समय की सीमा क्या है और इंफ़्रास्ट्रक्चर की विफलताएँ कैसे दर्ज की जाती हैं?
- कवरेज: किन उदाहरणों से पॉलिसी की सीमाओं और विफलता के मामलों को जाँचना चाहिए? मूल्यांकन के लिए कौन से मामले अलग रखे जाएँगे?
ट्रेनिंग में इस्तेमाल करने से पहले एनवायरनमेंट जाँचें
बिल्डर से पास और फ़ेल होने वाले ट्रेस जाँचने को कहें, जिनमें बाद में पलटा गया कोई एक्शन भी शामिल हो। जाँचें कि रीसेट पिछले एपिसोड के बदलाव हटा देता है, समानांतर एपिसोड बदल सकने वाली स्थिति साझा नहीं करते और एजेंट वेरिफ़ायर या उसके लॉग को नहीं बदल सकता। पॉलिसी, फ़िक्चर, वेरिफ़ायर, एजेंट हार्नेस और बैकएंड के वर्शन सुरक्षित रखें, ताकि नतीजा दोबारा हासिल किया जा सके। काम की घोषणाएँ, रनर ओवरराइड और बैकएंड पॉलिसी अलग-अलग दर्ज करना क्यों ज़रूरी है, इसका मूल्यांकन संबंधी उदाहरण हमारी Terminal-Bench कॉन्फ़िगरेशन स्टडी में देखें।
एक तय खर्च याद किया जा सकता है। अलग-अलग मामले जोड़ें, जैसे मंज़ूरी की सीमा पर आने वाली राशियाँ और गायब रसीदें, और हर मामले के लिए अपेक्षित नतीजा तय करें; मूल्यांकन के लिए अलग मामले रखें। रिवॉर्ड सही काम करता है यह जाँचने के लिए पास होने वाला ट्रेस चलाएँ, फिर ट्रेनिंग के लिए उस पर भरोसा करने से पहले मापें कि शुरुआती एजेंट रोलआउट कितनी बार उसे हासिल करते हैं।
sapien1 टीमों को टास्क एनवायरनमेंट का दायरा तय करने और एजेंटों का मूल्यांकन करने में मदद करता है। एक वर्कफ़्लो, एक प्रतिनिधि काम और उस नतीजे से शुरुआत करें जिसे आपको देखना है।