मुख्य सामग्री पर जाएँ

मेन्यू

AI एजेंट का मूल्यांकन उस काम पर करें जिसे उसे करना है

पेज की भाषा: हिन्दी

एक प्रतिनिधि कार्य और वह नतीजा लेकर आएँ जो आपके एजेंट को हासिल करना चाहिए. हम स्पष्ट जाँचों और पास, फ़ेल और बिना स्कोर वाले रन की रिपोर्ट के साथ एक परीक्षण का दायरा तय कर सकते हैं. sapien1 को अपने प्रोजेक्ट के बारे में बताएँ

AI एजेंट के मूल्यांकन में यह जाँचा जाता है कि एजेंट वास्तविक उपयोग में मिलने वाली जानकारी, टूल और सीमाओं के साथ कोई कार्य पूरा कर सकता है या नहीं। अपेक्षित नतीजा तय करें, देखें कि क्या बदला और नतीजे तक पहुँचने वाले कदमों की जाँच करें।

sapien1 टीमों को कार्यों के समूह का दायरा तय करने, मूल्यांकन डेटा की समीक्षा करने और एजेंट की जाँच के लिए परिवेश बनाने में मदद करता है। एक कार्यप्रवाह और उस निर्णय से शुरू करें जिसके लिए आपको मूल्यांकन की ज़रूरत है।

किसी कार्यप्रवाह को जाँचे जा सकने वाले कार्य में बदलें

कार्य की एक शुरुआती स्थिति, एक अनुरोध और सफलता के ऐसे मानदंड होने चाहिए जिन्हें जाँचा जा सके। एजेंट का अंतिम संदेश सबूत का एक हिस्सा है। बनी हुई फ़ाइलें, रिकॉर्ड या टूल की स्थिति भी दिखा सकती है कि काम पूरा हुआ या नहीं।

एजेंट के मूल्यांकन पर Anthropic की मार्गदर्शिका कार्य, हर प्रयास, अंक देने वाले तंत्र, निष्पादन के रिकॉर्ड और परिवेश में बने नतीजे को अलग-अलग देखती है। इससे पता लगाने में मदद मिलती है कि विफलता एजेंट, परीक्षण या परिवेश में कहाँ से आई।

मान लें कि ग्राहक सहायता एजेंट से डिलीवरी का पता बदलने को कहा गया है। परीक्षण में उसे ऑर्डर का रिकॉर्ड, ग्राहक का अनुरोध और लागू नीति दी जा सकती है। जाँचें वास्तविक कार्य के अनुरूप होनी चाहिए:

कार्य का हिस्साजाँच का उदाहरण
ऑर्डर पहचाननाएजेंट अनुरोध में बताया गया ऑर्डर चुनता है
नीति लागू करनानिर्णय दिए गए नियमों और ऑर्डर की स्थिति के अनुरूप है
बदलाव करनाबदलाव की अनुमति होने पर माँगा गया पता ऑर्डर के रिकॉर्ड में दिखता है। अन्यथा पता नहीं बदलता।
बाकी विवरण सुरक्षित रखनासामान, उसकी मात्रा और असंबंधित रिकॉर्ड ज्यों के त्यों रहते हैं
नतीजा समझानाजवाब में की गई कार्रवाई या अभी आवश्यक जानकारी का सही विवरण होता है

कार्य का यह विवरण सिर्फ़ एक उदाहरण है। कौन-सी जाँचें चाहिए, यह आपकी नीति और कार्यप्रवाह पर निर्भर है।

अनुमति और कार्रवाई के बाद की स्थिति की जाँच करें

मान लें कि उपयोगकर्ता एजेंट को ऑर्डर A का पता 1 Example Lane से 2 Example Lane करने की अनुमति देता है। ऑर्डर B का शुरुआती पता 3 Example Lane है और वह अनुरोध के दायरे में नहीं है। पहले से लिखा गया यह काल्पनिक रिकॉर्ड दिखाता है कि अनुमति की एक नकली जाँच में क्या दर्ज हो सकता है:

टूल को एजेंट का अनुरोधअनुमति का निर्णयदर्ज नतीजा
ऑर्डर A: पता 2 Example Lane करेंअनुमति दी गईबदलाव किया गया
ऑर्डर B: पता 4 Example Lane करेंअनुमति नहीं दी गईबदलाव रोका गया

रिकॉर्ड में अनुमति वाला अनुरोध और दायरे से बाहर का अनुरोध, दोनों दर्ज हैं। इस उदाहरण में स्थिति की जाँच से पता चलता है कि ऑर्डर A का पता 2 Example Lane है और ऑर्डर B का पता 3 Example Lane ही है। अनुरोध ठुकराया जाना और बदलाव किया जाना अलग नतीजे हैं। अनुमति का निर्णय और अंतिम स्थिति एजेंट के जवाब के साथ रखें।

एजेंट के मूल्यांकन पर Anthropic की मार्गदर्शिका प्रयास के निष्पादन रिकॉर्ड और उससे बनी स्थिति में अंतर करती है। टूल के इस्तेमाल की अनुमति पर AWS की मार्गदर्शिका टूल को भेजे गए एजेंट के अनुरोधों और उन्हें मंज़ूर या नामंज़ूर करने वाले निर्णयों की जाँच पर चर्चा करती है। काल्पनिक रिकॉर्ड एक जाँच का उदाहरण है। यह किसी सिस्टम की सुरक्षा का प्रमाण नहीं है।

पहले से सुलझाए गए मामले से परीक्षण बनाएँ

मान लें कि ग्राहक सहायता के एक अलग काल्पनिक रिकॉर्ड में यह क्रम है। 10:00 बजे, ऑर्डर A का सत्यापित मालिक ऑर्डर का पता 1 Example Lane से 2 Example Lane करने को कहता है। ऑर्डर अभी भेजने के लिए तैयार किया जा रहा है। लागू नीति के मुताबिक सत्यापित मालिक के अनुरोध पर ऑर्डर भेजने से पहले पता बदलना है। 10:05 बजे, सहायता टीम के नोट में दर्ज होता है कि पता बदल दिया गया है।

10:00 बजे के निर्णय की जाँच करने के लिए एजेंट को अनुरोध, ऑर्डर की मूल स्थिति और उस समय लागू नीति दें। परीक्षण के टूल उसी स्थिति से चलाएँ। एजेंट के काम करते समय ऑर्डर को तैयारी की स्थिति में रखें। 10:05 बजे का नोट समीक्षा करने वाले को दें और परीक्षण में उसे एजेंट के शुरुआती निर्देशों और उसके टूल की पहुँच वाले रिकॉर्ड से बाहर रखें। ऐसा न करने पर एजेंट कार्रवाई से पहले ही पूरा नतीजा देख सकता है।

10:00 बजे लागू नीति समीक्षा करने वाले को अपेक्षित नतीजा बताती है। ऑर्डर A का अंतिम पता 2 Example Lane है। परीक्षण में यह भी ज़रूरी रखें कि असंबंधित रिकॉर्ड न बदलें। 10:05 बजे का नोट वास्तविक नतीजा दर्ज करता है। नीति से तय करें कि कार्रवाई सही थी या नहीं। अगर लागू नीति या कार्रवाई से पहले की स्थिति तय नहीं कर सकते, तो मामले को बाद की समीक्षा के लिए अलग रखें। वास्तविक रिकॉर्ड इस्तेमाल करने से पहले अनुमति की पुष्टि करें और संवेदनशील फ़ील्ड उचित ढंग से संभालें।

डेटासेट पर Inspect की मार्गदर्शिका मॉडल को दिए गए इनपुट और अंक देने में इस्तेमाल होने वाले संदर्भ नतीजे में अंतर करती है। यह भी बताती है कि उदाहरण की फ़ाइलें अलग-थलग परीक्षण परिवेश में कॉपी की जा सकती हैं। जाँचें कि निर्देशों, प्राप्त सामग्री, टूल के जवाबों या उस परिवेश की फ़ाइलों में केवल समीक्षा करने वाले के लिए रखी गई जानकारी तो नहीं है। डेटासेट में अंक देने का अलग संदर्भ नतीजा हो, तब भी ये जाँचें करें।

निर्णय के अनुरूप सबूत चुनें

जब नतीजा सीधे देखा जा सके, जैसे बदला हुआ फ़ील्ड, गणना, बनी हुई फ़ाइल या पास हुआ परीक्षण, तो उसकी सीधी जाँच करें। जहाँ मानव व्याख्या की ज़रूरत हो, वहाँ लिखित मूल्यांकन मानदंड अपनाएँ। उदाहरण के लिए, देखें कि स्पष्टीकरण साफ़ है या शोध से जुड़ा जवाब अपने निष्कर्ष का समर्थन करता है।

स्वचालित मूल्यांकन तंत्र बहुत सारे आउटपुट की समीक्षा में मदद कर सकता है। उसके अंकों पर निर्भर होने से पहले प्रतिनिधि उदाहरणों पर उसके निर्णयों की मानव समीक्षा से तुलना करें। असहमतियाँ दर्ज रखें ताकि मानदंड या मूल्यांकन तंत्र सुधारा जा सके।

मॉडल पाठ का इस्तेमाल करता है या नहीं

कार्य के इनपुट, टूल, एजेंट का कॉन्फ़िगरेशन और नतीजे दर्ज करें। प्रयासों के बीच का अंतर निर्णय पर असर डालता हो तो उन्हें दोहराएँ। विफल प्रयासों और अप्रत्याशित रूप से सफल प्रयासों, दोनों की समीक्षा करें। ऊँचे अंक अच्छे प्रदर्शन का संकेत दे सकते हैं या किसी कमज़ोर परीक्षण को छिपा सकते हैं। Anthropic की मार्गदर्शिका मूल्यांकन तंत्र और प्रयासों की रूपरेखा से जुड़े इन पहलुओं पर चर्चा करती है।

अंक देने से पहले मामलों की ID जाँचें

पुराने रिकॉर्ड से मामला बनाते समय उसकी ID अपेक्षित नतीजे और परीक्षण के नतीजे, दोनों में रखें। हर मामले के एक नतीजे को अंक देने से पहले दोनों फ़ाइलों को अपेक्षित ID की सूची से मिलाएँ। हर अपेक्षित ID हर फ़ाइल में ठीक एक बार आनी चाहिए। गायब, दोहराई गई या अप्रत्याशित ID की समस्याएँ सुलझाएँ। दोहराए गए रन में प्रयास की ID भी दर्ज करें।

मान लें कि अपेक्षित मामले A और B हैं। दोनों फ़ाइलों में A और एक ऐसी पंक्ति है जिसकी ID गायब है। A का अपेक्षित नतीजा और परीक्षण का नतीजा मेल नहीं खाते। ID के बिना दोनों पंक्तियों का लेबल एक ही है। pandas में मर्ज गायब कुंजियों को आपस में जोड़ सकता है, भले ही एक-से-एक संबंध की जाँच पास हो जाए। जुड़ी हुई पंक्तियाँ गिनने पर दो जोड़ियों में एक मेल मिलता है। केवल A की ID अपेक्षित सूची से मेल खाती है। पहचाने गए उपसमूह में एक मामले में कोई मेल नहीं है और दो अपेक्षित मामलों में से एक शामिल है। ID के बिना पता नहीं चलता कि उन दो पंक्तियों में से कोई B की है या नहीं। इसलिए दोनों अपेक्षित मामलों का कुल स्कोर तय नहीं किया जा सकता। अगर जानबूझकर केवल किसी उपसमूह का स्कोर निकालते हैं, तो स्कोर के साथ उसका कवरेज भी बताएँ।

बेंचमार्क स्कोर की तुलना

दोहराए गए प्रयासों को निर्णय के संदर्भ में समझें

मान लें कि कोई टीम दो कार्यों का तीन-तीन बार परीक्षण करती है और हर प्रयास से पहले कार्य की शुरुआती स्थिति बहाल करती है। जाँच से ये काल्पनिक नतीजे मिलते हैं:

कार्यपहला प्रयासदूसरा प्रयासतीसरा प्रयास
Aपासफ़ेलपास
Bपासपासफ़ेल

छह में से चार प्रयास पास हुए। दोनों कार्य कम से कम एक बार पास हुए, पर कोई भी तीनों बार पास नहीं हुआ। ये सारांश अलग सवालों के जवाब देते हैं। कभी-कभी सही नतीजा मिलना तब उपयोगी हो सकता है जब सिस्टम कई संभावित आउटपुट की भरोसेमंद जाँच करके उनमें से एक चुन सके। अगर हर प्रयास को अपने दम पर काम करना है, तो बार-बार सफलता मायने रखती है। एक प्रयास की सफलता से बाकी प्रयास सुरक्षित या सही नहीं हो जाते।

अब मान लें कि अलग-थलग परीक्षण परिवेश में पुष्टि की गई बाहरी रुकावट के कारण सातवाँ प्रयास अंक मिलने से पहले रुक जाता है। जिन छह प्रयासों का मूल्यांकन हुआ, उनमें चार पास हुए। कुल सात प्रयासों में चार की सफलता की पुष्टि हुई। बिना मूल्यांकन वाला प्रयास न तो पुष्ट सफलता है, न एजेंट की पुष्ट विफलता। पहला अनुपात मूल्यांकित प्रयासों का सार बताता है। दूसरा सभी प्रयासों में पुष्ट सफलता दिखाता है। कार्य के अलग-अलग वज़न या मेट्रिक की अलग सेटिंग से रिपोर्ट किया गया नतीजा बदल सकता है।

ये आँकड़े केवल ऊपर की काल्पनिक जाँचों का वर्णन करते हैं और वास्तविक इस्तेमाल की सफलता दर नहीं बताते। कार्यों की संख्या, हर कार्य के प्रयासों की संख्या, इस्तेमाल की गई जाँच और बुनियादी ढाँचे की समस्या के कारण अमान्य हुए प्रयास दर्ज करें, जैसे अलग-थलग परिवेश बंद हो जाने पर। अमान्य प्रयासों को एजेंट की विफलताओं से अलग दर्ज करें और बताएँ कि हर सारांश में कौन-से प्रयास हैं। एक कार्य को दोहराने से उसी कार्य के नतीजों में फ़र्क दिखता है। अलग-अलग परिस्थितियों की भी जाँच करें। एजेंट के मूल्यांकन पर Anthropic की मार्गदर्शिका चर्चा करती है कि कम से कम एक सफलता और लगातार सफलता के माप अलग निर्णयों में कैसे मदद करते हैं।

स्कोर देने से पहले कार्यों का कवरेज बदल सकता है। हमारे GDPval संदर्भ कवरेज के विश्लेषण में कार्यों की 220 सार्वजनिक पंक्तियों में से 185 में विशेषज्ञ के बनाए किसी काम के नतीजे का कम से कम एक फ़ाइल पाथ है। इन पंक्तियों का उद्योग-क्षेत्रों का मिश्रण पूरी तालिका से अलग है। पाथ सूची में होने से यह साबित नहीं होता कि फ़ाइल तक पहुँचा जा सकता है या उसे दिखाया जा सकता है।

कार्रवाई से स्थिति बदलती हो तो परीक्षण परिवेश इस्तेमाल करें

अगर एजेंट रिकॉर्ड संपादित करता है, सॉफ़्टवेयर चलाता है या कई टूल इस्तेमाल करता है, तो उसे कार्रवाई करने की जगह चाहिए। दोबारा तैयार किया जा सकने वाला परिवेश शुरुआती स्थिति बहाल करने और रन के बाद नतीजा जाँचने देता है।

OpenEnv एजेंट के लिए अलग-थलग परिवेश बनाने का एक खुला फ़्रेमवर्क है। फ़्रेमवर्क चुनने से पहले तय करें कि काम क्या है, एजेंट क्या देख और कर सकता है, और सफलता कैसे जाँची जाएगी।

अलग कार्यों के लिए घोषित संसाधनों में फ़र्क का उदाहरण देखने के लिए Terminal-Bench के 66 कार्यों की संसाधन सेटिंग देखें।

पहले मूल्यांकन के लिए एक संक्षिप्त प्रारूप

कार्यप्रवाह, उसका एक प्रतिनिधि कार्य और सफल नतीजे की पहचान बताएँ। एजेंट के टूल, उसे मिलने वाली जानकारी और उन विफलताओं का उल्लेख करें जो रिलीज़ का निर्णय बदल देंगी। अगर उदाहरण पहले से हैं, तो उनका स्रोत और कवरेज बताएँ।

तय दायरे वाली परियोजना में इसके बाद कार्यों का समूह, परिवेश की ज़रूरतें, अंक देने का तरीका और नतीजों की समीक्षा तय की जा सकती है। अगर उदाहरण ही कम हैं, तो डेटा जुटाने से शुरुआत करें।

एजेंट के मूल्यांकन के बारे में हमें ईमेल करें