एआई के प्रशिक्षण और मूल्यांकन के लिए डेटा ढूँढना
पेज की भाषा: हिन्दी
मॉडल के काम, आपको किस सामग्री की ज़रूरत है और उसके अनुमत उपयोग का वर्णन करें. sapien1 संभावित स्रोतों की पहचान करने और आगे बढ़ने का फ़ैसला लेने के मानदंडों के साथ एक नमूने का दायरा तय करने में मदद कर सकता है. sapien1 को अपने प्रोजेक्ट के बारे में बताएँ
अपने एआई सिस्टम के काम के अनुकूल डेटा ढूँढें। sapien1 आपकी ज़रूरतें स्पष्ट करने, संभावित स्रोत ढूँढने और यह जाँचने में मदद करता है कि कोई डेटासेट प्रशिक्षण, मूल्यांकन या जानकारी खोजने के लिए उपयोगी है या नहीं।
शुरुआत उस क्षमता से करें जिसे आप बेहतर बनाना चाहते हैं। यह किसी दस्तावेज़ को समझना, काम का क्रम पूरा करना, किसी टूल का इस्तेमाल करना या किसी दृश्य को समझना हो सकता है। इसी चुनाव से तय होता है कि कौन-से उदाहरण, संदर्भ और गुणवत्ता जाँच चाहिए।
तय करें कि डेटा से क्या काम लेना है
एक ही संग्रह कई कामों में इस्तेमाल हो सकता है। प्रशिक्षण उदाहरण सिस्टम को कोई व्यवहार सिखाते हैं। मूल्यांकन के उदाहरण उस व्यवहार की जाँच करते हैं। जानकारी खोजने के लिए रखा गया डेटा सिस्टम को ऐसी सामग्री देता है जिसे वह सवाल का जवाब देते समय देख सके।
स्रोतों की तुलना करने से पहले बताएं कि आप डेटा का इस्तेमाल कैसे करेंगे। सहायता एजेंट को सिखाने के लिए एक उदाहरण में अनुरोध, उस पर लागू नीति और की गई कार्रवाई साथ रखी जा सकती है। मूल्यांकन के काम में यह जाँचने का साफ तरीका भी चाहिए कि निर्णय सही था या नहीं। जानकारी खोजने के लिए संग्रह में खुद नीतियाँ और यह तय करने लायक संदर्भ होना चाहिए कि नीति का कौन-सा संस्करण लागू है।
डेटा की ज़रूरतों के विवरण में क्या शामिल करें
| ज़रूरत | क्या बताएं |
|---|---|
| काम | मॉडल या एजेंट को क्या करना है और उसे अभी कहाँ कठिनाई होती है |
| कवरेज | प्रासंगिक क्षेत्र, भाषाएँ, इलाके, समयावधियाँ और मुश्किल मामले |
| डेटा का रूप | दस्तावेज़, कोड, रिकॉर्ड, ऑडियो, चित्र, वीडियो, टूल के इस्तेमाल के रिकॉर्ड या इनका मेल |
| संदर्भ | किसी उदाहरण को समझने के लिए ज़रूरी लेबल, समय की मुहरें, संबंध, निर्देश या नतीजे |
| इस्तेमाल का उद्देश्य | प्रशिक्षण, मूल्यांकन या जानकारी खोजना, और डेटा तक पहुँचने का तरीका |
| स्वीकृति | प्रोजेक्ट बढ़ाने से पहले उपयोगी नमूने से क्या साबित होना चाहिए |
शुरुआती विवरण में कुछ सवाल खुले रह सकते हैं। सिर्फ़ फ़ाइलों की संख्या तय करने के बजाय किसी ठोस काम और कुछ प्रतिनिधि उदाहरणों से शुरुआत करना आम तौर पर बेहतर रहता है।
प्रोजेक्ट बढ़ाने से पहले नमूने की जाँच करें
नमूने की समीक्षा से पता चल सकता है कि संदर्भ कहाँ गायब है, लेबल कहाँ एक जैसे नियमों से नहीं लगाए गए, कौन-से रिकॉर्ड दोहराए गए हैं और किन स्थितियों के लिए डेटा कम है। आपकी टीम प्रस्तावित फ़ॉर्मैट को अपने काम में आज़मा भी सकती है। नमूने की समीक्षा का एक उदाहरण हमारी एआई प्रशिक्षण डेटा खरीदने की गाइड में देखें।
तकनीकी जाँच के साथ डेटा का स्रोत और उसके अनुमत इस्तेमाल दर्ज करें। डेटासेट के विवरण से समझ आना चाहिए कि उसमें क्या है और उस पर कौन-सी सीमाएँ लागू होती हैं। दस्तावेज़ बनाने में Hugging Face की डेटासेट कार्ड संबंधी गाइड मदद कर सकती है।
डेटा के मालिक किसी संग्रह का विवरण कैसे दें और किन अनुमतियों की समीक्षा करें, इसके लिए अपनी कंपनी का डेटा लाइसेंस पर देने से पहले की तैयारियाँ पढ़ें।
अगर आप किसी डेटा संग्रह के मालिक हैं और उस पर बात करना चाहते हैं, तो अपने डेटा का विवरण दें।
sapien1 के साथ किसी प्रोजेक्ट में डेटा ढूँढने का दायरा, नमूने की समीक्षा, सौंपी जाने वाली चीज़ें और स्वीकृति के मानदंड मिलकर तय करें। अगला कदम किसी खास ज़रूरत के लिए डेटा जुटाना, पहले से मौजूद डेटा की जाँच या एजेंट के मूल्यांकन के लिए कामों का एक सेट तैयार करना हो सकता है।