जाँचें कि एआई डेटासेट आपके काम के लिए उपयुक्त है या नहीं
भाषा: हिन्दी
अपना इच्छित उपयोग, एक स्कीमा और नमूने का विवरण साझा करें. हम कवरेज, गुणवत्ता और अनुमतियों की समीक्षा का दायरा तय कर सकते हैं. उसके निष्कर्ष बताएंगे कि साक्ष्य किन उपयोगों का समर्थन करते हैं. sapien1 को अपने प्रोजेक्ट के बारे में बताएँ
डेटासेट का मूल्यांकन बताता है कि आपके पास जो डेटा है, वह प्रशिक्षण, जानकारी खोजने या मूल्यांकन से जुड़े किसी खास फ़ैसले का आधार बन सकता है या नहीं। पहले तय करें कि काम क्या है। फिर उदाहरण, उनके संदर्भ और लेबल, कवरेज और डेटा को बाँटने का तरीका देखें।
मिसाल के लिए, टेस्ट सेट देखने में पूरा लग सकता है, जबकि उसमें ऐसे मामले हों जिन्हें मॉडल प्रशिक्षण के दौरान पहले ही देख चुका हो। जब टेस्ट का उद्देश्य नए मामलों पर प्रदर्शन का अनुमान लगाना हो, तब यह बात मायने रखती है। अच्छी समीक्षा में दर्ज होता है कि क्या जाँचा गया, क्या सुधारना है और बाकी साक्ष्य किन निष्कर्षों का आधार बन सकते हैं।
उस फ़ैसले से शुरू करें जो आपको लेना है
लिखें कि आप डेटासेट का इस्तेमाल किस लिए करना चाहते हैं। वही रिकॉर्ड एक काम में उपयोगी और दूसरे में अपर्याप्त हो सकते हैं।
| इस्तेमाल का उद्देश्य | एक सवाल जिसका जवाब चाहिए |
|---|---|
| प्रशिक्षण या फ़ाइन-ट्यूनिंग | क्या उदाहरण और लेबल ऐसा व्यवहार बताते हैं जिसे मॉडल को सीखना है? |
| मॉडल या एजेंट का मूल्यांकन | क्या अपेक्षित नतीजों को जाँचा जा सकता है, और क्या टेस्ट के मामले उस सामग्री से स्वतंत्र हैं जिससे सिस्टम को प्रशिक्षित या ट्यून किया गया था? |
| जानकारी खोजना | क्या सामग्री अद्यतन और समझने योग्य है, और क्या ज़रूरत पड़ने पर वह सिस्टम को उपलब्ध होगी? |
डेटासेट का संस्करण, स्रोत, तारीखों की सीमा, फ़ील्ड और ज्ञात पाबंदियाँ दर्ज करें। डेटासेट कार्ड में उसकी सामग्री, संदर्भ और मेटाडेटा दर्ज हो सकते हैं। कार्ड की तुलना असली फ़ाइलों और लागू इस्तेमाल की शर्तों से करें।
दस्तावेज़ जाँचने का एक उदाहरण lerobot/svla_so101_pickplace रिपॉज़िटरी का रिविज़न f641879 है, जिसे 17 नवंबर 2026 को देखा गया। उसके डेटासेट कार्ड में मेटाडेटा का एक उदाहरण है, जिसमें codebase_version v2.1 है और फ़ाइल पाथ एपिसोड के आधार पर बने हैं। उसी रिविज़न का वास्तविक मेटाडेटा codebase_version v3.0 और खंडों में रखी फ़ाइलों के पाथ दिखाता है। डेटा डायरेक्टरी में उसी पैटर्न के नाम वाली एक फ़ाइल है। कार्ड से लिए गए पाथ पर भरोसा करने से पहले उसी रिविज़न के मेटाडेटा और फ़ाइलें जाँचें जिसे आप इस्तेमाल करेंगे। इस तुलना से उदाहरणों की गुणवत्ता या प्रशिक्षण के लिए उनकी उपयुक्तता तय नहीं होती।
रोबोट की रिकॉर्डिंग मिलाने से पहले देखें कि क्रिया और अवस्था वाले चैनल क्या बताते हैं और कुछ तय स्टेप कितनी अवधि दर्शाते हैं। FineART और एक सिम्युलेटेड ALOHA डेटासेट, दोनों aloha और 14 अवयव वाले float32 क्रिया और अवस्था वेक्टर घोषित करते हैं। FineART में 30 फ़्रेम प्रति सेकंड और सिम्युलेटेड डेटासेट में 50 घोषित हैं। यदि बताई गई दर पर हर स्टेप एक फ़्रेम अंतराल आगे बढ़ता है, तो 15 स्टेप एक डेटासेट में 0.5 सेकंड और दूसरे में 0.3 सेकंड के होते हैं। दोनों स्रोतों की समय-खिड़कियों को बराबर मानने से पहले दर्ज समय और अपनी डेटा प्रक्रिया में स्टेप चुनने का तरीका जाँचें। FineART का मेटाडेटा · सिम्युलेटेड ALOHA का मेटाडेटा
एक उदाहरण से डेटा का बँटवारा और संदर्भ जाँचें
मान लें कि एक टीम, नई बातचीत सँभालने वाले एजेंट को जारी करने से पहले जाँचने के लिए ग्राहक सहायता के मौजूदा लेबल वाले डेटासेट का इस्तेमाल करना चाहती है। इसमें 120 उदाहरण हैं। 90 प्रशिक्षण सेट में हैं और 30 प्रस्तावित टेस्ट सेट में। हर उदाहरण में मामले की आईडी, बातचीत की आईडी, लागू नीति का संस्करण और अगली अपेक्षित कार्रवाई होनी चाहिए।
यह उदाहरण काल्पनिक है। टीम 30 टेस्ट मामलों को देखकर उनकी तुलना प्रशिक्षण सेट से करती है। उसे ये बातें पता चलती हैं।
| जाँच | नतीजा | इस फ़ैसले के लिए इसका मतलब |
|---|---|---|
| दोहराए गए मामले | चार टेस्ट मामले, प्रशिक्षण सेट के मामलों की हूबहू प्रतियाँ हैं। | वे चार मामले पहले से प्रशिक्षण डेटा में हैं। |
| दोनों सेट में मौजूद बातचीत | तीन अन्य टेस्ट मामलों की आईडी अलग हैं, लेकिन उनकी बातचीत प्रशिक्षण सेट में मौजूद है। | नई बातचीत के लिए बने टेस्ट में ये दोनों सेट के बीच तीन और मेल हैं। |
| नीति का संदर्भ | बाकी 23 टेस्ट मामलों में से दो में नीति के संस्करण का लिंक नहीं है। | दर्ज संदर्भ की मदद से समीक्षक अभी अपेक्षित कार्रवाइयों को लागू नीति से मिलाकर जाँच नहीं सकता। |
पहली दो जाँचों में सात अलग-अलग टेस्ट मामले चिह्नित होते हैं। ऐसे मेल के बिना 23 मामले बचते हैं। उनमें से दो में नीति का संदर्भ नहीं है, इसलिए 21 टेस्ट मामले ऐसे बचे जिन्हें इन जाँचों ने चिह्नित नहीं किया। इस संख्या से यह तय नहीं होता कि लेबल सही हैं, कवरेज पर्याप्त है या रिलीज़ का फ़ैसला लेने के लिए 21 मामले काफ़ी हैं।
टीम को नई बातचीत के लिए स्वतंत्र रिलीज़ जाँच के रूप में मौजूदा टेस्ट सेट का इस्तेमाल रोक देना चाहिए। चिह्नित मामलों को समीक्षा के लिए अलग करें और गायब संदर्भ वापस पाएँ या समस्या हल करें। पता करें कि मॉडल और विकास टीम किन मामलों को पहले देख चुके हैं। केवल फ़ाइलों को दोबारा बाँटने से उनका पिछला इस्तेमाल मिटता नहीं है। नया बँटवारा करते समय पूरी बातचीत को एक ही सेट में रखें और टेस्ट मामलों का मिलान प्रशिक्षण और मॉडल चुनने में इस्तेमाल हुए दर्ज डेटा से करें। यदि पुराने प्रशिक्षण डेटा की उत्पत्ति नहीं जाँची जा सकती, तो इस सीमा को दर्ज करें। यदि मौजूदा नतीजों का असर ट्यूनिंग पर पड़ा है, तो ऐसे नए मामले अलग रखें जिनका इस्तेमाल उन फ़ैसलों में नहीं हुआ था। ज़रूरत हो तो प्रशिक्षण और टेस्ट डेटा अलग रखते हुए मॉडल को दोबारा प्रशिक्षित करें।
डेटासेट बाँटने पर Google का मार्गदर्शन बताता है कि प्रशिक्षण और टेस्ट में दोहराए गए उदाहरण नतीजों को नए उदाहरणों पर वास्तविक प्रदर्शन से बेहतर दिखा सकते हैं। समूह आधारित क्रॉस-वैलिडेशन पर scikit-learn का मार्गदर्शन समझाता है कि नए समूहों पर प्रदर्शन जाँचने के लिए एक समूह के जुड़े हुए प्रेक्षणों को साथ कैसे रखें। कौन-सा समूह मायने रखता है, यह सवाल पर निर्भर है। वह एक बातचीत, ग्राहक या दस्तावेज़ हो सकता है। अगर इमेज कैप्शन का टेस्ट उन चित्रों पर होना है जो प्रशिक्षण सेट में नहीं हैं, तो हर चित्र के सभी कैप्शन एक साथ रखें। कैप्शन की पंक्तियाँ अलग-अलग बाँटने पर वही चित्र प्रशिक्षण और टेस्ट, दोनों में पहुँच सकता है। भविष्य की स्थिति जाँचने वाले टेस्ट के लिए समय के हिसाब से बँटवारा करें, ताकि प्रशिक्षण डेटा में टेस्ट की अवधि के बाद के प्रेक्षण शामिल न हों।
मान लें कि टीम एक तय समय-सीमा के बाद शुरू हुई नई बातचीत को भी जाँचना चाहती है। नए बँटवारे में बातचीत A के रिकॉर्ड सीमा के दोनों ओर हैं। बातचीत B का पहला दर्ज मामला सीमा के बाद आता है। एक तरीका है A को दोनों सेट से बाहर रखना और B को टेस्ट के लिए रखना, बशर्ते B के रिकॉर्ड पहले प्रशिक्षण या मॉडल चुनने में इस्तेमाल न हुए हों। प्रशिक्षण सेट में सीमा से पहले का डेटा रखें और पूरे टेस्ट सेट के पुराने इस्तेमाल की जाँच करें। दर्ज करें कि क्या बाहर रखा गया और देखें कि बाकी मामलों से तय इस्तेमाल कवर होता है या नहीं। जारी बातचीत का मूल्यांकन समय का क्रम बनाए रखने वाले अलग टेस्ट से किया जा सकता है। अधूरे इतिहास में यह पक्का करना संभव नहीं भी हो सकता कि B नई है।
यह मानने से पहले कि जिस अनुपात का उल्लेख नहीं है वह अलग जाँच के लिए बचा रहेगा, देखें कि डेटा बाँटने वाला टूल वास्तव में क्या तय करता है। उदाहरण के लिए, रिविज़न 7910c20 में LeRobot का अनुपात से बाँटने वाला फ़ंक्शन train: 0.6 और उसके बाद test: 0.2 दिए जाने पर एक काल्पनिक सेट के सभी 50 एपिसोड बाँट देता है। 30 प्रशिक्षण के लिए और 20 टेस्ट के लिए जाते हैं, एक भी बिना आवंटन के नहीं बचता। दूसरे टूल या संस्करण अलग तरह से काम कर सकते हैं। छोटे सेटों में संख्या को पूर्णांक में बदलना या एपिसोड दोबारा बाँटना पड़ सकता है। जाँचें कि वास्तव में कौन-से एपिसोड किस सेट में गए। समूहों को साथ रखना ज़रूरी हो, तो ऐसे एपिसोड की सूचियाँ चुनें और दर्ज करें जो समूहों को न बाँटें।
LeRobot पर शोध नोट बताता है कि नए Diffusion प्रोसेसर को पहले से सहेजे गए नॉर्मलाइज़ेशन के आँकड़े कैसे मिल सकते हैं। वह आँकड़ों की सीमाओं की तुलना ऐसे काल्पनिक बँटवारे में प्रशिक्षण एपिसोड के सार से करता है, जिसमें कुछ डेटा अलग रखा गया है। जाँचें कि आपका प्रोसेसर कौन-से आँकड़े लोड करता है, वे कहाँ से आए और किस डेटा पर आधारित हैं।
लेबल और कवरेज की समीक्षा करें
लेबल लगे डेटा में कुछ अपेक्षित जवाब चुनकर उनकी तुलना उन निर्देशों और साक्ष्यों से करें जिनके आधार पर वे बनाए गए थे। विषय का जानकार समीक्षक गायब संदर्भ, असंगत लेबल और ऐसे मामले जाँच सकता है जहाँ सही जवाब वाकई अस्पष्ट है। असहमतियाँ और उन्हें सुलझाने के तरीके दर्ज करें। समीक्षकों की सहमति उपयोगी है। लेबल की शुद्धता साक्ष्य से जाँचें। एनोटेशन की गुणवत्ता के प्रबंधन पर शोध समीक्षा, सहमति और मतभेदों पर फ़ैसले को प्रक्रिया के अलग हिस्से मानता है।
संख्या वाले क्लास लेबल के लिए आईडी से क्लास के नाम और परिभाषा की मैपिंग चाहिए। अलग-अलग संस्करणों और सेट के हिस्सों की परिभाषाओं और आईडी की तुलना करें। उन्हें मॉडल की अपेक्षित मैपिंग से भी मिलाएँ। आईडी मैपिंग में बदलाव और गायब या मिलाई गई क्लास सँभालने का तरीका दर्ज करें। Ultralytics Platform की डेटासेट गाइड बताती है कि क्लास मिलाने या हटाने पर बाद की आईडी खिसक सकती हैं। इससे पुराने एक्सपोर्ट नई क्लास सूची से मेल खाना बंद कर सकते हैं। अपनी एक्सपोर्ट फ़ाइलों और डेटा प्रक्रिया में मैपिंग की पुष्टि करें।
देखें कि डेटासेट में तय इस्तेमाल से जुड़ी स्थितियाँ शामिल हैं या नहीं, जैसे आम अनुरोध, अहम अपवाद, भाषाएँ, समयावधियाँ या दूसरे प्रासंगिक समूह। किसी समूह के उदाहरण कम हों तो उसके लिए और डेटा या अलग विश्लेषण चाहिए हो सकता है। हर समूह के लिए उदाहरणों की ज़रूरी संख्या अलग हो सकती है।
दर्ज करें कि समीक्षा के उदाहरण कैसे चुने गए। हाथ से चुना गया सेट समस्या सामने ला सकता है, लेकिन उसकी त्रुटि दर को पूरे डेटासेट की त्रुटि दर न मानें। सैंपल चुनने पर Google का मार्गदर्शन बताता है कि चुनाव का तरीका बड़ी आबादी के बारे में निष्कर्षों को कैसे बिगाड़ सकता है।
यादृच्छिक सैंपल में भी त्रुटियाँ छूट सकती हैं। मान लें कि एक अलग काल्पनिक बैच में 120 रिकॉर्ड हैं और छह के लेबल ग़लत हैं। यदि आप समान संभावना से 20 अलग रिकॉर्ड यादृच्छिक तरीके से चुनें और किसी चुने रिकॉर्ड को फिर से चयन में न रखें, तो लगभग 33% बार सैंपल में उन छह में से कोई रिकॉर्ड नहीं आएगा। 47 रिकॉर्ड चुनने पर सभी छह के छूटने की संभावना 5% से कम हो जाती है, बशर्ते समीक्षक चुने गए रिकॉर्ड में हर ग़लत लेबल पहचान लें। योजना बनाने का यह उदाहरण छह त्रुटियाँ मानकर चलता है। किसी सैंपल में ग़लती न मिलने से यह तय नहीं होता कि ठीक छह त्रुटियाँ हैं या बाकी रिकॉर्ड ग़लती से मुक्त हैं। सैंपल का आकार उस त्रुटि दर और उसके छूटने की उस संभावना के आधार पर चुनें जो आपके फ़ैसले के लिए अहम है। दर्ज करें कि उदाहरण कैसे चुने और जाँचे गए। सैंपलिंग पर NIST की शुरुआती गाइड चयन और सैंपल के आकार पर चर्चा करती है। एनोटेशन की गुणवत्ता पर शोध सांख्यिकीय तरीकों से गुणवत्ता का अनुमान लगाने और स्वीकृति के लिए सैंपल जाँच को समझाता है।
भाषाओं के बीच पठन परीक्षा के अंकों की तुलना
तय करें कि क्या बदलना है
समीक्षा के नतीजों को ऐसे कदमों में बदलें जिन्हें टीम उठा सके।
- सुधारें। गायब संदर्भ वापस पाएँ, पुष्ट त्रुटियाँ ठीक करें या लेबल लगाने के निर्देश अपडेट करें। फिर प्रभावित रिकॉर्ड दोबारा जाँचें।
- सीमित करें। डेटासेट को उन्हीं कामों या उपसमूहों के लिए इस्तेमाल करें जिनका वह आधार बन सकता है। ज्ञात कमियाँ दर्ज करें।
- इस्तेमाल रोकें। अहम समस्या हल होने तक डेटासेट को तय प्रशिक्षण या रिलीज़ के फ़ैसले में शामिल न करें।
- डेटा जोड़ें। छूटी हुई स्थितियों के उदाहरण जुटाएँ या ढूँढें। या नया टेस्ट सेट बनाएँ जिसका इस्तेमाल प्रशिक्षण या ट्यूनिंग में पहले न हुआ हो।
मूल और संशोधित संस्करणों की पहचान बनी रहनी चाहिए। जाँच, चयन का तरीका, नतीजे, समीक्षकों के फ़ैसले और खुले सवाल दर्ज करें, ताकि दूसरी टीम समझ सके कि क्या बदला और क्यों।
दोबारा लिखे गए Parquet डेटासेट की पुष्टि करें
जब डिलीवर किया गया Parquet डेटा दोबारा लिखा जाए, तो तय करें कि आपके काम के लिए नई फ़ाइलों में कौन-से गुण बने रहने चाहिए। मूल और संशोधित फ़ाइलों के संस्करण दर्ज करें। उसी रीडर से जाँच चलाएँ जिसे टीम आगे की प्रक्रिया में इस्तेमाल करती है। नीचे के उदाहरणों का डेटा काल्पनिक है।
- स्रोत के फ़ील्ड। अगर गायब फ़ील्ड और साफ़ तौर पर दर्ज null में फ़र्क करना ज़रूरी है, तो हर मूल फ़ाइल की स्कीमा सहेजें। DuckDB 1.4.4 के उदाहरण में, फ़ील्ड छोड़ने वाला स्रोत बदलने पर भी एक जैसी मर्ज की हुई फ़ाइलें बनीं, जबकि स्रोत के नाम बने रहे। मूल स्कीमा ने दोनों बदलाव दिखाए। DuckDB में स्कीमा मिलाना
- मामले और लेबल की जोड़ियाँ। जाँचें कि मामलों की आईडी मौजूद और अलग-अलग हैं। अपेक्षित सूची से उनका मिलान करें और आईडी के आधार पर लेबल जाँचें। आठ पंक्तियों वाले उदाहरण में दो बार फिर से लिखने पर फ़ुटर मेटाडेटा और हर लेबल की गिनती बराबर रही। एक बार में दो लेबल दूसरे मामलों में चले गए। दूसरी बार पंक्तियों का पूरा क्रम बदला, लेकिन हर जोड़ी बनी रही। Parquet फ़ाइल का ढाँचा
- डिकोड की गई संख्याएँ। लॉजिकल टाइप जाँचें और पढ़े जाने वाले संख्यात्मक मानों की तुलना करें। दशमलव के उदाहरण में स्केल 2 से 3 करने पर 12.34 बदलकर 1.234 हो गया, जबकि सहेजे गए पूर्णांक और कॉलम खंड के बाइट वही रहे। Parquet का दशमलव विनिर्देश
- स्थानीय तारीखें। जब रिपोर्ट घटनाओं को स्थानीय दिन के हिसाब से समूहित करती है, तो तय टाइम ज़ोन में हर घटना की तारीख की तुलना करें। PyArrow 26.0.1 में Arrow स्कीमा मेटाडेटा के बिना डेटा दोबारा लिखने पर दो घटनाओं का मूल समय बना रहा। UTC में पढ़ने पर दोनों की तारीख 1 जुलाई थी। तय न्यूयॉर्क टाइम ज़ोन में पढ़ने पर एक फिर 30 जून और दूसरी 1 जुलाई को आई। PyArrow में लिखने के विकल्प
हर जाँच तय किए गए गुण पर आधारित होनी चाहिए। यदि क्रम बदल सकता है, तो जोड़ियाँ कायम रखने वाला क्रम बदलना मामले और लेबल की जाँच में स्वीकार्य है। यदि समझौते के तहत हर स्रोत में फ़ील्ड की मौजूदगी की जाँच ज़रूरी हो और मूल स्कीमा उपलब्ध न हो, तो साक्ष्य मिलने तक वह जाँच रोकें।
COCO डेटा रूपांतरण की जाँच करें
ऑब्जेक्ट डिटेक्शन के COCO डेटासेट का रूपांतरण करते समय मूल और एक्सपोर्ट की गई इमेज मैप की तुलना करें। जाँचें कि एक्सपोर्ट में हर स्रोत इमेज की एक अलग संख्यात्मक आईडी है और एनोटेशन व प्रेडिक्शन अब भी सही इमेज का संदर्भ देते हैं। पहले से सहेजी आईडी मैपिंग कॉन्फ़िगर होने पर, जाँचा गया FiftyOne एक्सपोर्टर 01 और 1 को उसी पूर्णांक में बदलता है। जाँचा गया COCO इंडेक्स उस आईडी की आख़िरी इमेज पंक्ति रखता है और एनोटेशन उसी आईडी के नीचे समूहित करता है। स्कोर निकालने से पहले डुप्लिकेट आईडी ठीक करें। FiftyOne एक्सपोर्टर · COCO इंडेक्स
हो सके तो मूल आईडी रखें। अगर आईडी बदलना ज़रूरी है, तो उनका सापेक्ष संख्यात्मक क्रम बनाए रखें और मूल व बदले हुए डेटा पर average precision (AP) दोबारा निकालें। मूल्यांकन टूल के उसी रिविज़न और सेटिंग का इस्तेमाल करें। प्रेडिक्शन स्कोर राउंड न करें और हर रन में प्रेडिक्शन को संबंधित इमेज से जोड़ें। दो डिटेक्शन वाली एक छोटी जाँच करें। दोनों एक ही श्रेणी में हों, अलग इमेज पर हों और उनके कॉन्फ़िडेंस स्कोर बराबर हों। एक डिटेक्शन संदर्भ एनोटेशन से मेल खाए और दूसरा फ़ॉल्स पॉज़िटिव हो। जाँचा गया COCO मूल्यांकन टूल आईडी को क्रम में लगाता है। अलग इमेज पर डिटेक्शन स्कोर बराबर होने पर वह वही क्रम बनाए रखता है। इसलिए आईडी को नए नंबर देने से AP बदल सकता है, भले ही डिटेक्शन के मेल वही रहें। दोनों संस्करणों की तुलना करने से पहले स्कोर में हर अंतर सुलझाएँ। COCO में इमेज का क्रम · COCO में स्कोर का समेकन
संबंधित मार्गदर्शिकाएँ
sapien1 टीमों को डेटासेट जाँचने और एआई सिस्टम के तय काम के मुताबिक मूल्यांकन की योजना बनाने में मदद करता है। डेटा की समीक्षा के बाद अगले कदम के लिए हमारी एजेंट मूल्यांकन गाइड देखें। अगर समीक्षा में डेटा की कमी दिखे, तो डेटा के स्रोत ढूँढने की गाइड आपको तय करने में मदद करेगी कि क्या खोजना है।