# लेबल की गलतियाँ ढूँढने के लिए नमूने की समीक्षा कैसे तय करें

नमूने का आकार चुनने से पहले तय करें कि समीक्षा से क्या फैसला लेना है। अगर बैच में तय संख्या में गलत लेबल हैं, तो कितना जोखिम मंज़ूर है कि समीक्षा में एक भी न मिले? यह इस पर निर्भर करता है कि पंक्तियाँ कैसे चुनते हैं, समीक्षक कौन-सी गलतियाँ देख सकते हैं और काम कैसे बाँटते हैं।

ये उदाहरण डेटासेट मूल्यांकन की गाइड के काल्पनिक बैच को आगे बढ़ाते हैं। उसमें 120 पंक्तियाँ और छह गलत लेबल हैं। हर उदाहरण समीक्षा की योजना के एक अलग हिस्से को देखता है।

## पंक्तियाँ चुनने के तरीके से जोखिम निकालें

पहले मानें कि जाँची गई पंक्तियों में हर गलती मिल जाती है। अगर 20 अलग-अलग पंक्तियों के हर संभव नमूने को चुनने का बराबर मौका हो, तो लगभग 32.63% बार सभी छह गलतियाँ छूट जाती हैं। अगर किसी यादृच्छिक जगह से शुरू करके हर छठी पंक्ति चुनें, और लगातार छह-छह पंक्तियों के समूहों में गलतियाँ एक ही जगह हों, तो छह शुरुआती जगहों में से सिर्फ़ एक से गलतियाँ मिलेंगी। इस व्यवस्था में सबके छूटने का जोखिम 83.33% है।

छह पंक्तियों के हर समूह से स्वतंत्र रूप से एक पंक्ति चुनने पर इस व्यवस्था में जोखिम 33.49% रह जाता है। छह गलतियाँ कहीं भी हों, इस तरीके में जोखिम इससे अधिक नहीं होता। बार-बार दोहराए जाने वाले इस उदाहरण में, जोखिम 5% से कम तभी होता है जब सभी छह अलग शुरुआती जगहों से चुनी गई पंक्तियाँ देखें। बराबर संभावना वाले नमूने में, अगर जाँची गई हर गलती मिलती है तो 47 पंक्तियों पर यह सीमा पार होती है।

## पंक्तियों के चुनाव और गलतियाँ ढूँढने की क्षमता को अलग देखें

बराबर संभावना से चुनी गई 47 पंक्तियों में एक भी वास्तविक गलती न मिलने की संभावना 4.66% है, अगर जाँची गई हर गलती मिल जाए। नमूने की हर गलती 80% संभावना से और बाकी गलतियों से स्वतंत्र रूप से मिल सकती है तो जोखिम 10.06% है। इस स्वतंत्रता की मान्यता पर 59 पंक्तियों में पहली बार जोखिम 5% से कम होता है।

47 पंक्तियों पर हर गलती के लिए वही 80% संभावना होने पर भी सबके छूटने का जोखिम 8.96% से 23.73% तक हो सकता है। यह इस पर निर्भर है कि कौन-सी गलतियाँ एक साथ मिल सकती हैं। गणना मानती है कि बराबर संभावना से पंक्तियाँ चुनने का इस बात से संबंध नहीं है कि समीक्षा किन गलतियों को देख सकती है। सबसे खराब स्थिति में समीक्षा 80% बार सभी छह गलतियाँ देख सकती है और बाकी 20% बार एक भी नहीं। हर पंक्ति एक बार देखने पर भी कुछ न मिलने की संभावना 20% रहती है। जिन जाँचों में गलतियाँ पहले से पता हैं, दर्ज करें कि हर तुलनीय समीक्षा में कौन-सी गलतियाँ साथ मिलीं।

## अलग-अलग पंक्तियाँ और गलतियाँ ढूँढने के स्वतंत्र मौके गिनें

मान लें कि पंक्तियाँ देखने के कुल 60 मौके हैं। इस उदाहरण में हर समीक्षक 80% बार अपनी सौंपी हुई सभी गलतियाँ देख सकता है और बाकी बार एक भी नहीं। पंक्तियाँ बराबर संभावना से बाँटी जाती हैं और यह बँटवारा गलती दिखने या न दिखने से स्वतंत्र है।

| समीक्षा के काम का बँटवारा | अलग-अलग पंक्तियाँ | एक भी वास्तविक गलती न मिलने की संभावना |
| --- | --- | --- |
| एक समीक्षक 60 पंक्तियाँ देखता है | 60 | 21.10% |
| दो स्वतंत्र समीक्षक अलग समूह देखते हैं, हर समूह में 30 पंक्तियाँ हैं | 60 | 10.33% |
| जिन दो समीक्षकों को एक ही दौर में गलतियाँ दिख सकती हैं वे अलग समूह देखते हैं, हर समूह में 30 पंक्तियाँ हैं | 60 | 21.10% |
| दो स्वतंत्र समीक्षक दोनों वही 30 पंक्तियाँ देखते हैं | 30 | 20.36% |

नमूने की आईडी, चुनने का नियम, किसने कौन-सी पंक्ति देखी, और गलतियाँ मिलने की मान्यताएँ दर्ज करें। योजना के जोखिम की तुलना मंज़ूर सीमा से करें। कम से कम एक वास्तविक गलती ढूँढने वाली समीक्षा में झूठी चेतावनियों, मतभेद सुलझाने की गुणवत्ता और तय इस्तेमाल के लिए उपयुक्तता की जाँच अलग से करें।

[डेटासेट मूल्यांकन गाइड में नमूने का उदाहरण](https://sapien1.com/hi/dataset-evaluation#review-labels-and-coverage) · [Statistics Canada के नमूना चुनने के तरीके](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [ऐसी जाँच पर शोध जिसमें गलतियाँ छूट सकती हैं](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
