Yapay zeka eğitim verisi nasıl satın alınır
Dil: Türkçe
Modelinizin ne öğrenmesi gerektiğini ve yararlı bir örneklemi nasıl değerlendireceğinizi anlatın. Bir koleksiyon için lisans alıp almamaya karar vermeden önce uygun kaynakları ve incelenecek kanıtları görüşebiliriz. Projenizi sapien1'e anlatın
Mevcut bir veri kümesini lisanslayabilir, doğrudan bir veri sahibiyle çalışabilir veya belirli bir görev için veri toplanmasını sağlayabilirsiniz. Taahhütte bulunmadan önce modelin ne öğrenmesi gerektiğini tanımlayın, bir örneği bu gereksinime göre test edin ve önerilen koşulların amaçlanan kullanımı kapsayıp kapsamadığını kontrol edin.
Sorulması gereken tek soru “Ne kadar veri var?” değildir. Kayıtların ekibinizin kullanabileceği örnekleri ve bağlamı içerip içermediği ve üzerinde anlaşılan lisansın ilgili kişileri, sistemleri ve amaçları kapsayıp kapsamadığı da önemlidir.
Veriyi nereden alacağınızı seçin
| Yöntem | Ne zaman değerlendirilmeli? | Önce ne sorulmalı? |
|---|---|---|
| Mevcut veri kümesi | Halihazırda mevcut olabilecek bir veri koleksiyonuna ihtiyacınız var. | Hangi sürüm, alanlar, dönem ve kullanım koşulları dahil? |
| Veri sahibiyle doğrudan anlaşma | İlgili kayıtlar veya içerikler tek bir kuruluşun elinde. | Önerilen kullanıma kim yetki verebilir ve hangi materyaller kapsam dahilinde? |
| Özel veri toplama veya hazırlama | Mevcut materyallerde önemli senaryolar, biçimler veya etiketler eksik. | Neler toplanacak veya hazırlanacak, kalite nasıl kontrol edilecek ve sonrasında neleri kullanabileceksiniz? |
| Herkese açık veri kümesi | Erişilebilir bir koleksiyon göreve uygun olabilir veya ilk karşılaştırma için kullanılabilir. | Belgelerinde kaynak, sınırlamalar ve izin verilen kullanım hakkında neler yazıyor? |
Örneğin Opendatabay veri kümesi ilanlarının yer aldığı bir pazar yeri sunarken Clickworker özel veri toplama ve etiketleme hizmetlerini açıklıyor. Bunlar araştırmaya başlamak için birer noktadır; ihtiyaç duyduğunuz belirli veriye ilişkin sunulan hizmeti ve koşulları kontrol edin.
Veri edinme rehberimiz, bir kaynakla görüşmeden önce görevin, kapsamın ve biçimin nasıl tanımlanacağını ele alıyor.
Her örnekte nelerin bulunacağına karar verin
Amaçlanan davranışı ve bunu değerlendirmek için gereken bilgileri yazın. Bir destek aracısına yönelik kayıtta müşterinin talebi, o sırada geçerli olan politika, yapılan işlem ve sonuç yer alabilir. Bir belge modeli içinse önemli alanlar sayfa görüntüleri, çıkarılan metin, sayfa düzeni ve doğrulanmış etiketler olabilir.
Bir belge örneği etiketli kutular içeriyorsa kutuların teslim edilen görüntülerle hizalandığını kontrol edin. Bazı biçimler konumları sayfa boyutlarının kesirleri, bazıları ise piksel cinsinden ifade eder. Sayfayı, görüntü sürümünü, birimleri, koordinat başlangıç noktasını ve yeniden boyutlandırma, kırpma veya döndürme işlemlerini doğrulayın; ardından hizalamayı kontrol etmek için örnek kutuları görüntünün üzerine yerleştirin. Etiketlerin doğru bölgeleri tanımlayıp tanımlamadığını da inceleyin.
Tam olarak hangi veri kümesi sürümünün sunulduğuna ilişkin bir açıklama isteyin: kaynağı, boyutu ve birimleri, kapsadığı dönem, biçimleri, etiketleri, bilinen kapsam dışı öğeleri ve işlem geçmişi. Hugging Face'in veri kümesi kartı rehberi, bir kartın içeriği, bağlamı ve lisans, dil ve boyut gibi meta verileri nasıl belgeleyebileceğini açıklıyor. Bu alanları, dayandıkları belgelerle birlikte incelenecek bilgiler olarak değerlendirin.
Bir örneği gereksinimlerinize göre test edin
Kapsamı genişletip genişletmemeye karar vermeden önce örnek ve yapılacak kontroller üzerinde anlaşın. Modelinizin karşılaşacağı olağan durumları ve görev açısından önemli olan zor vakaları dahil edin. Örneğin nasıl seçildiğini ve önerilen koleksiyonun hangi bölümlerini temsil ettiğini kaydedin.
18 Kasım 2026'da incelenen Origin Lab Pazar Yeri Koşulları, tanımladığı pazar yeri örneklerinin kullanımını kurum içi değerlendirmeyle sınırlar ve Origin Lab tarafından imzalanmış geçerli bir ticari anlaşmada açıkça aksi belirtilmedikçe bu örneklerin bir yapay zeka sistemini test etmek veya değerlendirmek için kullanılmasını yasaklar. Bu örnek kısıtlaması, ayrı olarak tanımlanan ve kendi koşullarına tabi olan Bench Materials için geçerli değildir. Örneği incelemeden, test etmeden, eğitimde kullanmadan veya paylaşmadan önce örneğe özgü koşulları ve ilgili anlaşmaları kontrol edin.
Sözcük zaman damgaları içeren bir konuşma örneği için hangi kaydın ve zaman biriminin kullanıldığını sorun. Zaman damgaları sessiz bölümleri çıkarılmış bir kopyaya aitse kaynak kayıt tanımlayıcısını ve korunan bölümlerin özgün zaman çizelgesindeki karşılıklarını gösteren bir eşleme isteyin. Kayıt içindeki bir kesmeden sonraki sözcüğü kontrol edin. Kaynağın 2–4. ve 7–9. saniyeleri arasındaki bölümlerini araya boşluk eklemeden birleştiren kurgusal bir örnekte, örnekteki 2,5. saniye kaynaktaki 7,5. saniyeye karşılık gelir. İlk bölümün iki saniyelik ofsetini eklemek ise çıkarılan boşluğun içindeki 4,5. saniyeyi verir. NeMo Curator zaman damgası eşlemesi
Teslim edilen veride, zaman damgaları bir birleştirme noktasını aşan sözcüklerin nasıl işaretlendiğini kontrol edin. Aynı kurgusal örnekte test edilen faster-whisper yardımcı işlevi, birleştirme noktasını aşan bir aralığın iki ucu için tek bir ofset seçti ve başlangıcını çıkarılan boşluğun içine yerleştirdi. Kullanımınız özgün kayıtta kesintisiz bir aralık gerektiriyorsa bu vakaları kabul etmeden önce nasıl işaretleyip inceleyeceğiniz konusunda anlaşın. faster-whisper zaman damgası geri yükleme · faster-whisper ofset hesaplama
Şu kurgusal örneği düşünün. Bir ekip, iade talebi için bir sonraki adımı öneren bir destek aracısına ince ayar yapmak istiyor. Bir tedarikçi, destek vakalarından oluşan bir koleksiyon öneriyor. Ekip, altısı olağan iade ve altısı istisna olmak üzere 12 tanısal örnek istiyor. Bu ilk inceleme için her örneğin müşteri talebini, geçerli olan politika sürümüne bir bağlantıyı ve kaydedilmiş sonucu içermesini şart koşuyor.
| Kontrol | Bu örnek için gereksinim | Örnek sonuç |
|---|---|---|
| Müşteri talebi | 12 örneğin tamamında mevcut | 12 örneğin 12'sinde mevcut |
| Geçerli politika sürümü | 12 örneğin tamamında bağlantı verilmiş | 12 örneğin 10'unda mevcut; iki istisna vakasında bağlantı eksik |
| Kaydedilmiş sonuç | 12 örneğin tamamında mevcut | 12 örneğin 11'inde mevcut; bir olağan vakada sonuç eksik |
Örnek, ekibin belirttiği kontrollerden ikisini geçemiyor. Bir sonraki adım, eksik politika bağlantılarının ve sonucun bulunup bulunamayacağını sormak ve düzeltilmiş bir örneği incelemek. Bunlar bulunamazsa ekip gereksinimini değiştirebilir veya başka bir kaynak arayabilir. Kaydedilmiş bir sonuç otomatik olarak doğru karar anlamına gelmez: Bir alan uzmanı da sonuçları geçerli politikayla karşılaştırmalıdır.
Bu sayılar yalnızca seçilen 12 vakayı açıklar. Koleksiyonun tamamındaki hata oranını tahmin etmez. Daha geniş kapsamı değerlendirmek için veri kümesinin ilgili senaryolara nasıl dağıldığını sorun ve belgelenmiş bir yöntemle seçilecek ek bir örnek üzerinde anlaşın. Google'ın veri kalitesi ve örnekleme rehberi, seçilmiş bir örneğin daha geniş bir topluluk hakkında neden yanıltıcı bir tablo sunabileceğini açıklıyor.
Bu 12 vakanın tamamının 2024 yılına ait olduğunu, ancak sunulan koleksiyonun 2022–2024 dönemini kapsadığını varsayın. Düzeltilmiş bir kopyayı kontrol etmek, bu vakalarda yapılan düzeltmeleri doğrulayabilir; koleksiyonun geri kalanının düzeltilip düzeltilmediğini göstermez. Düzeltmenin hangi veri kümesi sürümüne ve kayıtlara uygulandığını sorun, ardından satın almayı düşündüğünüz sürümden yeni bir örneğin nasıl seçileceği konusunda anlaşın. Yalnızca 2024 incelenebiliyorsa 2022–2023 dönemini değerlendirme dışında bırakın ve satın alma kapsamını daraltmaya mı yoksa daha geniş bir incelemeyi beklemeye mi karar vereceğinizi belirleyin.
İlk inceleme için gerçek kayıtlar paylaşılamıyorsa hassas bilgilerden arındırılmış bir örneğin veya kontrollü erişimin mümkün olup olmadığını sorun. Sentetik bir örnek biçimi gösterebilir, ancak gerçek koleksiyonun kalitesini veya kapsamını ortaya koyamaz.
Örneği almadan önce erişimin nasıl sınırlandırılacağı konusunda anlaşın: Belirli sütunları seçen bir sorgu, tek başına kaynak dosyanın geri kalanına erişimi kısıtlamaz. Bir Parquet alt bilgisi sütun istatistikleri de içerebilir. Gönderenin sınır dışına çıkarılan bilgileri sınırlaması gerekiyorsa onaylanmış alanlarla ayrıca hazırlanmış bir örneği veya alan düzeyinde erişimi uygulayan bir hizmeti değerlendirin. Döndürülen kayıtların yanı sıra meta verileri ve erişim kontrollerini de inceleyin.
Verileri nasıl kullanabileceğinizi kontrol edin
Anlaşmayı ve destekleyici belgeleri belirli veri kümesi ve projeyle eşleştirin. Tedarikçiyle ve hukuki inceleme ile satın alma incelemesinden sorumlu kişilerle görüşülecek sorular şunlardır:
- Hangi veri kümesi sürümü kapsam dahilinde ve tedarikçi önerilen kullanım için yetki vermeye yetkili mi?
- Gerektiğinde eğitim, ince ayar, değerlendirme veya geri getirme kullanımları dahil mi? Koşullar ticari kullanıma sunmayı ve modeller veya çıktılarla ilgili kısıtlamaları ele alıyor mu?
- Yükleniciler veya hizmet sağlayıcılar dahil olmak üzere verilere kimler erişebilir veya verileri kimler işleyebilir? Teslimat, saklama, muhafaza süresi ve silme koşulları nelerdir?
- İncelenmesi gereken kapsam dışı öğeler, kaynaklara ait haklar, üçüncü taraf materyalleri veya başka kısıtlamalar var mı? Tedarikçinin verilerin kökeni ve izinlerine ilişkin açıklamasını destekleyen hangi kanıtlar mevcut?
Nelerin doğrulandığını ve nelerin hâlâ incelenmesi gerektiğini ayrı ayrı not edin. Bir lisans etiketi veya veri kümesi kartı, beyan edilen kullanımı belirlemeye yardımcı olur; dayanak hakları tek başına doğrulamaz. Herkese açık metin, konuşma ve video veri kümeleri üzerine yapılan bir inceleme, veri kümesi düzeyindeki lisans açıklamalarıyla kaynak içeriklere ilişkin kısıtlamalar arasında farklılıklar buldu. Bulgular incelenen herkese açık veri kümeleriyle ilgilidir, tüm ticari koleksiyonlarla değil.
Örneğin, herkese açık araştırma veri kümesi SciFact için sabitlenmiş bir kart, veri kümesini CC BY-NC 2.0 olarak tanımlıyor ve deponun değişebilen master dalındaki bir lisans dosyasına bağlantı veriyor. Deponun bu lisansının sabitlenmiş bir anlık görüntüsünde ise iddialar ve kanıt etiketleri için CC BY 4.0, derlemdeki özetler için ODC-By 1.0 ve kod için Apache 2.0 ayrı ayrı belirtiliyor. Belgeler farklı sürümleri, bileşenleri veya dönüşümleri açıklıyor olabilir; belirli bir dosyanın koşullarını tek başlarına ortaya koymazlar. Teslim edilen dosyaları ve bunların kaynak bileşenlerini ilgili belgelerle eşleştirin ve çözümlenmemiş hak sorularını inceletin.
Değerlendirmeyi ve teslimatı planlayın
Verilerin nasıl teslim edilip kabul edileceğine karar verin: dosya biçimleri, bir manifest veya sürüm tanımlayıcısı, belgeler, örnek kontrolleri ve sorunların nasıl düzeltileceği. Veriler bir modeli değerlendirmek için de kullanılacaksa ayrı bir test kümesini eğitimden koruyun ve bölünmüş kümeler arasında yinelenen kayıtlar olup olmadığını kontrol edin. Google'ın veri kümesi bölme rehberi, yinelenen kayıtların bir testi olduğundan daha güçlü nasıl gösterebileceğini açıklıyor.
İnceleme süresinin ne zaman başladığını, bildirimin nasıl yapılacağını, sessiz kalmanın ne anlama geldiğini ve hangi çözüm yollarının geçerli olduğunu kontrol edin. Örneğin ai.market'in standart yapay zeka eğitim lisansının 1.0 sürümü, alıcıya ilandaki açıklamayla önemli bir uyumsuzluğu pazar yerine bildirmesi için ilk teslimattan sonra yedi takvim günü tanıyor. micro1'ın 12 Kasım 2026'da güncellenen ana koşulları ise lisans sahibi micro1'a, manifest uyarınca teslimatın tamamlanmasından sonra verileri yazılı olarak reddetmesi için 30 iş günü tanıyor. Tedarikçinin kalan verilerin teslim edilemeyeceğini kendisine yazılı olarak bildirmesi halinde ayrı bir süre başlangıcı geçerli. Bu belgeler farklı işlemler için geçerlidir ve başka koşullar ile istisnalar içerir. Siparişiniz için geçerli koşulları ve sürümü inceleyin.
Bir manifest, üzerinde anlaşılan veri kümesi sürümü için beklenen dosyaları ve sağlama toplamlarını listeleyebilir. Manifestin kaynağını nasıl doğrulayacağınız, dosya listesini gelenlerle nasıl karşılaştıracağınız ve eksik, beklenmeyen veya eşleşmeyen dosyaları nasıl araştıracağınız konusunda anlaşın. Örneğin kurgusal bir manifest iki dosya listeliyor ancak yalnızca biri geliyorsa o dosyanın sağlama toplamının eşleşmesi teslimatı tamamlanmış hale getirmez. BagIt belirtimi, bir paketleme biçimi için eksiksiz olma durumunu sağlama toplamı doğrulamasından ayırır. Sağlama toplamının eşleşmesi, bir dosya için hesaplanan özet değerin manifestteki değerle uyuştuğunu gösterir; gönderenin kimliğini, etiketlerin doğruluğunu, kapsamın temsil ediciliğini veya verileri kullanma haklarını tek başına ortaya koymaz. Bunları ayrıca inceleyin.
Tedarikçi bir sonraki sürümü gönderdiğinde yinelenen yapay zeka verisi teslimatlarının nasıl kabul edileceğine bakın.
Test kümesine veri sızıntısını ve eksik bağlamı kontrol etmeye ilişkin örnek bir uygulama için veri kümesi değerlendirme rehberimize bakın.
sapien1, ekiplerin veri gereksinimlerinin kapsamını belirlemesine, olası kaynakları saptamasına ve örnekleri değerlendirmesine yardımcı olur. Görevle, ihtiyaç duyduğunuz örneklerle ve bir örneğin desteklemesi gereken kararla başlayın. Görüşmeye hazırlanan veri sahipleri veri lisanslama hazırlık rehberimizi kullanabilir.