Yapay zekâ veri kümesinin yapılacak işe uygunluğunu değerlendirin
Dil: Türkçe
Amaçladığınız kullanımı, bir şemayı ve örneklemin açıklamasını paylaşın. Kapsam, kalite ve izinlere ilişkin bir incelemenin kapsamını, kanıtların hangi kullanımları desteklediğini açıklayan bulgularla birlikte belirleyebiliriz. Projenizi sapien1'e anlatın
Veri kümesi değerlendirmesi, elinizdeki verilerin eğitim, bilgi getirme veya değerlendirme konusunda belirli bir kararı destekleyip desteklemediğini inceler. Amaçlanan görevden başlayın. Ardından örnekleri, bunların bağlamını ve etiketlerini, kapsamı ve verinin nasıl bölündüğünü inceleyin.
Örneğin test kümesi eksiksiz göründüğü hâlde modelin eğitim sırasında gördüğü vakaları içerebilir. Testin amacı yeni vakalardaki performansı tahmin etmekse bu önemlidir. Yararlı bir inceleme, nelerin kontrol edildiğini, nelerin düzeltilmesi gerektiğini ve kalan kanıtların hangi sonuçları desteklediğini ortaya koyar.
Vereceğiniz karardan başlayın
Veri kümesini hangi amaçla kullanacağınızı yazın. Aynı kayıtlar bir amaç için yararlı, bir başkası için yetersiz olabilir.
| Kullanım amacı | Yanıtlanması gereken soru |
|---|---|
| Eğitim veya ince ayar | Örnekler ve etiketler, modelin öğrenmesi gereken davranışı tanımlıyor mu? |
| Model veya ajan değerlendirmesi | Beklenen sonuçlar doğrulanabilir mi ve test vakaları sistemi eğitmek veya ayarlamak için kullanılan malzemeden bağımsız mı? |
| Bilgi getirme | İçerik güncel ve anlaşılır mı, gerekli olduğunda sistem tarafından erişilebilir mi? |
Veri kümesinin sürümünü, kaynağını, tarih aralığını, alanlarını ve bilinen kısıtlamalarını kaydedin. Veri kümesi kartı içeriği, bağlamı ve üst verileri belgeleyebilir. Kartı gerçek dosyalar ve ilgili kullanım koşullarıyla karşılaştırın.
Belge kontrolüne somut bir örnek olarak 17 Kasım 2026 tarihinde incelenen lerobot/svla_so101_pickplace deposunun f641879 revizyonuna bakın. Veri kümesi kartında codebase_version ayarı v2.1 olan, bölüm bazlı dosya yolları içeren bir üst veri örneği bulunur. Aynı revizyondaki gerçek üst verilerde codebase_version değeri v3.0 olarak belirtilir ve parçalı dosyaların yolları yer alır. Veri dizininde bu kalıba uyan bir dosya bulunur. Karttan kopyalanan bir yola güvenmeden önce kullanacağınız depo revizyonunun üst verilerini ve dosyalarını kontrol edin. Bu karşılaştırma, örneklerin kalitesini veya eğitime uygunluğunu belirlemez.
Robot kayıtlarını birleştirmeden önce eylem ve durum kanallarının ne anlama geldiğini ve sabit sayıda adımın ne kadar süreyi temsil ettiğini kontrol edin. FineART ve simülasyonla üretilen ALOHA veri kümesi, aloha ile 14 öğeli float32 eylem ve durum vektörleri bildirir. FineART saniyede 30 kare, simülasyon veri kümesi ise 50 kare bildirir. Belirtilen hızda her adım bir kare aralığına karşılık geliyorsa, 15 adım bir veri kümesinde 0,5 saniye, diğerinde 0,3 saniye sürer. İki kaynaktan alınan pencereleri eşdeğer kabul etmeden önce kayıtlı zamanlamayı ve işlem hattınızın adımları nasıl seçtiğini kontrol edin. FineART üst verileri · Simülasyonla üretilen ALOHA üst verileri
Veri bölümlerini ve bağlamı bir örnekle kontrol edin
Bir ekibin, yeni konuşmaları ele alan bir ajanı yayımlamadan önce kontrol etmek için mevcut etiketli destek veri kümesini kullanmak istediğini varsayalım. Kümede 120 örnek vardır. Bunların 90’ı eğitim kümesinde, 30’u önerilen test kümesindedir. Her örnek, vaka kimliğini, konuşma kimliğini, geçerli politika sürümünü ve beklenen bir sonraki eylemi içermelidir.
Bu örnek kurgusaldır. Ekip 30 test vakasını inceleyip eğitim kümesiyle karşılaştırır. Bulgular şöyledir.
| Kontrol | Bulgu | Karar açısından anlamı |
|---|---|---|
| Tekrarlanan vakalar | Dört test vakasının eğitim kümesindeki vakaların kopyası olduğu doğrulandı. | Bu dört vaka eğitim verilerinde zaten yer alıyor. |
| Ortak konuşmalar | Diğer üç test vakasının vaka kimlikleri farklı, ancak eğitim kümesinde bulunan konuşmalara aitler. | Bunlar, yeni konuşmaları kapsaması gereken bir testte bölümler arası ek eşleşmelerdir. |
| Politika bağlamı | Kalan 23 test vakasının ikisinde politika sürümüne bağlantı yok. | İnceleyen kişi kayıtlı bağlamla beklenen eylemleri ilgili politikaya göre henüz doğrulayamaz. |
İlk iki kontrol yedi ayrı test vakasını işaretler. Geriye bu eşleşmeleri taşımayan 23 vaka kalır. Bu 23 vakanın ikisinde politika bağlamı eksiktir. Böylece bu kontrollerin işaretlemediği 21 test vakası kalır. Bu sayı, etiketlerin doğru olduğunu, kapsamın yeterli olduğunu veya yayımlama kararı için 21 vakanın yeterli olduğunu göstermez.
Ekip, mevcut kümeyi yeni konuşmalar için bağımsız bir yayımlama kontrolü olarak kullanmayı ertelemelidir. İşaretlenen vakaları inceleme için ayırın ve eksik bağlamı geri kazanın veya ilgili sorunu giderin. Modelin ve geliştirme ekibinin daha önce hangi vakaları gördüğünü kontrol edin. Dosyaların yerini değiştirmek önceki kullanımı ortadan kaldırmaz. Yeni bölümlemede her konuşmayı tek bir bölümde tutun ve test vakalarını kayıtlı eğitim ve model seçimi verileriyle karşılaştırın. Önceki eğitim verilerinin kaynağı doğrulanamıyorsa bu sınırlamayı kaydedin. Mevcut sonuçlar ayarlamaları etkilediyse bu kararlarda kullanılmamış yeni vakalar ayırın. Gerekirse ayrı tutulmuş verilerle yeniden eğitim yapın.
Google’ın veri kümesi bölümleme kılavuzu, eğitim ve testteki yinelenen örneklerin sonuçları yeni örneklerdeki gerçek performanstan daha iyi gösterebileceğini açıklar. scikit-learn’ün gruplu çapraz doğrulama kılavuzu, görülmemiş gruplardaki performansı değerlendirirken birbiriyle ilişkili gözlemleri aynı grupta nasıl bir arada tutacağınızı anlatır. İlgili grup soruya göre bir konuşma, müşteri veya belge olabilir. Görsel açıklama testi, eğitim bölümünde bulunmayan görüntüleri kullanacaksa her görüntüye ait tüm açıklamaları birlikte tutun. Açıklama satırlarını ayrı ayrı bölmek aynı görüntüyü hem eğitime hem teste sokabilir. Gelecekteki verilere yönelik bir test için zamana duyarlı bölümleme kullanın. Böylece eğitim verisine test dönemi sonrasındaki gözlemler girmez.
Ekibin ayrıca belirli bir tarihten sonraki yeni konuşmaları sınamak istediğini varsayalım. Yeni bölümlemede A konuşmasının sınırın iki tarafında da kayıtları vardır. B konuşmasına ait ilk kayıt, sınır tarihinden sonradır. B’nin kayıtları daha önce eğitimde veya model seçiminde kullanılmadıysa A’yı her iki kümenin dışında bırakıp B’yi test için ayırabilirsiniz. Eğitim verilerini sınır tarihinden önceki dönemle kısıtlayın ve tüm test kümesini önceki kullanım açısından kontrol edin. Hariç tutulanları kaydedin ve kalan vakaların amaçlanan kullanımı kapsayıp kapsamadığını inceleyin. Devam eden konuşmalar için zaman sırasını koruyan ayrı bir test kullanılabilir. Eldeki geçmiş eksikse B’nin yeni olduğunu doğrulamak mümkün olmayabilir.
Belirtilmemiş bir oranın ayrı bir değerlendirme kümesi olarak kalacağını varsaymadan önce bölümleme aracının gerçek atamalarını kontrol edin. Örneğin 7910c20 revizyonundaki LeRobot oranla bölümleme işlevi, önce train: 0.6 ve ardından test: 0.2 verildiğinde kurgusal kümedeki 50 bölümün tamamını atar. Eğitime 30, teste 20 bölüm gider ve atanmamış bölüm kalmaz. Başka araçlar veya sürümler farklı davranabilir ve küçük kümelerde yuvarlama veya yeniden atama gerekebilir. Hangi bölümlerin hangi kümeye girdiğini inceleyin. Grupların birlikte kalması gerekiyorsa onları bölmeden bölüm listelerini seçip kaydedin.
LeRobot araştırma notu, yeni bir Diffusion işleyicisinin kaydedilmiş normalizasyon istatistiklerini nasıl alabildiğini izler. Ayrıca bu istatistiklerin aralıklarını, varsayımsal bir ayrı değerlendirme bölümündeki eğitim bölümlerinin özetleriyle karşılaştırır. Kendi işleyicinizin yüklediği istatistiklerin kaynağını ve kapsamını kontrol edin.
Etiketleri ve kapsamı inceleyin
Etiketli verilerde beklenen yanıtlardan bir örneklem alın ve bunları oluştururken kullanılan yönergeler ve kanıtlarla karşılaştırın. Konu uzmanı eksik bağlamı, tutarsız etiketleri ve doğru yanıtın gerçekten belirsiz olduğu vakaları inceleyebilir. Anlaşmazlıkları ve bunların nasıl çözüldüğünü kaydedin. İnceleyenlerin uzlaşması yararlı bilgi sağlar. Etiketin doğruluğunu ayrıca kanıta dayanarak inceleyin. Etiketleme kalitesi yönetimi üzerine araştırma, inceleme, uzlaşma ve uyuşmazlık çözümünü ayrı süreçler olarak ele alır.
Sayısal sınıf etiketleri, kimliklerin sınıf adları ve tanımlarıyla eşleştirilmesini gerektirir. Bu tanımları ve kimlikleri sürümler ve veri bölümleri arasında, ayrıca modelin beklediği eşlemeyle karşılaştırın. Kimlik eşlemesinde yapılan değişiklikleri ve eksik ya da birleştirilmiş sınıfları nasıl ele aldığınızı belgeleyin. Ultralytics Platform veri kümesi kılavuzu, sınıfları birleştirmenin veya silmenin sonraki kimlikleri kaydırabileceğini belirtir. Bu yüzden eski dışa aktarımlar güncel sınıf listesiyle eşleşmeyebilir. Kendi dışa aktarımlarınızda ve işlem hattınızda eşlemeyi doğrulayın.
Veri kümesinin amaçlanan kullanım açısından önemli durumları kapsayıp kapsamadığını kontrol edin. Bunlar yaygın istekler, önemli istisnalar, diller, zaman aralıkları veya diğer anlamlı gruplar olabilir. Örneği az olan bir grup için ek veri veya ayrı analiz gerekebilir. Gerekli örnek sayısı gruba göre değişebilir.
İnceleme örneklerinin nasıl seçildiğini belgeleyin. Elle seçilmiş örnekler sorunu ortaya çıkarabilir. Bu örneklerin hata oranını tüm veri kümesinin hata oranı olarak kullanmayın. Google’ın örnekleme kılavuzu, örnek seçiminin daha büyük bir topluluğa ilişkin sonuçları nasıl çarpıtabileceğini açıklar.
Rastgele örneklem de hataları gözden kaçırabilir. Ayrı bir kurgusal partide 120 kayıt olduğunu ve bunlardan altısının yanlış etiketli olduğunu varsayalım. Eşit olasılıkla ve geri koymadan rastgele 20 farklı kayıt seçerseniz, örneklemlerin yaklaşık %33’ünde bu altı kaydın hiçbiri bulunmaz. İnceleyenler seçilen kayıtlardaki tüm yanlış etiketleri saptarsa 47 kayıt seçmek altı yanlış etiketin tamamını kaçırma olasılığını %5’in altına düşürür. Bu, altı hata varsayan bir planlama örneğidir. Hatasız görünen bir örneklem, hataların tam altı tane olduğunu veya geriye kalan kayıtların hatasız olduğunu göstermez. Örneklem büyüklüğünü vereceğiniz karar için önemli olan hata sıklığına ve hataları kaçırma olasılığına göre seçin. Örneklerin nasıl seçildiğini ve incelendiğini kaydedin. NIST’in örneklemeye giriş kılavuzu seçim ve örneklem büyüklüğünü ele alır. Etiketleme kalitesi üzerine araştırma, kalitenin istatistiksel olarak tahminini ve kabul örneklemesini açıklar.
Dillere göre okuma puanlarını karşılaştırma
Neyi değiştireceğinize karar verin
Bulguları ekibin uygulayabileceği adımlara dönüştürün.
- Düzeltin. Eksik bağlamı geri yükleyin, doğrulanmış hataları düzeltin veya etiketleme yönergelerini güncelleyin. Ardından etkilenen kayıtları tekrar kontrol edin.
- Sınırlandırın. Veri kümesini yalnızca desteklediği görev veya veri alt gruplarında kullanın ve bilinen eksikleri açıklayın.
- Kullanımı erteleyin. Önemli bir sorun giderilene kadar veri kümesini amaçlanan eğitimde veya yayımlama kararında kullanmayın.
- Veri ekleyin. Kapsanmayan durumlar için örnek toplayın veya bulun. Gerekirse eğitimde ya da ayarlamada kullanılmamış yeni bir test kümesi oluşturun.
Özgün ve güncellenmiş sürümlerin ayırt edilebilmesini sağlayın. Bir başka ekibin neyin neden değiştiğini anlayabilmesi için kontrolleri, seçim yöntemini, bulguları, inceleme kararlarını ve çözülememiş soruları kaydedin.
Yeniden yazılan Parquet veri kümesini doğrulayın
Teslim edilen Parquet dosyaları yeniden yazıldığında, yeni dosyaların göreviniz için hangi özellikleri koruması gerektiğini belirleyin. Özgün ve güncellenmiş dosya sürümlerini kaydedin ve kontrolleri ekibinizin sonraki aşamada kullandığı okuyucuyla yapın. Aşağıdaki örneklerde kurgusal veriler kullanılmıştır.
- Kaynak alanları. Eksik alanı açıkça verilmiş bir null değerinden ayırmanız gerekiyorsa her özgün dosyanın şemasını saklayın. DuckDB 1.4.4 örneğimizde alanın hangi kaynakta bulunmadığını değiştirmek, kaynak adları korunsa bile aynı birleştirilmiş dosyaları üretti. Özgün şemalar her iki değişikliği de ortaya çıkardı. DuckDB şema birleştirme
- Vaka ve etiket çiftleri. Vaka kimliklerinin eksiksiz ve benzersiz olduğunu kontrol edin, beklenen listeyle karşılaştırın ve etiketleri kimliğe göre doğrulayın. Sekiz satırlık örnekte iki yeniden yazım da aynı alt bilgi üst verilerini ve etiket sayılarını korudu. Birinde iki etiket başka vakalara taşındı. Diğerinde satırların bütün hâlinde yeniden sıralanması her çifti korudu. Parquet dosya düzeni
- Çözümlenen sayılar. Mantıksal türü kontrol edin ve okuduğunuz sayıları karşılaştırın. Ondalık sayı örneğimizde ölçeği 2’den 3’e çıkarmak 12,34’ü 1,234’e çevirdi. Depolanan tam sayılar ve sütun parçasının baytları aynı kaldı. Parquet ondalık sayı belirtimi
- Yerel tarihler. Bir rapor olayları yerel güne göre grupluyorsa, her olayın gününü kararlaştırılan saat diliminde karşılaştırın. PyArrow 26.0.1 ile iki olay, Arrow şema üst verileri olmadan yeniden yazıldıktan sonra özgün anlarını korudu. UTC olarak okunduğunda ikisi de 1 Temmuz’a denk geldi. Kararlaştırılan New York saat dilimi, 30 Haziran ve 1 Temmuz atamalarını geri getirdi. PyArrow yazma seçenekleri
Her kontrolü üzerinde anlaşılan özelliğe dayandırın. Sıralama değişebiliyorsa çiftleri koruyan bir yeniden sıralama, vaka ve etiket kontrolünü geçer. Sözleşme, alanların kaynak bazında varlığını doğrulamayı gerektiriyorsa ve özgün şemalar mevcut değilse bu kontrolü kanıtları geri kazanana kadar bekletin.
Dönüştürülen COCO verilerini kontrol edin
Bir COCO nesne algılama veri kümesi dönüştürüldüğünde özgün ve dışa aktarılan görüntü eşlemelerini karşılaştırın. Her kaynak görüntünün dışa aktarımda ayrı bir sayısal kimliği olduğunu ve etiketleme ile tahminlerin hâlâ amaçlanan görüntüye işaret ettiğini kontrol edin. Kaydedilmiş kimlik eşlemesi etkinleştirildiğinde test edilen FiftyOne dışa aktarıcısı 01 ve 1 değerlerini aynı tam sayıya dönüştürür. Test edilen COCO dizini bu kimliğe ait son görüntü satırını tutar ve etiketlemeleri aynı kimlik altında gruplar. Puanlamadan önce yinelenen kimlikleri düzeltin. FiftyOne dışa aktarıcısı · COCO dizini
Mümkünse özgün kimlikleri koruyun. Kimlikler değişmek zorundaysa göreli sayısal sıralarını koruyun ve özgün ve dönüştürülmüş veri üzerinde ortalama kesinliği (AP) yeniden hesaplayın. Aynı değerlendirici revizyonunu, ayarları ve yuvarlanmamış tahmin puanlarını kullanın. Her çalıştırmada tahminleri doğru görüntülerle eşleştirin. Farklı görüntülerde aynı kategoride yer alan, güven puanları eşit iki algılamayla küçük bir kontrol yapın. Bunlardan biri gerçek referans etiketlemesiyle eşleşmeli, diğeri yanlış pozitif olmalıdır. Test edilen COCO değerlendiricisi kimlikleri sıralar ve görüntüler arası puan eşitliğinde bu sırayı korur. Dolayısıyla algılama eşleşmeleri aynı kalırken kimlikleri yeniden numaralandırmak AP’yi değiştirebilir. İki sürümü karşılaştırmadan önce puan farklılıklarını giderin. COCO görüntü sırası · COCO puanlarının birleştirilmesi
İlgili kılavuzlar
sapien1, ekiplerin veri kümelerini incelemesine ve yapay zekâ sisteminin yapması gereken işe göre değerlendirmeler planlamasına yardımcı olur. Veri incelemesinden sonraki adım için ajan değerlendirme kılavuzumuza bakın. İnceleme bir veri eksiğini ortaya çıkarırsa veri tedariki kılavuzumuz neyi aramanız gerektiğini belirlemenize yardımcı olabilir.