Araştırma
Modelin okuma metnini kullanıp kullanmadığı nasıl anlaşılır?
Modele aynı soruları iki kez sorun. Birinde okuma metnini verin, diğerinde vermeyin. Sorular, seçenekler ve puanlama kuralları aynı kalsın. İki puanı karşılaştırarak metnin bu sorularda ne kadar yardımcı olduğunu görebilirsiniz. Çoktan seçmeli sorularda bir kez de yalnızca seçenekleri verin. Belebele’nin tamamında her zaman en kısa seçeneği seçen kural %27,03 puan aldı. Her seçeneği eşit olasılıkla seçmenin beklenen puanı %25’tir. Belebele yanıt uzunluğu kontrolü
Modele verdiğiniz bilgileri birer birer değiştirin
| Model ne görüyor? | Neyi karşılaştırmalı? |
|---|---|
| Metin, soru ve seçenekler | Hepsi verildiğinde doğru yanıt oranı |
| Soru ve seçenekler | Metin verilmediğinde doğru yanıt oranı |
| Yalnızca seçenekler | Sadece seçenekleri görünce doğru yanıt oranı |
Her seferinde aynı modeli ve ayarları kullanın. Metni eklediğinizde kaç yanlış yanıtın doğruya, kaç doğru yanıtın yanlışa döndüğünü sayın. İki denemede farklı sorular doğru yanıtlandığı hâlde toplam puanın neden az değiştiğini bu sayılar gösterir. Modelin yanıtı kendi yazdığı bir testte ilk iki denemeyi seçenek sunmadan karşılaştırın ve ikisinde de aynı yanıtları doğru kabul edin.
Hangi sorularda sonucun değiştiğine bakın
Modelin her iki denemede de 100 sorudan 70’ini doğru yanıtladığını varsayalım. Yanıtları soru kimliğine göre eşleştirdiğinizde 62 soru iki denemede de doğru, 22 soru ikisinde de yanlış. Metni eklemek sekiz yanlış yanıtı doğruya, sekiz doğru yanıtı yanlışa çevirdi. Puan %70’te kaldı ama metnin nerede yardımcı olduğunu veya sonucu kötüleştirdiğini anlamak için inceleyebileceğiniz 16 soru var.
Ortak kelimelere bakarak yanıt seçmeyi deneyin
Belebele’nin yazarları ortak kelimelerin ve seçenek uzunluğunun ipucu sağlayıp sağlamadığına baktı. Ayrıca kelime sırasına bakmadan yalnızca hangi kelimelerin geçtiğine göre çalışan bir modelin 900 soruda %28 puan aldığını bildirdi. Belebele makalesi, bölüm 3.2 · Ek A.6
İngilizce ve Vietnamca Belebele dosyalarında aynı 900 soruda ortak kelimelere dayalı sabit bir kuralı denedik. Üç koşul kullandık: metin yok, soruya ait metin var veya başka bir sayfanın metni var. Her seçenekte farklı kelimelerin ne kadarının soruda ya da verilen metinde de geçtiğini hesapladık. Metin yoksa yalnızca soruya baktık. Kural, oranı en yüksek seçeneği seçiyor. Birden fazla seçenek aynı en yüksek orana ulaşırsa bir puanı aralarında eşit bölüp yalnızca doğru olarak işaretlenen seçeneğin payını sayıyoruz. Her soru için yedek metinleri tek bir başka sayfadan aldık. İngilizce testte sayfanın İngilizce, Vietnamca testte Vietnamca sürümünü kullandık. Kod · Sonuçlar
| Dil | Metin yok | Başka bir sayfanın metni | Soruya ait metin |
|---|---|---|---|
| İngilizce | 24.60% | 26.38% | 28.72% |
| Vietnamca | 25.98% | 24.80% | 27.17% |
İlk karşılaştırmada iki dilde de en yüksek puanı soruya ait metin verdi. Ardından metinleri değiştirmek için 15 yöntem daha denedik. Toplam 16 değişiklikte puanlar İngilizcede %24,60 ile %27,89, Vietnamcada %23,58 ile %27,84 arasında değişti. Soruya ait metin, İngilizcede değişikliklerin 16’sından, Vietnamcada 15’inden daha yüksek puan verdi. Birkaç farklı metin deneyin. Böylece sonuç, seçtiğiniz sayfaya daha az bağlı kalır. Tüm metin değişikliklerinin sonuçları
Metin verilmediği duruma göre, soruya ait metin verildiğinde İngilizcede 311, Vietnamcada 313 soruda daha fazla puan alındı. İngilizcede 218, Vietnamcada 234 soruda puan düştü. Bu kuralı bir modelle karşılaştıracaksanız ikisini de aynı sorular üzerinden puanlayın.
Soruları ve puanlama kurallarını aynı tutun
Her yanıtla birlikte soru kimliğini kaydedin. Belebele’nin 122 dosyasında aynı 900 soru kimliği var, ancak 52 dosyada soru sırası İngilizceden farklı. Metni aynı seçenekleri olan soruları çıkarırsanız karşılaştırdığınız her denemeden aynı soru kimliklerini çıkarın. Puanlama sırasında aynı kelimeleri içeren iki seçeneğin ayırt edilebilmesi için seçenek harfini saklayın. Soru sırası testinin tekrarı · Soru eleme
Modelin daha önce neler görmüş olabileceğine bakın
Model metin olmadan önceki bilgisiyle, soru veya seçeneklerdeki ipuçlarıyla ya da tahmin ederek doğru yanıt verebilir. Modeli FLORES-200 geliştirme kümesiyle ayarladıysanız ve Belebele’de test edecekseniz o kümedeki adreslerden gelen soruları çıkarabilirsiniz. Metnin kendisine de bakın. İlk dosyalarda başka adreslerden gelen dokuz soruda, kontrol ettiğimiz en az bir dil veya yazı sistemi sürümünde geliştirme kümesinden bir cümle vardı. Belebele metin kontrolü
Sorunun dilini değiştirirken aynı metni kullanın
Soruyu başka bir dilde sormanın sonucu değiştirip değiştirmediğini görmek için bu karşılaştırmayı ayrı yapın. İncelediğimiz İngilizce ve Vietnamca MLQA dosyalarında 511 soru kimliği, İngilizce metin ve kabul edilen yanıtlar birebir aynı kalırken sorunun dilini değiştirmeye elverişliydi. İki denemeyi de aynı İngilizce yanıtlara göre puanlayın. MLQA’da eşleşen sorular