Ana içeriğe geç

Menü

Araştırma

Çoktan seçmeli okuma testi puanları diller arasında nasıl karşılaştırılır?

Dil: Türkçe

Her dilde aynı soruları ve puanlama kurallarını kullanın. Aynı metni içeren seçenekler ve modelin önceden görmüş olabileceği okuma metinleri var mı diye bakın. Çok dilli okuma testi Belebele’de her dosyada doğru olarak işaretlenen seçenek numaralarını kopyalayıp İngilizce dosyadaki soru sırasına dizdik. Numaraları her dosyada satır sırasına göre eşleştirince puan %73,55, soru kimliğine göre eşleştirince %100 oldu. Belebele puanlamasının tekrarı

Her yanıtı kendi sorusuyla eşleştirin

Her yanıt için dili, soru kimliğini ve seçilen seçeneğin numarasını ya da harfini kaydedin. Belebele’nin 122 dosyasında aynı 900 soru kimliği var, ancak 52 dosyada bunların sırası İngilizceden farklı. Satır numarasına göre eşleştirmede yanlış soruyla eşleşen 9.838 yanıt, seçenek numarası tesadüfen tuttuğu için yine de puan aldı. Soru sırası kontrolü

Aynı metni içeren seçenekleri kontrol edin

Diyelim ki hem B hem D seçeneğinde 12 yazıyor ve dosyada B doğru olarak işaretlenmiş. Model 12 diye yanıt verirse seçeneğin içeriğini bilirsiniz. Seçeneğin yerine göre puan vermek için harfini de bilmeniz gerekir. Belebele’de 148 satırda doğru olarak işaretlenen yanıtın metni başka bir seçenekte de var. Bu metinleri olduğu gibi kopyalayıp ilk eşleşen seçeneği aldığımızda 16, son eşleşen seçeneği aldığımızda 133 puan kaybettik. Seçenek işaretine mi yoksa yanıtın metnine mi puan vereceğinize karar verin. Ardından seçenekleri aynı kurala göre kontrol edin. Metni aynı olan seçenekler

Puanları aynı sorular üzerinden karşılaştırın

Tekrarlı seçenek içeren 148 satırı yalnızca bulundukları dosyalardan çıkarırsanız her dilde 894 ile 899 arasında soru kalır. Tüm dilleri aynı sorularla karşılaştırmak istiyorsanız etkilenen 23 soru kimliğinin hepsini her dosyadan çıkarın. Böylece ortak 877 soru kalır. Başlangıçtaki soru sayısını ve puanladığınız soru sayısını belirtin. Soru eleme yöntemlerinin karşılaştırması

Modelin daha önce görmüş olabileceği metinlere bakın

Modeli ayarlarken FLORES-200 geliştirme kümesini kullandıysanız Belebele’de aynı metinlerin olup olmadığına bakın. İngilizce dosyada 513 soru, geliştirme kümesinde kullanılan sayfalara yönlendiriyor. Bu soruların 417’sinde FLORES cümlelerini birleştirince Belebele’deki metnin aynısı ortaya çıkıyor. İki veri kümesinde de bulunan diğer 116 dil ve yazı sistemi dosyasında birebir eşleşme sayısı değişiyor. Test ettiğiniz dildeki metinleri kontrol edin. İngilizce metinlerin yeniden kullanımı · Çeviri metinlerin yeniden kullanımı