Araştırma
Çok dilli bir okuma testi nasıl seçilir?
Modelden, insanların ihtiyaç duyduğu işi yapmasını isteyen bir test seçin. Doğru metin parçasını bulmak, verilen parçadan yanıt çıkarmak ve başka dilde bir soruyu anlamak ayrı becerilerdir. Hangi adımı daha yakından incelemeniz gerektiğini görmek için bunları ayrı ayrı test edin.
| Neyi kontrol etmek istiyorsunuz? | Nereden başlamalı? | Model ne yapıyor? |
|---|---|---|
| Yazının doğru bölümünü bulabiliyor mu? | TyDiQA-SelectP | Bir yazıdan bir parça seçer veya hiçbir parçanın soruyu yanıtlamadığını belirtir. |
| Soruyu yanıtlayan kelimeleri bulabiliyor mu? | TyDiQA-GoldP | Cevabın kelimelerini, bunları içeren metin parçasından çıkarır. |
| Aynı soruları birden fazla dilde yanıtlıyor mu? | XQuAD veya Belebele | XQuAD’da çevrilmiş metinleri kullanarak yanıt verir, Belebele’de dört yanıttan birini seçer. |
| Soru ve metin farklı dillerdeyken yanıt verebiliyor mu? | MLQA | Yanıtı başka dilde yazılmış bir metin parçasında bulur. |
Modelin yanıtı bulup bulamadığını kontrol edin
Model yazı içindeki doğru parçayı bulacaksa TyDiQA-SelectP’yi kullanın. Ayrıca kısa bir yanıt vermesi, evet veya hayır demesi ya da yazıda yanıt bulunmadığını belirtmesi gerekiyorsa TyDiQA-MinSpan’i kullanın. TyDi QA soruları doğrudan ilgili dilde yazıldı. TyDi QA görev açıklamaları
Daha kısa bir parçanın ne kadar yardımcı olduğunu görmek için aynı modelden iki kez yazılı yanıt isteyin. Birinde yazının tamamını, diğerinde o yazıdan aynen kopyalanmış bir bölümü verin. Ayarları, soruyu, yanıt biçimini, kabul edilen yanıtları ve puanlama kuralını aynı tutun. Kabul edilen her yanıtın iki metinde de geçtiğini kontrol edin. Gold Passage’daki bir kaydı olduğu gibi kullanıyorsanız parçayı ve yanıt listesini kontrol edin. Parça veya kabul edilen yanıtlar farklı olsa da dosyalar aynı soruyu içerebilir. TyDi QA geliştirme dosyaları bu karşılaştırmayı hazırlamanıza yardımcı olabilir. Gold Passage’daki 5.077 sorunun tamamı 18.670 soruluk ana kümede de bulunur. Gold Passage, Japonca ve Taycayı ve ortak dokuz dilde yazılı yanıtı işaretlenmiş 1.285 soruyu dışarıda bırakır. Soruları dil, yazı başlığı ve soru metninin birebir eşleşmesine göre eşleştirin. Yalnızca tek bir eşleşmesi olan çiftleri kullanın. TyDi QA soru karşılaştırması
Dilleri karşılaştırırken aynı soruları kullanın
XQuAD, modele aynı soru ve metinlerin çevirilerini verir. İngilizce 1.190 soru SQuAD 1.1 geliştirme kümesinden gelir. Kontrol ettiğimiz çeviri dosyalarında aynı soru kimlikleri bulunur. Modeli SQuAD geliştirme kümesiyle ayarladıysanız XQuAD’ı yeni sorular içeren bir test saymadan önce örtüşen soruları kontrol edin. Orijinal XQuAD makalesi · Yeniden kullanılan soruların kontrolü
Modelin dört yanıttan birini seçmesini istiyorsanız Belebele’yi kullanın. Dil ve yazı sistemlerine göre ayrılmış 122 dosya aynı 900 soru kimliğini paylaşır. Seçilen seçeneğin numarasını veya harfini kaydedin. İki seçenekte aynı metin olabilir ve yalnızca metne bakarak modelin hangisini seçtiğini anlayamayabilirsiniz. Etkilenen soruları çıkarırsanız karşılaştırdığınız her dilde kalan aynı kimlikleri kullanın. Dillere göre okuma puanlarını karşılaştırma
Sorunun dilini değiştirirken aynı metni kullanın
Örneğin Vietnamca konuşan biri İngilizce bir belge hakkında soru soracaksa MLQA’yı kullanın. İncelediğimiz İngilizce ve Vietnamca geliştirme dosyalarında 511 ortak soruyu iki dilde de sorabilir, İngilizce metni ve kabul edilen yanıtları birebir aynı tutabilirsiniz. İki denemeyi de aynı İngilizce yanıtlara göre puanlayın. Böylece sorunun dili değişince sonucun nasıl değiştiğini görebilirsiniz. Orijinal MLQA makalesi · İngilizce ve Vietnamca dosya karşılaştırması
Metnin ne kadar yardımcı olduğunu ayrı olarak kontrol etmek için aynı soruları metinle ve metinsiz sorun. Modelin metni kullanıp kullanmadığını kontrol etme
Testin ihtiyacınız olan dili kapsadığını kontrol edin
Tayca için modelin doğru parçayı bulup bulmadığını görmek için TyDiQA-SelectP’yi, verilen parçada yanıtın kelimelerini bulup bulmadığını görmek için XQuAD’ı veya doğru yanıtı seçip seçmediğini görmek için Belebele’yi kullanın. TyDiQA-GoldP geliştirme dosyasında Tayca soru yoktur. Karşılaştırdığımız dört dosya kümesinin hepsinde yalnızca Arapça ve İngilizce bulunur. İncelediğimiz kümeler TyDi QA ana kümesi, TyDi QA Gold Passage, XQuAD ve soruyla metnin aynı dilde olduğu MLQA geliştirme dosyalarıydı. Dil kapsamı kontrolü · Belebele dil dosyaları
Puanları paylaşırken görevin adını, kullanılan dilleri ve her puana kaç sorunun dahil olduğunu belirtin. Örneğin her iki resmî TyDi QA puanlama yöntemi de İngilizce dosyalarda yer alsa bile onu genel ortalamaya katmaz. TyDi QA puanlama belgeleri