Okuma karşılaştırma testi rehberlerinin kanıtları
Bu kontrollerde orijinal Belebele ve FLORES-200 arşivleri ile herkese açık MLQA geliştirme dosyaları kullanıldı. Belebele'de her soru için dört yanıt seçeneği bulunur. Orijinal ZIP dosyasındaki 122 dil ve yazı sistemi dosyası aynı 900 soru kimliğini paylaşır. Bu dosyalarda her kimlik, bir kaynak URL'sini bir soru numarasıyla eşleştirir. Belebele makalesi · Belebele indirme ve biçim bilgileri
Her yanıtı kendi sorusuyla eşleştirin
Her Belebele dosyasındaki işaretli yanıt numaralarını kopyalayıp İngilizce soru sırasına göre düzenledik. Elli iki dosyada soruların sırası İngilizcedekinden farklıdır. Kopyalanan yanıtlar her dosyadaki sorularla satır numarasına göre eşleştirildiğinde sonuç 73.55% oldu. Soru kimliğine göre eşleştirildiğinde ise 109,800 satırın tamamında sonuç 100% oldu. Satır numarasına göre eşleştirmede 38,876 yanıt farklı bir soruyla eşleşti. Bunların 9,838 tanesi, yanıt numaraları aynı olduğu için yine de puan aldı.
Aynı metni içeren seçenekleri kontrol edin
148 satırda, başka bir seçeneğin metni işaretli yanıtın metniyle birebir aynı. Her satırdan işaretli yanıtın metnini kopyaladık. Bu metni içeren ilk seçeneğin atanması 16 puan kaybına yol açtı. Son seçeneğin atanması ise 133 puan kaybına yol açtı. Bu kontrolde metinler, orijinal ZIP dosyasında saklandıkları halleriyle birebir karşılaştırılır.
Puanları aynı sorular üzerinden karşılaştırın
Etkilenen 148 satırın yalnızca bulundukları dosyalardan çıkarılması, dosya başına 894 ile 899 arasında soru bırakıyor. Etkilenen satırlar 23 farklı soru kimliğine karşılık geliyor. Bu 23 kimliğin tamamı her dosyadan çıkarıldığında, her dosyada aynı 877 soru kalıyor.
Metinlerin kaynaklarını kontrol edin
İngilizce dosyada 513 soru, orijinal FLORES-200 geliştirme bölümündeki sayfaları gösteriyor. Bu soruların 417 tanesinde, orijinal FLORES cümleleri sırayla birleştirildiğinde Belebele metni birebir elde ediliyor. Birebir eşleşme sayısı, arşivlerin ortak olduğu diğer 116 dil ve yazı sistemi dosyasında farklılık gösteriyor.
İngilizce dahil, ortak 117 dil ve yazı sistemi dosyasında FLORES-200 devtest URL'lerinden gelen 45,279 Belebele satırını da kontrol ettik. Dokuz farklı soru kimliğinin her birinde, en az bir dosyadaki metin tam bir geliştirme cümlesi içeriyordu. Kontrolde kaynak URL'leri ve kaynak arşivlerdeki metinler birebir eşleştirilir. FLORES-200 belgeleri · Orijinal FLORES-200 arşivi
En kısa yanıt kuralını kontrol edin
Belebele testinin tamamında her zaman en kısa yanıtı seçmek 27.03% puan verdi. Bu kural, eşdeğer Unicode karakterlerini ve boşlukları standartlaştırdıktan sonra karakterleri sayar. Birden fazla seçenek en kısa uzunluğa sahipse 1 puanı bunlar arasında eşit paylaştırır ve yalnızca işaretli yanıtın payını hesaba katar. Dört seçenek arasından eşit olasılıkla yapılan bir tahminin beklenen puanı 25% olur. Belebele'nin yazarları, ipuçlarını kontrol etmek için sözcük örtüşmesini ve yanıt uzunluğunu kullandı. Ayrıca sözcükleri sıralarını dikkate almadan kullanan bir modelin 900 soruda 28% sonuç aldığını bildirdiler. Belebele makalesi, bölüm 3.2 · Ek A.6
Metinlere göre puanları karşılaştırın
İngilizce ve Vietnamcada aynı 900 soru kimliğini kullandık. Kural, içerdiği farklı sözcüklerin en yüksek payı soruda veya verilen metinde geçen yanıt seçeneğini seçer. Metin verilmediğinde yalnızca soruyu kullanır. Eşit puan alan seçenekler 1 puanı eşit olarak paylaşır. Her alternatif metinle yapılan çalıştırmada başka bir sayfadan alınan metin kullanılır ve her iki dilde de alternatif metin aynı kaynak sayfadan alınır.
| Dil | Metin yok | İlk alternatif metin | Asıl metin | 16 alternatif metindeki puan aralığı |
|---|---|---|---|---|
| İngilizce | 24.60% | 26.38% | 28.72% | 24.60% ile 27.89% arası |
| Vietnamca | 25.98% | 24.80% | 27.17% | 23.58% ile 27.84% arası |
Asıl metnin puanı, İngilizcede 16 alternatif metnin tamamından, Vietnamcada ise 15 alternatif metinden yüksekti. Metin verilmemesine kıyasla asıl metin, İngilizcede 311, Vietnamcada 313 soruda alınan puanı artırdı. İngilizcede 218, Vietnamcada ise 234 soruda alınan puanı düşürdü. Sözcük eşleştirme kodu · Toplu sonuçlar
Soru dilini değiştirin
İngilizce ve Vietnamca MLQA geliştirme dosyalarında 511 soru kimliği, soru ve metin dillerinin dört birleşiminin tamamında yer alıyor. Bu kimlikler için İngilizce metin sabit tutulup soru dili İngilizceden Vietnamcaya değiştirildiğinde metin ve kabul edilen yanıtlar listesi birebir aynı kalıyor. Bu düzende yapılan karşılaştırma, her iki çalıştırmayı da aynı İngilizce yanıtlara göre puanlıyor. MLQA makalesi · MLQA dosya düzeni
Sözcük eşleştirme kontrolünü tekrarlayın
Orijinal Belebele ZIP dosyasını, sözcük eşleştirme betiğini, betiğin Python yardımcı dosyasını ve kaydedilmiş toplu sonuçları indirin. Dosyaları aynı klasöre koyun. Betik, arşivin karma değerini doğrular ve İngilizce ile Vietnamca dosyaları okur. Puanları, 12 birimin bir doğru yanıta eşit olduğu puan birimleriyle bildirir. Karşılaştırmayı tekrarlamak için Python 3.12 kullanın.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json