Çok dilli bir okuma testi seçmeye yönelik kanıtlar

Bu kontroller, TyDi QA, XQuAD, MLQA ve Belebele'nin belirli sürümlerindeki soruları ve dilleri karşılaştırır. Sayılar, rehberde kullanılan dosyaları tanımlar.

TyDi QA dosyalarında hangi sorular ortak?

Geliştirme dosyalarını dil, makale başlığı ve sorunun tam ifadesine göre eşleştirdik. 5,077 Gold Passage satırının her biri, 18,670 birincil görev satırından biriyle eşleşti. Ortak olan 9 dilde Gold Passage dosyası, en az 1 anotatörün yazılı bir yanıt işaretlediği 1,285 birincil görev satırını içermiyor. Birincil görev geliştirme dosyası Japonca ve Tayca içeriyor; Gold Passage dosyasında ise bu 2 dilde satır bulunmuyor.

Bir makalenin tamamını daha kısa bir girdiyle karşılaştırmak için aynı modelden 2 kez yazılı yanıt isteyin. Daha kısa pasajı makaleden tam olarak kopyalayın. Ayarları, soruyu, yanıt biçimini, kabul edilen yanıtları ve puanlama kuralını aynı tutun. Kabul edilen her yanıtın her iki girdide de bulunduğunu kontrol edin. Gold Passage'ı sağlandığı hâliyle kullanıyorsanız alıntılanan pasajı ve yanıt listesini kontrol edin. Sorulara göre yapılan eşleştirme, dosyaların hangi soruları paylaştığını gösterir. Pasaj metni ve kabul edilen yanıtlar farklı olabilir.

Yazarların birincil görev ve Gold Passage değerlendirmelerinin her ikisinde de İngilizce genel ortalamaya dahil edilmez.

Dile göre sayılar (JSON) · Karşılaştırma betiği (Python) · Sürümü sabitlenmiş birincil görev geliştirme dosyası · Sürümü sabitlenmiş Gold Passage geliştirme dosyası · Resmî puanlama kuralları

2 kaynak dosyayı primary.parquet ve gold.parquet adlarıyla kaydedin. Betiği ve sayıları aynı dizine kaydedin, ardından karşılaştırmayı çalıştırın. Betik, 2 girdi dosyasını okumadan önce özet değerlerini doğrular.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Hangi XQuAD soruları SQuAD'dan geliyor?

İngilizce XQuAD'daki 1,190 kimliğin tamamı, SQuAD 1.1 geliştirme dosyasındaki sorularla eşleşiyor. Bu kimlikler için makale başlığı, pasaj ve soru metni birebir aynı. İncelediğimiz XQuAD sürümündeki 12 dosyanın tamamı, ilk sürümden sonra eklenen Rumence dosya da dahil olmak üzere aynı kimlikleri paylaşıyor.

Soru sayıları ve eşleşmeler (JSON) · Özgün XQuAD makalesi · Sürümü sabitlenmiş XQuAD · Sürümü sabitlenmiş SQuAD geliştirme dosyası

Bir MLQA sorusunun dili değiştiğinde ne aynı kalır?

İngilizce–Vietnamca geliştirme dosyalarının 4'ü de 511 soru kimliğini paylaşıyor. İngilizce pasajı aynı tutup soruları İngilizceden Vietnamcaya değiştirdiğimizde 511 sorunun tamamı değişti; hiçbir pasaj veya kabul edilen yanıt listesi değişmedi. Bu kontrolde her pasaj ve kayıtlı konumlar da dahil olmak üzere kabul edilen yanıtların sıralı listesi karşılaştırılır. Her iki çalıştırmayı da aynı İngilizce yanıtlarla puanlayın.

Dosya karşılaştırma sayıları (JSON) · Resmî MLQA indirmeleri · Özgün MLQA makalesi

4 dosya kümesinde hangi diller var?

TyDi QA birincil görev ve Gold Passage geliştirme dosyalarını, sürümü sabitlenmiş XQuAD sürümünü ve soru ile pasajda aynı dili kullanan MLQA geliştirme dosyalarını kontrol ettik. 4 kümenin tamamında bulunan tek diller Arapça ve İngilizcedir. Tayca, TyDi QA birincil görev dosyalarında ve XQuAD'da bulunur; Gold Passage'da bulunmaz.

Dosya kümesine göre dil kodları (JSON)

Tayca çoktan seçmeli test nerede?

Belebele'de tha_Thai.jsonl adlı bir Tayca dosya bulunur. Modelden bir pasajı okuduktan sonra 4 yanıttan birini seçmesini isteyen sorular için bu dosyayı kullanın.

Yazarların sürümü sabitlenmiş Tayca dosyası · Özgün Belebele makalesi · Çoktan seçmeli okuma puanları diller arasında nasıl karşılaştırılır?