Dovezi pentru ghidurile de evaluare a lecturii
Aceste verificări folosesc arhivele originale Belebele și FLORES-200 și fișierele publice de dezvoltare MLQA. Belebele are 4 variante de răspuns pentru fiecare întrebare. Cele 122 de fișiere pentru limbi și sisteme de scriere din arhiva ZIP originală au în comun 900 de identificatori de întrebare. În aceste fișiere, fiecare identificator asociază un URL sursă cu un număr de întrebare. Articolul Belebele · Descărcarea și formatul Belebele
Asociază fiecare răspuns cu întrebarea potrivită
Am copiat numerele răspunsurilor marcate din fiecare fișier Belebele și le-am aranjat în ordinea întrebărilor din fișierul în engleză. În 52 de fișiere, întrebările apar într-o ordine diferită de cea din fișierul în engleză. Asocierea răspunsurilor copiate cu fiecare fișier după numărul rândului a dat un scor de 73.55%. Asocierea după identificatorul întrebării a dat 100% pe 109,800 de rânduri. La asocierea după numărul rândului, 38,876 de răspunsuri au fost asociate cu o altă întrebare. Dintre acestea, 9,838 au primit totuși punctaj deoarece numerele răspunsurilor coincideau.
Verifică dacă două variante au același text
În 148 de rânduri, o altă opțiune are exact același text ca răspunsul marcat. Am copiat textul răspunsului marcat din fiecare rând. Atribuirea primei opțiuni cu acel text a dus la pierderea a 16 credite. Atribuirea ultimei opțiuni a dus la pierderea a 133 de credite. Această verificare compară textul exact așa cum este stocat în ZIP-ul original.
Compară scorurile pe aceleași întrebări
Eliminarea celor 148 de rânduri afectate doar din fișierele în care apar lasă între 894 și 899 de întrebări în fiecare fișier. Rândurile afectate cuprind 23 de identificatori de întrebare distincți. Eliminarea tuturor celor 23 de identificatori din fiecare fișier lasă aceleași 877 de întrebări în fiecare.
Verifică sursele fragmentelor
În fișierul în engleză, 513 întrebări indică pagini din setul de dezvoltare FLORES-200 original. Pentru 417 dintre aceste întrebări, concatenarea în ordine a propozițiilor originale din FLORES reproduce exact fragmentul Belebele. Numărul de potriviri exacte variază între celelalte 116 fișiere pentru limbi și sisteme de scriere comune celor două arhive.
Am verificat și 45,279 de rânduri Belebele asociate cu URL-uri FLORES-200 devtest, în cele 117 fișiere pentru limbi și sisteme de scriere comune celor două arhive, inclusiv cel în engleză. Pentru fiecare dintre 9 identificatori de întrebare distincți, fragmentul conținea o propoziție completă din setul de dezvoltare în cel puțin un fișier. Verificarea compară URL-urile sursă și textul exact din arhivele originale. Documentația FLORES-200 · Arhiva originală FLORES-200
Verifică regula celui mai scurt răspuns
Alegerea sistematică a celui mai scurt răspuns a obținut un scor de 27.03% pe întregul test Belebele. Regula numără caracterele după standardizarea caracterelor Unicode echivalente și a spațiilor albe. Dacă mai multe variante au aceeași lungime minimă, regula împarte un punct în mod egal între ele și ia în calcul doar partea care revine răspunsului marcat. Alegerea aleatorie uniformă dintre 4 variante are un scor așteptat de 25%. Autorii originali ai Belebele au folosit suprapunerea cuvintelor și lungimea răspunsurilor pentru a verifica existența unor indicii. Ei au raportat și un rezultat de 28% pe 900 de întrebări, obținut de un model care a folosit cuvintele fără a ține cont de ordinea lor. Articolul Belebele, secțiunea 3.2 · Anexa A.6
Compară scorurile pentru fragmente
Am folosit aceiași 900 de identificatori de întrebare în engleză și vietnameză. Regula alege varianta de răspuns cu cea mai mare proporție de cuvinte distincte care apar în întrebare sau în fragmentul furnizat. În absența unui fragment, folosește doar întrebarea. Variantele la egalitate împart un punct în mod egal. În fiecare rulare cu fragment înlocuit, fragmentul provine de pe o altă pagină, aceeași pagină sursă fiind folosită în ambele limbi.
| Limba | Fără fragment | Prima înlocuire | Fragmentul corespunzător | Intervalul pentru 16 înlocuiri |
|---|---|---|---|---|
| Engleză | 24.60% | 26.38% | 28.72% | De la 24.60% la 27.89% |
| Vietnameză | 25.98% | 24.80% | 27.17% | De la 23.58% la 27.84% |
Fragmentul corespunzător a obținut un scor mai mare decât toate cele 16 înlocuiri în engleză și decât 15 dintre ele în vietnameză. Față de situația fără fragment, fragmentul corespunzător a crescut punctajul pentru 311 întrebări în engleză și 313 în vietnameză. A redus punctajul pentru 218 întrebări în engleză și 234 în vietnameză. Codul pentru compararea cuvintelor · Rezultatele agregate
Schimbă limba întrebării
În fișierele de dezvoltare MLQA în engleză și vietnameză, 511 identificatori de întrebare apar în toate cele 4 combinații de limbi ale întrebării și fragmentului. Pentru acești identificatori, schimbarea limbii întrebării din engleză în vietnameză, păstrând fragmentul în engleză, lasă fragmentul și lista răspunsurilor acceptate exact la fel. O comparație în această configurație evaluează ambele rulări față de aceleași răspunsuri în engleză. Articolul MLQA · Structura fișierelor MLQA
Repetă verificarea potrivirii cuvintelor
Descarcă arhiva ZIP originală Belebele, scriptul de comparare a cuvintelor, scriptul Python auxiliar și rezultatele agregate salvate. Pune-le în același dosar. Scriptul verifică hashul arhivei și citește fișierele în engleză și vietnameză. Raportează scorurile în unități de punctaj, 12 unități echivalând cu un răspuns corect. Folosește Python 3.12 pentru a repeta comparația.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json