Cercetare
Cum verifici dacă un model folosește fragmentul
Pune-i modelului aceleași întrebări de două ori, o dată cu fragmentul și o dată fără. Păstrează aceleași întrebări, variante și reguli de notare. Compară scorurile ca să vezi cât a ajutat fragmentul. Pentru întrebări cu variante, mai fă o probă doar cu variantele. În testul Belebele complet, regula care alege mereu răspunsul cel mai scurt a obținut 27,03%. Dacă ghicești cu șanse egale pentru toate variantele, scorul așteptat este 25%. Verificarea lungimii răspunsurilor în Belebele
Schimbă o singură informație la fiecare probă
| Ce primește modelul | Ce compari |
|---|---|
| Fragment, întrebare și variante | Cât de des răspunde corect când primește totul |
| Întrebare și variante | Cât de des răspunde corect fără fragment |
| Doar variantele | Cât de des răspunde corect doar din variante |
Folosește de fiecare dată același model și aceleași setări. Numără răspunsurile care trec de la greșit la corect când adaugi fragmentul și pe cele care se schimbă invers. Asta explică de ce scorul poate varia puțin chiar dacă cele două probe reușesc la întrebări diferite. Pentru răspunsuri scrise, compară primele două probe fără variante și folosește aceleași răspunsuri acceptate.
Vezi la ce întrebări s-a schimbat rezultatul
Presupune că modelul răspunde corect la 70 din 100 de întrebări în ambele probe. După asocierea prin ID, 62 sunt corecte în ambele și 22 sunt greșite în ambele. Adăugarea fragmentului schimbă opt răspunsuri greșite în corecte și opt răspunsuri corecte în greșite. Scorul rămâne 70%, dar ai 16 întrebări de analizat ca să vezi unde fragmentul a ajutat sau a încurcat.
Încearcă o regulă simplă bazată pe cuvinte comune
Autorii Belebele au căutat indicii în cuvintele comune și în lungimea răspunsurilor. Au raportat și un scor de 28% pe 900 de întrebări pentru un model care lua în calcul ce cuvinte apar, indiferent de ordinea lor. Articolul Belebele, secțiunea 3.2 · Anexa A.6
Am aplicat o regulă fixă pe aceleași 900 de întrebări Belebele în engleză și vietnameză. Am folosit probe fără fragment, cu fragmentul corespunzător sau cu unul de pe altă pagină. Pentru fiecare variantă, calculăm proporția cuvintelor ei distincte care apar și în întrebare sau în fragmentul dat. Fără fragment, folosim doar întrebarea. Regula alege varianta cu proporția cea mai mare. La egalitate pe primul loc, împărțim un punct în mod egal și numărăm doar partea variantei marcate drept corectă. Pentru fiecare întrebare, fragmentele de înlocuire în engleză și vietnameză provin de pe aceeași altă pagină, în limbile lor. Cod · Rezultate
| Limbă | Fără fragment | Fragment de pe altă pagină | Fragmentul corespunzător |
|---|---|---|---|
| Engleză | 24.60% | 26.38% | 28.72% |
| Vietnameză | 25.98% | 24.80% | 27.17% |
În prima comparație, fragmentul corespunzător a dat cel mai mare scor în ambele limbi. Am încercat apoi încă 15 moduri de a schimba fragmentele. În cele 16 schimburi, scorul a variat între 24,60% și 27,89% în engleză și între 23,58% și 27,84% în vietnameză. Fragmentul corespunzător a depășit toate cele 16 schimburi în engleză și 15 în vietnameză. Încearcă mai multe înlocuiri, ca rezultatul să depindă mai puțin de pagina aleasă. Rezultatele tuturor schimburilor
Față de proba fără fragment, fragmentul corespunzător a mărit punctajul la 311 întrebări în engleză și 313 în vietnameză. L-a scăzut la 218 în engleză și 234 în vietnameză. Dacă compari regula cu un model, notează-le pe aceleași întrebări.
Păstrează întrebările și regulile de notare
Salvează ID-ul întrebării cu fiecare răspuns. Cele 122 de fișiere Belebele au 900 de ID-uri comune, dar 52 au altă ordine decât fișierul englezesc. Dacă excluzi întrebări cu variante de text identic, elimină aceleași ID-uri din toate probele comparate. Păstrează litera variantei, ca să poți distinge două opțiuni cu același text. Verificarea ordinii întrebărilor · Filtrul de întrebări
Verifică ce ar fi putut vedea modelul
Un răspuns corect fără fragment poate veni din cunoștințe anterioare, indicii din întrebare sau variante, ori dintr-o ghicire. Dacă ai ajustat pe setul de dezvoltare FLORES-200 un model pe care acum vrei să-l testezi pe Belebele, poți exclude întrebările de la acele adrese URL. Verifică și textul. În fișierele originale, nouă întrebări de la alte adrese conțineau încă o propoziție din setul de dezvoltare în cel puțin o limbă sau scriere verificată. Verificarea fragmentelor Belebele
Păstrează fragmentul când schimbi limba întrebării
Ca să vezi dacă întrebarea pusă în altă limbă schimbă rezultatul, fă testul separat. În fișierele MLQA englezești și vietnameze verificate, 511 ID-uri permit schimbarea limbii întrebării fără vreo schimbare a fragmentului englezesc sau a răspunsurilor acceptate. Notează ambele probe cu aceleași răspunsuri în engleză. Întrebări MLQA asociate