Forskning
Sådan undersøger du, om en model bruger teksten
Stil modellen samme spørgsmål to gange, én gang med teksten og én gang uden. Brug samme spørgsmål, svarmuligheder og scoringsregler. Sammenlign scoren for at se, hvor meget teksten hjalp. Ved spørgsmål med svarmuligheder kan du også teste med mulighederne alene. Reglen om altid at vælge det korteste svar gav 27,03 % på hele Belebele-testen. Med lige stor chance for at gætte hvert svar er den forventede score 25 %. Kontrol af svarlængde i Belebele
Skift kun én oplysning ad gangen
| Hvad modellen får | Hvad du sammenligner |
|---|---|
| Tekst, spørgsmål og svarmuligheder | Hvor ofte den svarer korrekt med alt input |
| Spørgsmål og svarmuligheder | Hvor ofte den svarer korrekt uden teksten |
| Kun svarmuligheder | Hvor ofte den svarer korrekt med mulighederne alene |
Brug samme model og indstillinger hver gang. Tæl, hvor tit teksten ændrer et forkert svar til et korrekt, og hvor tit det går omvendt. Det forklarer, hvordan scoren kan ændre sig lidt, selv om forskellige spørgsmål besvares korrekt. Ved skriftlige svar sammenlignes de første to kørsler uden svarmuligheder med de samme accepterede svar.
Se, hvilke spørgsmål der fik et andet resultat
Antag, at modellen svarer korrekt på 70 af 100 spørgsmål i begge kørsler. Efter match på id er 62 rigtige i begge og 22 forkerte i begge. Med teksten bliver otte forkerte svar rigtige og otte rigtige forkerte. Scoren er stadig 70 %, men du har 16 spørgsmål at undersøge for at se, hvor teksten hjalp eller gjorde det sværere.
Prøv en enkel regel med fælles ord
Belebele-forfatterne undersøgte, om fælles ord og svarlængde gav ledetråde. De rapporterede også 28 % på 900 spørgsmål for en model, der så på forekommende ord uanset deres rækkefølge. Belebele-artikel, afsnit 3.2 · Bilag A.6
Vi brugte en fast regel på samme 900 Belebele-spørgsmål på engelsk og vietnamesisk. Vi prøvede uden tekst, med den tilhørende tekst og med tekst fra en anden side. For hver mulighed tæller vi andelen af forskellige ord, der også findes i spørgsmålet eller den medfølgende tekst. Uden tekst bruger vi kun spørgsmålet. Reglen vælger svarmuligheden med den største andel. Ved delt førsteplads deler vi ét point ligeligt og tæller kun andelen for svaret, der er markeret som korrekt. For hvert spørgsmål kommer de engelske og vietnamesiske erstatningstekster fra den samme anden side på hvert sit sprog. Kode · Resultater
| Sprog | Uden tekst | Tekst fra en anden side | Tilhørende tekst |
|---|---|---|---|
| Engelsk | 24.60% | 26.38% | 28.72% |
| Vietnamesisk | 25.98% | 24.80% | 27.17% |
I den første sammenligning gav den tilhørende tekst højest score på begge sprog. Vi prøvede 15 andre måder at bytte tekster på. Over alle 16 bytter lå scoren mellem 24,60 % og 27,89 % på engelsk og mellem 23,58 % og 27,84 % på vietnamesisk. Den tilhørende tekst slog alle 16 bytter på engelsk og 15 på vietnamesisk. Prøv flere erstatninger, så konklusionen afhænger mindre af den valgte side. Resultater for alle bytter
Sammenlignet med ingen tekst gav den tilhørende tekst mere kredit på 311 spørgsmål på engelsk og 313 på vietnamesisk. Den gav mindre på 218 på engelsk og 234 på vietnamesisk. Sammenligner du reglen med en model, så bedøm begge på samme spørgsmål.
Behold spørgsmålene og scoringsreglerne
Gem spørgsmåls-id med hvert svar. Belebele har 900 fælles id’er i de 122 filer, men 52 filer har en anden rækkefølge end den engelske. Fjerner du spørgsmål med gentagen svartekst, så fjern samme id’er i alle kørsler. Gem valgets bogstav, så to valg med ens tekst kan skelnes. Kontrol af spørgsmålsrækkefølge · Spørgsmålsfilter
Se, hvad modellen kan have set før
Et korrekt svar uden tekst kan komme fra forhåndsviden, ledetråde i spørgsmål eller muligheder, eller et gæt. Hvis modellen er justeret med udviklingsdata fra FLORES-200 og nu skal testes på Belebele, kan du udelukke spørgsmål fra de webadresser. Kontrollér også teksten. I originalfilerne indeholdt ni spørgsmål fra andre webadresser stadig en udviklingssætning i mindst ét kontrolleret sprog eller en skriftvariant. Kontrol af Belebele-tekster
Behold teksten, når du ændrer spørgsmålets sprog
Test sproget separat, hvis du vil se, om det ændrer resultatet. I de undersøgte engelske og vietnamesiske MLQA-filer kan 511 id’er bruges til at skifte spørgsmålets sprog og beholde præcis samme engelske tekst og accepterede svar. Bedøm begge kørsler med de samme engelske svar. Matchede MLQA-spørgsmål