Naar de hoofdinhoud

Menu

Onderzoek

Controleren of een model de passage gebruikt

Taal: Nederlands

Stel het model tweemaal dezelfde vragen, eenmaal met de passage en eenmaal zonder. Houd de vragen, opties en scoreregels gelijk. Vergelijk de scores om te zien hoeveel de passage bij die vragen hielp. Test bij meerkeuzevragen ook met alleen de opties. Op de volledige Belebele-toets scoorde de regel die altijd het kortste antwoord kiest 27,03%. Bij willekeurig kiezen met gelijke kansen is de verwachte score 25%. Antwoordlengte in Belebele

Verander één ding tegelijk

Wat het model zietWat je vergelijkt
Passage, vraag en optiesHoe vaak het goed antwoordt met alle informatie
Vraag en optiesHoe vaak het goed antwoordt zonder passage
Alleen de optiesHoe vaak het goed antwoordt met alleen de opties

Gebruik steeds hetzelfde model en dezelfde instellingen. Tel hoeveel antwoorden door de passage van fout naar goed gaan en hoeveel andersom. Zo kun je een kleine scoreverandering verklaren als de twee runs andere vragen goed hebben. Vergelijk bij open antwoorden de eerste twee runs zonder opties en gebruik dezelfde geaccepteerde antwoorden.

Bekijk welke vragen anders uitpakten

Stel dat het model in beide runs 70 van de 100 vragen goed heeft. Na koppeling op vraag-ID zijn er 62 goed in beide runs en 22 fout in beide. Door de passage gaan acht antwoorden van fout naar goed en acht van goed naar fout. De score blijft 70%, maar je kunt 16 vragen bekijken om te zien waar de passage hielp of hinderde.

Probeer een eenvoudige regel met gedeelde woorden

De auteurs van Belebele zochten naar aanwijzingen in gedeelde woorden en de lengte van antwoorden. Ze meldden ook 28% op 900 vragen voor een model dat keek welke woorden voorkwamen, ongeacht hun volgorde. Belebele-paper, paragraaf 3.2 · Bijlage A.6

We gebruikten één vaste regel op dezelfde 900 Belebele-vragen in het Engels en Vietnamees. We testten zonder passage, met de bijbehorende passage of met een passage van een andere pagina. Per optie tellen we welk deel van de verschillende woorden ook in de vraag of de meegeleverde passage staat. Zonder passage gebruiken we alleen de vraag. De optie met het grootste aandeel wint. Bij een gedeelde eerste plaats verdelen we één punt gelijk en tellen we alleen het deel voor de als juist gemarkeerde optie. Voor elke vraag komen de Engelse en Vietnamese vervangende passages van dezelfde andere pagina, elk in hun eigen taal. Code · Resultaten

TaalGeen passagePassage van een andere paginaBijbehorende passage
Engels24.60%26.38%28.72%
Vietnamees25.98%24.80%27.17%

In de eerste vergelijking gaf de bijbehorende passage de hoogste score in beide talen. We probeerden nog 15 manieren om de passages te verwisselen. Over alle 16 wissels liep de score van 24,60% tot 27,89% in het Engels en van 23,58% tot 27,84% in het Vietnamees. De bijbehorende passage versloeg alle 16 wissels in het Engels en 15 in het Vietnamees. Probeer meerdere vervangingen zodat je conclusie minder van de gekozen pagina afhangt. Resultaten van alle wissels

Vergeleken met de run zonder passage kregen 311 Engelse en 313 Vietnamese vragen meer punten met de bijbehorende passage. Bij 218 Engelse en 234 Vietnamese vragen waren het er minder. Als je de regel met een model vergelijkt, gebruik dan in beide gevallen dezelfde vragen.

Houd de vragen en scoreregels gelijk

Bewaar de vraag-ID bij elk antwoord. De 122 Belebele-bestanden delen 900 vraag-ID’s, maar 52 bestanden volgen een andere volgorde dan het Engelse. Sluit je vragen met dubbele antwoordtekst uit, verwijder dan dezelfde ID’s uit alle runs. Bewaar de letter van de optie zodat de scorer opties met identieke tekst uit elkaar kan houden. Vraagvolgorde testen · Vraagfilter

Controleer wat het model al kan hebben gezien

Een goed antwoord zonder passage kan voortkomen uit voorkennis, aanwijzingen in de vraag of opties, of een gok. Als je een model met FLORES-200-ontwikkeldata hebt afgestemd en nu Belebele wilt gebruiken, kun je vragen van die ontwikkel-URL’s uitsluiten. Controleer ook de tekst. In de oorspronkelijke bestanden bevatten negen vragen van andere URL’s nog een zin uit de ontwikkelset in minstens één gecontroleerde taal of schriftvorm. Belebele-passages controleren

Houd de passage gelijk als je de vraagtaal wijzigt

Wil je weten of een andere vraagtaal het resultaat verandert? Doe die vergelijking apart. In de gecontroleerde Engelse en Vietnamese MLQA-bestanden maken 511 vraag-ID’s het mogelijk van vraagtaal te wisselen terwijl de Engelse passage en geaccepteerde antwoorden exact gelijk blijven. Beoordeel beide runs met dezelfde Engelse antwoorden. Gekoppelde MLQA-vragen