Aller au contenu principal

Menu

Recherche

Comment vérifier si un modèle utilise le passage

Langue: Français

Posez deux fois les mêmes questions au modèle, une fois avec le passage et une fois sans. Gardez les mêmes options et règles de notation. Comparez les scores pour voir dans quelle mesure le passage aide sur ces questions. Pour un test à choix multiple, faites un autre essai avec les choix seuls. Sur l’ensemble de Belebele, la règle qui choisit toujours la réponse la plus courte a obtenu 27,03 %. Une réponse tirée au hasard avec la même probabilité pour chaque choix a un score attendu de 25 %. Vérification de la longueur des choix dans Belebele

Changer une seule donnée à la fois

Ce que reçoit le modèleCe qu’il faut comparer
Passage, question et choixFréquence des réponses correctes avec toutes les informations
Question et choixFréquence des réponses correctes sans le passage
Choix seulsFréquence des réponses correctes à partir des choix seuls

Gardez le même modèle et les mêmes réglages à chaque essai. Comptez les réponses qui deviennent correctes avec le passage et celles qui deviennent incorrectes. Ces chiffres expliquent comment le score peut peu varier alors que les deux essais réussissent des questions différentes. Pour un test à réponses rédigées, comparez les deux premiers essais sans choix et gardez les mêmes réponses acceptées.

Voir quelles réponses sont devenues justes ou fausses

Supposons que le modèle réussisse 70 questions sur 100 dans les deux essais. Après appariement par identifiant, 62 sont réussies dans les deux essais et 22 sont ratées dans les deux. L’ajout du passage corrige huit réponses et en rend huit autres incorrectes. Le score reste de 70 %, mais vous avez 16 questions à examiner pour voir sur lesquelles le passage a aidé ou gêné.

Essayer une règle simple fondée sur les mots en commun

Les auteurs de Belebele ont cherché des indices dans les mots en commun et la longueur des réponses. Ils ont aussi rapporté un score de 28 % sur 900 questions pour un modèle qui tenait compte des mots présents sans tenir compte de leur ordre. Article sur Belebele, section 3.2 · Annexe A.6

Nous avons appliqué une règle fixe aux mêmes 900 questions de Belebele en anglais et en vietnamien. Nous avons fait des essais sans passage, avec le passage prévu et avec un passage d’une autre page. Pour chaque choix, nous calculons la part de ses mots distincts qui figurent aussi dans la question ou le passage fourni. Sans passage, seule la question compte. La règle retient le choix dont la proportion est la plus élevée. En cas d’égalité en tête, nous partageons un point à parts égales et comptons seulement la part du choix marqué comme correct. Pour chaque question, les passages de remplacement anglais et vietnamien proviennent d’une même page différente de la page d’origine, chacun dans sa langue. Code · Résultats

LangueSans passagePassage d’une autre pagePassage prévu
Anglais24.60%26.38%28.72%
Vietnamien25.98%24.80%27.17%

Dans la première comparaison, le passage prévu a donné le meilleur score dans les deux langues. Nous avons ensuite testé 15 autres échanges de passages. Sur les 16 échanges, les scores allaient de 24,60 % à 27,89 % en anglais et de 23,58 % à 27,84 % en vietnamien. Le passage prévu a dépassé les 16 échanges en anglais et 15 en vietnamien. Essayez plusieurs remplacements pour que la conclusion dépende moins de la page choisie. Résultats de tous les échanges

Par rapport à l’essai sans passage, le passage prévu a augmenté le crédit sur 311 questions en anglais et 313 en vietnamien. Il l’a réduit sur 218 en anglais et 234 en vietnamien. Si vous comparez cette règle à un modèle, notez les deux sur les mêmes questions.

Garder les mêmes questions et règles de notation

Gardez l’identifiant de question avec chaque réponse. Les 122 fichiers de Belebele partagent 900 identifiants, mais 52 présentent les questions dans un ordre différent de l’anglais. Si vous écartez les questions dont les choix répètent le même texte, retirez les mêmes identifiants de tous les essais comparés. Gardez la lettre du choix pour distinguer deux options de texte identique. Rejeu de l’ordre des questions · Filtre de questions

Vérifier ce que le modèle a pu voir auparavant

Sans passage, le modèle peut répondre juste grâce à ses connaissances, à des indices dans la question ou les choix, ou au hasard. Si vous avez ajusté avec le jeu de développement de FLORES-200 un modèle que vous voulez tester avec Belebele, vous pouvez exclure les questions issues de ces URL. Vérifiez aussi le texte. Dans les fichiers originaux, neuf questions issues d’autres URL contenaient encore une phrase du jeu de développement dans au moins une langue ou écriture examinée. Vérification des passages de Belebele

Garder le passage quand la langue de la question change

Pour voir si poser la question dans une autre langue change le résultat, faites cette comparaison séparément. Dans les fichiers MLQA anglais et vietnamiens examinés, 511 identifiants permettent de changer la langue de la question en conservant à l’identique le passage anglais et les réponses acceptées. Notez les deux essais avec les mêmes réponses en anglais. Questions appariées de MLQA