Vai al contenuto principale

Menu

Ricerca

Come confrontare i punteggi di lettura a scelta multipla tra lingue

Lingua: Italiano

Usa le stesse domande e regole di valutazione in ogni lingua. Controlla se ci sono opzioni ripetute o brani che il modello potrebbe avere già visto. In Belebele, un test di lettura multilingue, abbiamo copiato i numeri delle risposte corrette da ogni file e li abbiamo messi nell’ordine delle domande in inglese. L’abbinamento per numero di riga ha dato il 73,55%. Quello per ID della domanda ha dato il 100%. Ricalcolo di Belebele

Abbina ogni risposta alla domanda giusta

Salva con ogni risposta la lingua, l’ID della domanda e il numero o la lettera dell’opzione scelta. I 122 file di Belebele condividono gli stessi 900 ID, ma 52 elencano le domande in un ordine diverso da quello inglese. Abbinando per riga, 9.838 risposte associate alla domanda sbagliata hanno comunque ottenuto punti perché i numeri delle opzioni coincidevano. Controllo dell’ordine delle domande

Controlla se due opzioni hanno lo stesso testo

Immagina che B e D riportino entrambe 12 e che il file indichi B come corretta. La risposta 12 fornisce il testo. Per assegnare il punteggio in base alla posizione serve la lettera. In 148 righe di Belebele si ripete il testo della risposta segnata come corretta. Copiandolo alla lettera, la prima opzione corrispondente ha fatto perdere 16 punti, l’ultima 133. Decidi se valutare l’etichetta dell’opzione o il testo e controlla le opzioni con la stessa regola. Opzioni ripetute

Confronta i punteggi sulle stesse domande

Se escludi le 148 righe con risposte ripetute solo dove compaiono, rimangono da 894 a 899 domande per lingua. Per confrontare le stesse domande in tutte le lingue, escludi da ogni file tutti i 23 ID interessati. Rimangono 877 domande comuni. Indica quante erano in origine e quante hai valutato. Confronto dei filtri delle domande

Verifica quali brani il modello potrebbe avere già visto

Se hai usato il set di sviluppo di FLORES-200 per affinare un modello, controlla se gli stessi brani compaiono in Belebele. Nel file inglese, 513 domande rimandano a pagine del set di sviluppo. Per 417 di queste, le frasi di FLORES riunite riproducono esattamente il brano di Belebele. Il numero di corrispondenze esatte varia tra gli altri 116 file di lingua e scrittura comuni ai due set. Controlla il testo nella lingua che stai testando. Riutilizzo di brani in inglese · Riutilizzo di brani tradotti