Ricerca
Come verificare se un modello usa il brano
Fai al modello le stesse domande due volte, una con il brano e una senza. Tieni fisse le domande, le opzioni e le regole di valutazione. Confronta i punteggi per vedere quanto è servito il brano. Per le domande a scelta multipla, fai un’altra prova con le sole opzioni. Nell’intero test Belebele, scegliere sempre la risposta più breve ha dato il 27,03%. Una scelta casuale con uguale probabilità ha un punteggio atteso del 25%. Lunghezza delle risposte in Belebele
Cambia un solo dato alla volta
| Cosa vede il modello | Cosa confrontare |
|---|---|
| Brano, domanda e opzioni | Quanto spesso risponde bene con tutti i dati |
| Domanda e opzioni | Quanto spesso risponde bene senza il brano |
| Solo le opzioni | Quanto spesso risponde bene con le sole opzioni |
Usa lo stesso modello e le stesse impostazioni. Conta quante risposte diventano corrette aggiungendo il brano e quante diventano sbagliate. Questi conteggi spiegano come il punteggio possa cambiare poco anche se nelle due prove vengono risolte domande diverse. Per le risposte scritte, confronta le prime due prove senza opzioni e usa le stesse risposte accettate in entrambe.
Controlla in quali domande cambia il risultato
Supponi che il modello risponda bene a 70 domande su 100 in entrambe le prove. Abbinando per ID, 62 risposte sono corrette in entrambe e 22 errate in entrambe. Con il brano, otto risposte passano da errate a corrette e otto da corrette a errate. Il punteggio resta al 70%, ma puoi esaminare 16 domande per capire dove il brano aiuta o ostacola.
Prova una regola semplice basata sulle parole in comune
Gli autori di Belebele hanno cercato indizi nelle parole in comune e nella lunghezza delle risposte. Hanno anche riportato un punteggio del 28% su 900 domande per un modello che teneva conto delle parole presenti indipendentemente dall’ordine. Studio Belebele, sezione 3.2 · Appendice A.6
Abbiamo applicato una regola fissa alle stesse 900 domande di Belebele in inglese e vietnamita. Abbiamo provato senza brano, con quello previsto o con un brano di un’altra pagina. Per ogni opzione calcoliamo la quota di parole distinte che compaiono anche nella domanda o nel brano fornito. Senza brano usiamo solo la domanda. La regola sceglie l’opzione con la quota più alta. A pari merito al primo posto, dividiamo un punto equamente e contiamo solo la quota della risposta indicata come corretta. Per ogni domanda, i brani sostitutivi in inglese e vietnamita provengono dalla stessa altra pagina, nelle rispettive lingue. Codice · Risultati
| Lingua | Senza brano | Brano di un’altra pagina | Brano previsto |
|---|---|---|---|
| Inglese | 24.60% | 26.38% | 28.72% |
| Vietnamita | 25.98% | 24.80% | 27.17% |
Nel primo confronto il brano previsto ha dato il punteggio più alto in entrambe le lingue. Abbiamo poi provato altri 15 scambi di brani. Nei 16 scambi i punteggi sono andati dal 24,60% al 27,89% in inglese e dal 23,58% al 27,84% in vietnamita. Il brano previsto ha superato tutti e 16 gli scambi in inglese e 15 in vietnamita. Prova più sostituzioni per dipendere meno dalla pagina scelta. Risultati di tutti gli scambi
Rispetto all’assenza del brano, il brano previsto ha aumentato il punteggio su 311 domande in inglese e 313 in vietnamita. Lo ha ridotto su 218 domande in inglese e 234 in vietnamita. Se confronti la regola con un modello, valuta entrambi sulle stesse domande.
Mantieni le domande e le regole di valutazione
Salva l’ID con ogni risposta. I 122 file di Belebele condividono 900 ID, ma 52 ordinano le domande diversamente dal file in inglese. Se escludi domande con testo ripetuto nelle opzioni, rimuovi gli stessi ID da tutte le prove confrontate. Conserva la lettera dell’opzione per distinguere due scelte con lo stesso testo. Controllo dell’ordine delle domande · Filtro delle domande
Controlla cosa potrebbe avere già visto il modello
Una risposta giusta senza il brano può derivare da conoscenze pregresse, indizi nella domanda o nelle opzioni, oppure da un tentativo casuale. Se hai affinato con il set di sviluppo FLORES-200 un modello che ora vuoi testare su Belebele, puoi escludere le domande da quegli URL. Controlla anche il testo. Nei file originali, nove domande da altri URL contenevano ancora una frase del set di sviluppo in almeno una lingua o scrittura esaminata. Controllo dei brani di Belebele
Mantieni il brano quando cambi la lingua della domanda
Per capire se una domanda in un’altra lingua cambia il risultato, fai quel confronto a parte. Nei file MLQA in inglese e vietnamita che abbiamo controllato, 511 ID consentono di cambiare lingua della domanda mantenendo identici il brano inglese e le risposte accettate. Valuta le due prove con le stesse risposte inglesi. Domande MLQA abbinate