Evidências dos guias sobre benchmarks de leitura

Essas verificações usam os arquivos originais do Belebele e do FLORES-200 e os arquivos públicos de desenvolvimento do MLQA. O Belebele tem 4 opções de resposta por pergunta. Os 122 arquivos de idiomas e escritas no ZIP original compartilham 900 IDs de perguntas. Nesses arquivos, cada ID associa uma URL de origem a um número de pergunta. Artigo do Belebele · Download e formato do Belebele

Associe cada resposta à pergunta certa

Copiamos os números das respostas marcadas em cada arquivo do Belebele e os organizamos na ordem das perguntas em inglês. Em 52 arquivos, as perguntas aparecem em uma ordem diferente da do inglês. Associar as respostas copiadas a cada arquivo pelo número da linha resultou em 73.55%. A associação pelo ID da pergunta resultou em 100% nas 109,800 linhas. Na associação pelo número da linha, 38,876 respostas foram atribuídas a outra pergunta. Destas, 9,838 ainda receberam crédito porque os números das respostas coincidiam.

Confira se duas opções têm o mesmo texto

Em 148 linhas, outra opção tem exatamente o mesmo texto da resposta marcada. Copiamos o texto da resposta marcada de cada linha. Ao atribuir a primeira opção com esse texto, perderam-se 16 créditos. Ao atribuir a última, perderam-se 133. Esta verificação compara o texto exatamente como está armazenado no ZIP original.

Compare pontuações nas mesmas perguntas

Remover as 148 linhas afetadas apenas dos arquivos em que aparecem deixa entre 894 e 899 perguntas por arquivo. As linhas afetadas abrangem 23 IDs de perguntas distintos. Remover os 23 IDs de todos os arquivos deixa as mesmas 877 perguntas em cada um.

Confira a origem dos trechos

No arquivo em inglês, 513 perguntas apontam para páginas da partição original de desenvolvimento do FLORES-200. Em 417 dessas perguntas, a união das frases originais do FLORES na ordem reproduz exatamente o trecho do Belebele. O número de correspondências exatas varia entre os 116 outros arquivos de idiomas e escritas compartilhados pelos arquivos originais.

Também verificamos 45,279 linhas do Belebele provenientes de URLs de devtest do FLORES-200, nos 117 arquivos compartilhados de idiomas e escritas, incluindo o inglês. Em 9 IDs de perguntas distintos, o trecho continha uma frase completa de desenvolvimento em pelo menos um arquivo. A verificação compara URLs de origem e texto exato nos arquivos originais. Documentação do FLORES-200 · Arquivo original do FLORES-200

Confira a regra da resposta mais curta

Escolher sempre a resposta mais curta resultou em 27.03% no teste completo do Belebele. A regra conta os caracteres após padronizar caracteres Unicode equivalentes e espaços em branco. Se houver empate entre as opções mais curtas, ela divide 1 ponto igualmente entre elas e conta apenas a parcela da resposta marcada. Um palpite uniforme entre 4 opções tem pontuação esperada de 25%. Os autores originais do Belebele usaram a sobreposição de palavras e o comprimento das respostas para verificar se havia pistas. Eles também relataram um resultado de 28% em 900 perguntas para um modelo que usava as palavras sem considerar sua ordem. Artigo do Belebele, seção 3.2 · Apêndice A.6

Compare pontuações com diferentes trechos

Usamos os mesmos 900 IDs de perguntas em inglês e vietnamita. A regra escolhe a opção de resposta com a maior proporção de palavras distintas que aparecem na pergunta ou no trecho fornecido. Sem trecho, usa apenas a pergunta. As opções empatadas dividem 1 ponto igualmente. Em cada execução com substituição, o trecho é retirado de outra página, e a mesma página de origem é usada nos 2 idiomas.

Idioma Sem trecho Primeira substituição Trecho original Intervalo entre 16 substituições
Inglês 24.60% 26.38% 28.72% 24.60% a 27.89%
Vietnamita 25.98% 24.80% 27.17% 23.58% a 27.84%

O trecho original obteve pontuação maior que todas as 16 substituições em inglês e que 15 delas em vietnamita. Em comparação com a ausência de trecho, o trecho original aumentou o crédito em 311 perguntas em inglês e em 313 em vietnamita. Ele reduziu o crédito em 218 perguntas em inglês e em 234 em vietnamita. Código de correspondência de palavras · Resultados agregados

Altere o idioma da pergunta

Nos arquivos de desenvolvimento do MLQA em inglês e vietnamita, 511 IDs de perguntas aparecem nas 4 combinações de idioma da pergunta e do trecho. Entre esses IDs, ao mudar o idioma da pergunta de inglês para vietnamita e manter o trecho em inglês fixo, o trecho e a lista de respostas aceitas permanecem exatamente iguais. Uma comparação nessa configuração avalia as 2 execuções com base nas mesmas respostas em inglês. Artigo do MLQA · Organização dos arquivos do MLQA

Repita a verificação de correspondência de palavras

Baixe o ZIP original do Belebele, o script de correspondência de palavras, seu script auxiliar em Python e os resultados agregados salvos. Coloque-os na mesma pasta. O script verifica o hash do arquivo compactado e lê os arquivos em inglês e vietnamita. Ele apresenta as pontuações em unidades de crédito, sendo que 12 unidades equivalem a 1 resposta correta. Use o Python 3.12 para repetir a comparação.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json