# Evidências dos guias sobre benchmarks de leitura

Essas verificações usam os arquivos originais do Belebele e do FLORES-200 e os arquivos públicos de desenvolvimento do MLQA. O Belebele tem 4 opções de resposta por pergunta. Os 122 arquivos de idiomas e escritas no ZIP original compartilham 900 IDs de perguntas. Nesses arquivos, cada ID associa uma URL de origem a um número de pergunta. [Artigo do Belebele](https://aclanthology.org/2024.acl-long.44/) · [Download e formato do Belebele](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Associe cada resposta à pergunta certa

Copiamos os números das respostas marcadas em cada arquivo do Belebele e os organizamos na ordem das perguntas em inglês. Em 52 arquivos, as perguntas aparecem em uma ordem diferente da do inglês. Associar as respostas copiadas a cada arquivo pelo número da linha resultou em 73.55%. A associação pelo ID da pergunta resultou em 100% nas 109,800 linhas. Na associação pelo número da linha, 38,876 respostas foram atribuídas a outra pergunta. Destas, 9,838 ainda receberam crédito porque os números das respostas coincidiam.

## Confira se duas opções têm o mesmo texto

Em 148 linhas, outra opção tem exatamente o mesmo texto da resposta marcada. Copiamos o texto da resposta marcada de cada linha. Ao atribuir a primeira opção com esse texto, perderam-se 16 créditos. Ao atribuir a última, perderam-se 133. Esta verificação compara o texto exatamente como está armazenado no ZIP original.

## Compare pontuações nas mesmas perguntas

Remover as 148 linhas afetadas apenas dos arquivos em que aparecem deixa entre 894 e 899 perguntas por arquivo. As linhas afetadas abrangem 23 IDs de perguntas distintos. Remover os 23 IDs de todos os arquivos deixa as mesmas 877 perguntas em cada um.

## Confira a origem dos trechos

No arquivo em inglês, 513 perguntas apontam para páginas da partição original de desenvolvimento do FLORES-200. Em 417 dessas perguntas, a união das frases originais do FLORES na ordem reproduz exatamente o trecho do Belebele. O número de correspondências exatas varia entre os 116 outros arquivos de idiomas e escritas compartilhados pelos arquivos originais.

Também verificamos 45,279 linhas do Belebele provenientes de URLs de `devtest` do FLORES-200, nos 117 arquivos compartilhados de idiomas e escritas, incluindo o inglês. Em 9 IDs de perguntas distintos, o trecho continha uma frase completa de desenvolvimento em pelo menos um arquivo. A verificação compara URLs de origem e texto exato nos arquivos originais. [Documentação do FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Arquivo original do FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Confira a regra da resposta mais curta

Escolher sempre a resposta mais curta resultou em 27.03% no teste completo do Belebele. A regra conta os caracteres após padronizar caracteres Unicode equivalentes e espaços em branco. Se houver empate entre as opções mais curtas, ela divide 1 ponto igualmente entre elas e conta apenas a parcela da resposta marcada. Um palpite uniforme entre 4 opções tem pontuação esperada de 25%. Os autores originais do Belebele usaram a sobreposição de palavras e o comprimento das respostas para verificar se havia pistas. Eles também relataram um resultado de 28% em 900 perguntas para um modelo que usava as palavras sem considerar sua ordem. [Artigo do Belebele, seção 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Apêndice A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Compare pontuações com diferentes trechos

Usamos os mesmos 900 IDs de perguntas em inglês e vietnamita. A regra escolhe a opção de resposta com a maior proporção de palavras distintas que aparecem na pergunta ou no trecho fornecido. Sem trecho, usa apenas a pergunta. As opções empatadas dividem 1 ponto igualmente. Em cada execução com substituição, o trecho é retirado de outra página, e a mesma página de origem é usada nos 2 idiomas.

| Idioma | Sem trecho | Primeira substituição | Trecho original | Intervalo entre 16 substituições |
| --- | ---: | ---: | ---: | ---: |
| Inglês | 24.60% | 26.38% | 28.72% | 24.60% a 27.89% |
| Vietnamita | 25.98% | 24.80% | 27.17% | 23.58% a 27.84% |

O trecho original obteve pontuação maior que todas as 16 substituições em inglês e que 15 delas em vietnamita. Em comparação com a ausência de trecho, o trecho original aumentou o crédito em 311 perguntas em inglês e em 313 em vietnamita. Ele reduziu o crédito em 218 perguntas em inglês e em 234 em vietnamita. [Código de correspondência de palavras](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Resultados agregados](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Altere o idioma da pergunta

Nos arquivos de desenvolvimento do MLQA em inglês e vietnamita, 511 IDs de perguntas aparecem nas 4 combinações de idioma da pergunta e do trecho. Entre esses IDs, ao mudar o idioma da pergunta de inglês para vietnamita e manter o trecho em inglês fixo, o trecho e a lista de respostas aceitas permanecem exatamente iguais. Uma comparação nessa configuração avalia as 2 execuções com base nas mesmas respostas em inglês. [Artigo do MLQA](https://aclanthology.org/2020.acl-main.653/) · [Organização dos arquivos do MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Repita a verificação de correspondência de palavras

Baixe o [ZIP original do Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), o [script de correspondência de palavras](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), seu [script auxiliar em Python](https://sapien1.com/research/reading-benchmark-evidence/check.py) e os [resultados agregados salvos](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Coloque-os na mesma pasta. O script verifica o hash do arquivo compactado e lê os arquivos em inglês e vietnamita. Ele apresenta as pontuações em unidades de crédito, sendo que 12 unidades equivalem a 1 resposta correta. Use o Python 3.12 para repetir a comparação.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
