# Como verificar se um modelo usa o trecho

Faça as mesmas perguntas ao modelo duas vezes, uma com o trecho e outra sem. Mantenha as perguntas, as opções e as regras de pontuação. Compare os resultados para ver quanto o trecho ajudou. Se for múltipla escolha, faça mais um teste só com as opções. No teste completo do Belebele, a regra de sempre escolher a resposta mais curta fez 27,03%. Se todas as opções tiverem a mesma chance no chute, a pontuação esperada é 25%. [Verificação do tamanho das respostas no Belebele](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## Mude só uma informação por vez

| O que o modelo recebe | O que comparar |
| --- | --- |
| Trecho, pergunta e opções | Frequência de acertos com todas as informações |
| Pergunta e opções | Frequência de acertos sem o trecho |
| Só as opções | Frequência de acertos só com as opções |

Use o mesmo modelo e as mesmas configurações em cada execução. Conte quantas respostas passam de erradas a certas ao adicionar o trecho e quantas mudam no sentido contrário. Isso explica por que a pontuação pode mudar pouco mesmo quando as execuções acertam perguntas diferentes. Em um teste de resposta escrita, compare as duas primeiras execuções sem opções e use as mesmas respostas aceitas.

## Veja quais perguntas tiveram outro resultado

Suponha que o modelo acerte 70 de 100 perguntas nas duas execuções. Ao associar as respostas pelo ID, 62 estão certas nas duas e 22 estão erradas nas duas. Com o trecho, oito erros viram acertos e oito acertos viram erros. A pontuação fica em 70%, mas há 16 perguntas para examinar e entender onde o trecho ajudou ou atrapalhou.

## Teste uma regra simples com palavras em comum

Os autores do Belebele procuraram pistas nas palavras em comum e no tamanho das respostas. Também relataram uma pontuação de 28% em 900 perguntas para um modelo que considerava quais palavras apareciam, independentemente da ordem. [Artigo do Belebele, seção 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Apêndice A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

Aplicamos uma regra fixa às mesmas 900 perguntas do Belebele em inglês e vietnamita. Testamos sem trecho, com o trecho correspondente ou com um trecho de outra página. Para cada opção, calculamos a proporção de palavras distintas que aparecem também na pergunta ou no trecho fornecido. Sem trecho, usamos só a pergunta. A regra escolhe a opção com a maior proporção. Em caso de empate no primeiro lugar, dividimos um ponto igualmente e contamos só a parte da resposta marcada como correta. Para cada pergunta, os trechos substitutos em inglês e vietnamita vêm da mesma outra página, em seus respectivos idiomas. [Código](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Resultados](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| Idioma | Sem trecho | Trecho de outra página | Trecho correspondente |
| --- | ---: | ---: | ---: |
| Inglês | 24.60% | 26.38% | 28.72% |
| Vietnamita | 25.98% | 24.80% | 27.17% |

Na primeira comparação, o trecho correspondente deu a maior pontuação nos dois idiomas. Testamos mais 15 trocas de trechos. Nas 16 trocas, os resultados variaram de 24,60% a 27,89% em inglês e de 23,58% a 27,84% em vietnamita. O trecho correspondente superou todas as 16 trocas em inglês e 15 em vietnamita. Teste vários substitutos para que a conclusão dependa menos da página escolhida. [Resultados de todas as trocas](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

Em comparação com o teste sem trecho, usar o trecho correspondente aumentou a pontuação em 311 perguntas em inglês e 313 em vietnamita. Reduziu a pontuação em 218 perguntas em inglês e 234 em vietnamita. Para comparar essa regra com um modelo, pontue os dois nas mesmas perguntas.

## Mantenha as perguntas e as regras de pontuação

Salve o ID da pergunta com cada resposta. Os 122 arquivos do Belebele compartilham 900 IDs, mas 52 listam as perguntas em uma ordem diferente da do arquivo em inglês. Se excluir perguntas com opções de texto repetido, remova os mesmos IDs de todas as execuções comparadas. Salve a letra para distinguir duas opções com o mesmo texto. [Verificação da ordem das perguntas](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [Filtro de perguntas](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Confira o que o modelo pode ter visto antes

Um acerto sem o trecho pode vir de conhecimento prévio, de pistas na pergunta ou nas opções, ou de um chute. Se você usou o conjunto de desenvolvimento do FLORES-200 para ajustar um modelo que agora quer testar no Belebele, pode excluir as perguntas dessas URLs. Verifique também o texto. Nos arquivos originais, nove perguntas de outras URLs ainda continham uma frase do conjunto de desenvolvimento em pelo menos um idioma ou sistema de escrita verificado. [Verificação dos trechos do Belebele](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## Mantenha o trecho ao mudar o idioma da pergunta

Para saber se mudar o idioma da pergunta altera o resultado, faça essa comparação à parte. Nos arquivos do MLQA em inglês e vietnamita que verificamos, 511 IDs permitem mudar o idioma da pergunta e manter exatamente o trecho em inglês e as respostas aceitas. Pontue as duas execuções com as mesmas respostas em inglês. [Perguntas correspondentes do MLQA](https://sapien1.com/pt-BR/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
