# Como escolher um teste de compreensão de leitura em vários idiomas

Escolha um teste que peça ao modelo para fazer o que as pessoas precisam. Encontrar o trecho certo, responder com base em um trecho fornecido e entender uma pergunta em outro idioma são habilidades diferentes. Teste cada uma separadamente para ver qual etapa precisa de mais atenção.

| O que você quer verificar | Por onde começar | O que o modelo faz |
| --- | --- | --- |
| Ele consegue encontrar a parte certa de um artigo? | TyDiQA-SelectP | Escolhe um trecho de um artigo ou indica que nenhum deles responde à pergunta. |
| Ele consegue encontrar as palavras que respondem à pergunta? | TyDiQA-GoldP | Retorna as palavras da resposta a partir de um trecho que as contém. |
| Ele responde às mesmas perguntas em vários idiomas? | XQuAD ou Belebele | Responde com base em trechos traduzidos no XQuAD ou escolhe uma de quatro respostas no Belebele. |
| Ele consegue responder quando a pergunta e o trecho estão em idiomas diferentes? | MLQA | Encontra a resposta em um trecho escrito em outro idioma. |

## Verifique se o modelo encontra a resposta

Use TyDiQA-SelectP se o modelo precisa encontrar o trecho certo em um artigo. Use TyDiQA-MinSpan se ele também precisa dar uma resposta curta, responder sim ou não ou indicar que o artigo não contém a resposta. As perguntas do TyDi QA foram escritas diretamente em cada idioma. [Descrição das tarefas do TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

Para ver quanto um trecho mais curto ajuda, peça duas vezes uma resposta escrita ao mesmo modelo. Em uma rodada, forneça o artigo completo. Na outra, forneça um trecho copiado exatamente desse artigo. Mantenha as configurações, a pergunta, o formato da resposta, as respostas aceitas e o critério de pontuação. Confira se cada resposta aceita aparece nos dois textos. Se usar um item do Gold Passage como foi publicado, confira o trecho e a lista de respostas. Os arquivos podem compartilhar uma pergunta mesmo quando o trecho ou as respostas aceitas diferem. Os arquivos de desenvolvimento do TyDi QA ajudam a montar essa comparação. Todas as 5.077 perguntas do Gold Passage também estão no conjunto principal de 18.670 perguntas. O Gold Passage deixa de fora o japonês e o tailandês e exclui 1.285 perguntas com respostas escritas marcadas nos nove idiomas em comum. Associe as perguntas pelo idioma, pelo título do artigo e pelo texto exato da pergunta. Use apenas pares com correspondência única. [Comparação das perguntas do TyDi QA](https://sapien1.com/pt-BR/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## Use as mesmas perguntas ao comparar idiomas

O XQuAD fornece ao modelo traduções das mesmas perguntas e dos mesmos trechos. As 1.190 perguntas em inglês vêm do conjunto de desenvolvimento do SQuAD 1.1. Os arquivos traduzidos que verificamos compartilham os mesmos IDs. Se você usou esse conjunto do SQuAD para ajustar o modelo, confira a sobreposição antes de tratar o XQuAD como teste com perguntas novas. [Artigo original do XQuAD](https://aclanthology.org/2020.acl-main.421/) · [Verificação de perguntas reutilizadas](https://sapien1.com/pt-BR/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

Use o Belebele quando quiser que o modelo escolha uma de quatro respostas. Seus 122 arquivos por idioma e sistema de escrita compartilham 900 IDs de perguntas. Salve o número ou a letra da opção escolhida. Duas opções podem ter o mesmo texto. Guardar só o texto pode deixar dúvida sobre qual opção o modelo escolheu. Se excluir as perguntas afetadas, use os mesmos IDs restantes em todos os idiomas da comparação. [Comparar pontuações de leitura entre idiomas](https://sapien1.com/pt-BR/research/cross-language-reading-scores)

## Mude o idioma da pergunta e mantenha o trecho

Use o MLQA se, por exemplo, alguém que fala vietnamita puder perguntar sobre um documento em inglês. Nos arquivos de desenvolvimento em inglês e vietnamita que verificamos, 511 perguntas em comum podem ser feitas em qualquer um dos dois idiomas, com o mesmo trecho em inglês e as mesmas respostas aceitas. Pontue as duas rodadas com as mesmas respostas em inglês. Assim você vê o que mudou com o idioma da pergunta. [Artigo original do MLQA](https://aclanthology.org/2020.acl-main.653/) · [Comparação dos arquivos em inglês e vietnamita](https://sapien1.com/pt-BR/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

Para verificar separadamente quanto o trecho ajuda, faça as mesmas perguntas com e sem o trecho. [Verificar se um modelo usa o trecho](https://sapien1.com/pt-BR/research/does-the-model-use-the-passage)

## Confira se o teste cobre o idioma de que você precisa

Para o tailandês, use TyDiQA-SelectP para ver se o modelo encontra o trecho certo, XQuAD para ver se ele encontra as palavras da resposta no trecho fornecido, ou Belebele para ver se escolhe a opção certa. O arquivo de desenvolvimento TyDiQA-GoldP não tem perguntas em tailandês. Árabe e inglês são os únicos idiomas presentes nos quatro conjuntos de arquivos comparados: TyDi QA principal, TyDi QA Gold Passage, XQuAD e arquivos de desenvolvimento do MLQA com a pergunta e o trecho no mesmo idioma. [Verificação dos idiomas disponíveis](https://sapien1.com/pt-BR/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Arquivos de idioma do Belebele](https://sapien1.com/pt-BR/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

Ao divulgar pontuações, informe a tarefa, os idiomas e a quantidade de perguntas usadas em cada pontuação. Por exemplo, os dois métodos oficiais de pontuação do TyDi QA deixam o inglês fora da média geral, embora ele esteja presente nos arquivos. [Documentação de pontuação do TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
