Evidências para escolher um teste de compreensão de leitura em vários idiomas

Estas verificações comparam as perguntas e os idiomas de versões específicas do TyDi QA, XQuAD, MLQA e Belebele. As contagens descrevem os arquivos usados no guia.

Quais perguntas os arquivos do TyDi QA têm em comum?

Comparamos os arquivos de desenvolvimento por idioma, título do artigo e redação exata da pergunta. Cada uma das 5,077 linhas do Gold Passage correspondeu a uma das 18,670 linhas do conjunto principal. Nos 9 idiomas compartilhados, o arquivo Gold Passage deixa de fora 1,285 linhas do conjunto principal em que pelo menos um anotador marcou uma resposta escrita. O arquivo de desenvolvimento principal inclui japonês e tailandês, mas o arquivo Gold Passage não contém linhas nesses 2 idiomas.

Para comparar um artigo inteiro com uma entrada mais curta, peça ao mesmo modelo uma resposta escrita duas vezes. Copie o trecho mais curto exatamente como aparece no artigo. Mantenha iguais as configurações, a pergunta, o formato da resposta, as respostas aceitas e a regra de pontuação. Verifique se cada resposta aceita aparece nas duas entradas. Confira o trecho e sua lista de respostas se usar o Gold Passage como fornecido. A correspondência por pergunta estabelece quais perguntas aparecem em ambos os arquivos. O texto dos trechos e as respostas aceitas podem ser diferentes.

Tanto a avaliação principal quanto a avaliação Gold Passage dos autores deixam o inglês fora da média geral.

Contagens por idioma (JSON) · Script de comparação (Python) · Arquivo de desenvolvimento principal fixado · Arquivo de desenvolvimento Gold Passage fixado · Regras oficiais de pontuação

Salve os 2 arquivos de origem como primary.parquet e gold.parquet. Salve o script e as contagens no mesmo diretório e execute a comparação. O script verifica os hashes dos 2 arquivos de entrada antes de lê-los.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Quais perguntas do XQuAD vêm do SQuAD?

Todos os 1,190 IDs do XQuAD em inglês correspondem a perguntas no arquivo de desenvolvimento do SQuAD 1.1. Para esses IDs, o título do artigo, o trecho e o texto da pergunta são idênticos. Todos os 12 arquivos da revisão do XQuAD que verificamos compartilham os mesmos IDs, incluindo o arquivo em romeno adicionado após o lançamento original.

Contagens e correspondências de perguntas (JSON) · Artigo original do XQuAD · Revisão fixada do XQuAD · Arquivo de desenvolvimento fixado do SQuAD

O que permanece igual quando uma pergunta do MLQA muda de idioma?

Os 4 arquivos de desenvolvimento em inglês e vietnamita compartilham 511 IDs de perguntas. Ao trocar as perguntas em inglês por perguntas em vietnamita e manter o trecho em inglês, todas as 511 perguntas mudaram, mas nenhum trecho nem lista de respostas aceitas mudou. A verificação compara cada trecho e a lista ordenada de respostas aceitas, incluindo os deslocamentos registrados. Use as mesmas respostas em inglês para pontuar as 2 execuções.

Contagens da comparação de arquivos (JSON) · Downloads oficiais do MLQA · Artigo original do MLQA

Quais idiomas estão nos 4 conjuntos de arquivos?

Verificamos os arquivos de desenvolvimento principal e Gold Passage do TyDi QA, a versão fixada do XQuAD e os arquivos de desenvolvimento do MLQA que usam o mesmo idioma para a pergunta e o trecho. Árabe e inglês são os únicos idiomas presentes nos 4 conjuntos. O tailandês aparece no conjunto principal do TyDi QA e no XQuAD, mas está ausente do Gold Passage.

Códigos de idioma por conjunto de arquivos (JSON)

Onde está o teste de múltipla escolha em tailandês?

O Belebele tem um arquivo em tailandês chamado tha_Thai.jsonl. Use-o para perguntas que pedem ao modelo que escolha uma entre 4 respostas após ler um trecho.

Arquivo em tailandês dos autores, em versão fixada · Artigo original do Belebele · Como comparar pontuações de leitura em múltipla escolha entre idiomas