Pesquisa
Como aceitar uma entrega em Parquet para avaliação
Antes de divulgar uma pontuação, confira qual entrega chegou, quais casos o leitor selecionou e quais rótulos usou. Escolha as verificações conforme o acordo de entrega. Uma versão fixa pode exigir arquivos exatos em caminhos exatos. Uma regravação permitida pode alterar os arquivos e a ordem das linhas, desde que preserve os IDs dos casos e seus rótulos.
Confira os arquivos entregues e os casos que entram na pontuação
Associe cada caminho relativo em Parquet ao seu SHA-256. Use o caminho como foi entregue, inclusive os caracteres com codificação percentual. Verifique todas as associações e procure caminhos ausentes ou extras. Execute o filtro de pontuação com o leitor, a versão e as opções de particionamento previstos. Compare os IDs retornados com a lista aprovada e confira se são únicos quando o acordo exige uma linha por caso.
Em uma entrega fictícia de três partes, a lista prevista contém case-a e case-b, com dois resultados corretos. As duas disposições têm o mesmo inventário de somas de verificação e todos os leitores testados selecionam dois casos.
| Resultado observado | Condição a verificar |
|---|---|
| Entrega original, PyArrow com decodificação de URI seleciona case-a e case-b | A associação aos caminhos e a lista de casos conferem. |
| Entrega original, PyArrow com segmentos literais seleciona case-c e case-d | A associação aos caminhos confere. Suspenda a pontuação porque os casos são diferentes. |
| Partes trocadas, PyArrow com decodificação de URI seleciona case-c e case-d | Suspenda a pontuação porque mudaram os arquivos associados aos caminhos e os casos são diferentes. |
| Partes trocadas, PyArrow com segmentos literais seleciona case-a e case-b | Os casos conferem. Suspenda a pontuação porque mudaram os arquivos associados aos caminhos. |
Na disposição original, o PyArrow 26.0.1 com decodificação de URI interpreta split=test%252Fgold como o valor de partição test%2Fgold. Com segmentos literais, a mesma consulta seleciona a pasta chamada split=test%2Fgold. Na entrega original, a leitura literal registra um resultado correto de dois. Neste exemplo, o DuckDB 1.4.4 com particionamento Hive coincide com a leitura que decodifica a URI nas duas disposições.
Se a entrega indicar a partição tanto no caminho quanto em uma coluna física, confira as duas indicações. Em outro exemplo de quatro casos, trocar duas partes intactas de lugar gera quatro conflitos. Com particionamento Hive explícito, os dois leitores testados selecionam os casos indicados pelos caminhos. As leituras que usam só a coluna física usam a partição armazenada. Resolva os conflitos conforme o acordo antes de pontuar.
Confira os rótulos pelo ID do caso quando a regravação for permitida
Compare a versão regravada com a associação aprovada entre casos e rótulos, usando os valores decodificados pelo programa de avaliação. Em outro exemplo fictício de oito linhas, mover linhas inteiras e trocar dois rótulos alteram os bytes do arquivo e preservam os mesmos metadados serializados no rodapé. A comparação por ID encontra zero alterações de rótulo na reordenação e duas na troca. Se a ordem puder mudar, a reordenação passa na verificação. A troca falha mesmo com o rodapé e os totais por rótulo iguais.
Registre a referência da entrega, o leitor e o filtro, os IDs ausentes ou inesperados e as associações alteradas. Assim, a próxima pessoa pode reproduzir cada decisão de aceitação.