Ricerca
Come accettare una consegna Parquet per una valutazione
Prima di riportare un punteggio, verifica quale consegna è arrivata, quali casi ha selezionato il lettore e quali etichette ha usato. Scegli i controlli in base all’accordo di consegna. Una versione fissa può richiedere file precisi in percorsi precisi. Una riscrittura autorizzata può consentire modifiche ai file e all’ordine delle righe, purché si conservino gli ID dei casi e le loro etichette.
Controlla i file consegnati e i casi usati per il punteggio
Abbina ogni percorso relativo Parquet al suo SHA-256. Mantieni la grafia consegnata, inclusi i caratteri con codifica percentuale. Verifica tutti gli abbinamenti, inclusi i percorsi mancanti o in più. Esegui il filtro di valutazione con il lettore, la versione e le opzioni di partizionamento previste. Confronta gli ID restituiti con l’elenco approvato e verifica che siano univoci se l’accordo richiede una riga per caso.
In una consegna fittizia in tre frammenti, l’elenco previsto contiene case-a e case-b, con due risultati corretti. Entrambe le disposizioni hanno lo stesso inventario di checksum e tutti i lettori provati selezionano due casi.
| Risultato osservato | Condizione da verificare |
|---|---|
| Consegna originale, PyArrow con decodifica URI seleziona case-a e case-b | Gli abbinamenti ai percorsi e l’elenco dei casi coincidono. |
| Consegna originale, PyArrow con segmenti letterali seleziona case-c e case-d | I percorsi coincidono. Sospendi il calcolo perché l’elenco dei casi è diverso. |
| Frammenti scambiati, PyArrow con decodifica URI seleziona case-c e case-d | Sospendi il calcolo per gli abbinamenti ai percorsi cambiati e per i casi diversi. |
| Frammenti scambiati, PyArrow con segmenti letterali seleziona case-a e case-b | I casi coincidono. Sospendi il calcolo perché gli abbinamenti ai percorsi sono cambiati. |
Nella disposizione originale, PyArrow 26.0.1 con decodifica URI interpreta split=test%252Fgold come il valore di partizione test%2Fgold. Con i segmenti letterali, la stessa query seleziona la cartella denominata split=test%2Fgold. Nella consegna originale la lettura letterale dà un risultato corretto su due. In questo esempio DuckDB 1.4.4, con partizionamento Hive, coincide con la lettura con decodifica URI in entrambe le disposizioni.
Se la partizione è indicata sia nel percorso sia in una colonna fisica, verifica entrambe le indicazioni. In un altro esempio di quattro casi, scambiare due frammenti intatti genera quattro conflitti. Con il partizionamento Hive esplicito, entrambi i lettori selezionano i casi indicati dai percorsi. Le letture della sola colonna fisica usano la partizione memorizzata. Risolvi i conflitti in base all’accordo prima di calcolare il punteggio.
Controlla le etichette per ID se la riscrittura è consentita
Confronta la riscrittura con l’abbinamento approvato tra casi ed etichette, usando i valori decodificati dal software di valutazione. In un altro esempio fittizio di otto righe, sia riordinare righe intere sia scambiare due etichette cambia i byte del file e conserva gli stessi metadati serializzati in coda. Il confronto per ID trova zero cambi di etichetta nel riordino e due nello scambio. Il riordino supera il controllo se l’ordine può cambiare. Lo scambio fallisce anche se i metadati in coda e i totali per etichetta coincidono.
Annota il riferimento della consegna, il lettore e il filtro, gli ID mancanti o inattesi e le associazioni cambiate. Così chi controlla dopo può riprodurre ogni decisione di accettazione.