# Как принять поставку Parquet для оценки

Перед публикацией оценки проверьте, какая поставка получена, какие случаи выбрала программа чтения и какие метки она использовала. Выбирайте проверки по условиям поставки. Для фиксированной версии могут требоваться конкретные файлы по конкретным путям. При разрешённой перезаписи файлы и порядок строк могут измениться, если сохранены идентификаторы случаев и их метки.

## Проверьте фиксированную поставку и список оцениваемых случаев

Сопоставьте каждый относительный путь Parquet с его SHA-256. Используйте путь в том виде, в котором он пришёл, включая символы с процентным кодированием. Проверьте всё сопоставление, в том числе недостающие и лишние пути. Запустите фильтр оценки с нужной программой, версией и настройками разбиения. Сверьте полученные идентификаторы с утверждённым списком и проверьте их уникальность, если по договорённости каждому случаю соответствует одна строка.

В вымышленной поставке из трёх частей ожидаются case-a и case-b, с двумя верными результатами. В обеих раскладках набор контрольных сумм файлов одинаков, и каждая испытанная программа выбирает два случая.

| Наблюдаемый результат | Что нужно проверить |
| --- | --- |
| Исходная поставка, PyArrow с декодированием URI выбирает case-a и case-b | И привязка файлов к путям, и список случаев совпадают. |
| Исходная поставка, PyArrow при буквальном чтении путей выбирает case-c и case-d | Привязка к путям совпадает. Приостановите оценку из-за другого списка случаев. |
| Части поменяли местами, PyArrow с декодированием URI выбирает case-c и case-d | Приостановите оценку из-за новой привязки файлов к путям и другого списка случаев. |
| Части поменяли местами, PyArrow при буквальном чтении путей выбирает case-a и case-b | Список случаев совпадает. Приостановите оценку из-за новой привязки файлов к путям. |

В исходной раскладке PyArrow 26.0.1 при декодировании URI читает `split=test%252Fgold` как значение раздела `test%2Fgold`. При буквальном чтении частей пути тот же запрос выбирает каталог `split=test%2Fgold`. В исходной поставке буквальное чтение даёт один верный результат из двух. В этом примере DuckDB 1.4.4 с разбиением Hive даёт тот же результат, что и декодирование URI, при обеих раскладках.

Если раздел указан и в пути, и в столбце файла, проверьте оба источника. В отдельном примере с четырьмя случаями перестановка двух неизменённых частей создаёт четыре расхождения. При явно выбранном разбиении Hive обе программы выбирают случаи по путям. При чтении только хранимого столбца используется записанный раздел. Разрешите расхождения по условиям поставки до расчёта оценки.

## Если перезапись разрешена, проверьте метки по идентификатору случая

Сравните перезаписанные данные с утверждённой связью случаев и меток, используя значения, которые декодирует программа оценки. В другом вымышленном примере с восемью строками и перестановка целых строк, и обмен двух меток меняют байты файла, сохраняя одинаковые сериализованные метаданные в конце файла. Сравнение по идентификатору находит ноль изменений меток после перестановки и два после обмена. Перестановка проходит проверку меток, если порядок разрешено менять. Обмен её не проходит, хотя конечные метаданные и числа меток совпадают.

Запишите ссылку на поставку, программу чтения и фильтр, недостающие или неожиданные идентификаторы и изменённые пары. Так следующий проверяющий сможет воспроизвести каждое решение о приёмке.

[Скачать скрипты и сохранённые результаты (ZIP)](https://sapien1.com/research/check-parquet-evaluation-deliveries-evidence/parquet-evaluation-replay.zip)
