跳至主要內容

選單

研究

如何驗收用於評估的 Parquet 資料

語言: 繁體中文(台灣)

回報分數前,先確認收到哪個版本、讀取工具選了哪些案例,以及用了哪些標籤。依照交付協議選擇要做的檢查。固定版本可能要求指定的檔案放在指定的路徑。若允許重新寫入,檔案和資料列順序可以變動,但案例 ID 和標籤必須保留。

核對固定交付版本和實際評分的案例

將每個 Parquet 相對路徑與對應的 SHA-256 配對。照交付時的寫法使用路徑,包括百分比編碼的字元。核對所有對應關係,也要查看是否有缺漏或多出的路徑。使用預定的讀取工具、版本和分割區選項執行評分篩選。將傳回的 ID 與核准的清單相比。如果協議要求每個案例只有一列,還要檢查 ID 是否唯一。

在一份含三個分割檔的虛構交付資料中,預期案例為 case-a 和 case-b,兩個結果都正確。兩種檔案配置的總和檢查碼清單相同,所有測試過的讀取工具也都選出兩個案例。

觀察到的結果需要核對的條件
原始交付資料,PyArrow 解碼 URI 後選到 case-a 和 case-b路徑與檔案的對應關係正確,案例清單也一致。
原始交付資料,PyArrow 照原樣讀取路徑片段後選到 case-c 和 case-d路徑與檔案的對應關係正確。案例清單不同,暫停評分。
對調分片後,PyArrow 解碼 URI 並選到 case-c 和 case-d路徑與檔案的對應關係變了,案例清單也不相符,暫停評分。
對調分片後,PyArrow 照原樣讀取路徑片段並選到 case-a 和 case-b案例清單一致。路徑與檔案的對應關係變了,暫停評分。

在原始配置中,PyArrow 26.0.1 解碼 URI 時,會把 split=test%252Fgold 讀成分割區值 test%2Fgold。若照原樣讀取路徑片段,同一個查詢會選到名為 split=test%2Fgold 的資料夾。照原樣讀取原始交付資料時,兩個結果中有一個正確。在這個例子裡,採用 Hive 分割區的 DuckDB 1.4.4 在兩種配置下都和 URI 解碼的結果一致。

若路徑和實際儲存的欄位同時標示所屬分割區,就核對兩處。在另一個有四個案例的例子中,不改檔案內容、只對調兩個分割檔的位置,會產生四處衝突。明確啟用 Hive 分割區時,兩個讀取工具都依路徑選取案例。只讀取實際儲存的欄位時,則使用欄位中儲存的分割區。評分前,請依協議解決衝突。

允許重新寫入時,按案例 ID 核對標籤

使用評分軟體解碼後的值,將重新寫入的結果與核准的案例及標籤對應關係相比。在另一個有八列的虛構例子中,移動整列和對調兩個標籤都會改變檔案的位元組,但檔案尾端序列化的中繼資料仍然相同。依 ID 比對,移動整列時沒有標籤改變,對調標籤時有兩個改變。若允許調整列順序,整列重排就能通過標籤檢查。即使檔案尾端和各標籤的數量都相同,對調標籤仍無法通過。

記下交付資料的識別資訊、評分的讀取工具和篩選條件、缺漏或意外出現的 ID,以及有變動的案例與標籤配對。這樣下一位審查人員就能重現每項驗收判斷。