如何驗收定期交付的 AI 資料
語言: 繁體中文(台灣)
提供預期的結構描述、交付頻率,以及哪些情況會使批次無法使用。我們可以協助規劃驗收檢查,並記錄哪些項目已通過或需要修正。 向 sapien1 說明您的專案
套用定期交付的資料集前,先與團隊上次驗收通過的版本比對。確認新檔案是要替換約定範圍內的整批資料,還是只包含從特定基準版本起算的變更。即使基準版本有誤,檔案仍可能通過檢查。
確認新一批交付涵蓋的範圍
向供應商索取發行版本識別碼、範圍及檔案清單。如果是完整替換,請確認整套資料涵蓋的範圍。如果是變更集,請核對所需的基準版本,以及供應商如何標示新增、更新及移除。紀錄可能只是因為沒有變動,才未出現在變更檔中。AWS Data Exchange 說明了兩種形式:更新後的完整資料集,以及包含上一個修訂版之後新增資料的修訂版。AWS Data Exchange 修訂版說明文件
依照議定的檔案清單,比對檔名及總和檢查碼。再另外確認基準版本及紀錄變更是否符合交付約定。BagIt 說明檔案清單及總和檢查碼的驗證方式。BagIt 規格
在驗證環境套用更新並檢查結果
在這個虛構範例中,買方從目錄資料串流中挑選紀錄作為訓練集。驗收要求基準版本完全相符,而且訓練集參照的每筆已合併紀錄都必須有仍有效的合併目標。上次驗收通過的版本是 R12,有效 ID 為 A14、A27、A38 和 A52。R13 的第一個交付套件通過了檔案檢查,卻以 R11 為必要基準。買方繼續使用 R12,並要求提供以 R12 為基準的變更集,或提供約定範圍內的完整替換版本。
供應商送來指定 R12 為基準的修正版 R13b。買方檢查新檔案後,在核准處理這批資料的驗證環境中,將變更套用到資料副本。
| 紀錄 | R13b 的變更或預期狀態 | 驗收 R13b 之前的檢查 |
|---|---|---|
A14 | 將主題從 returns 改成 exchanges | 核對 R12 的舊值,以及在驗證環境套用後的新值。 |
A27 | 合併至 A38 | 確認 A27 已從有效紀錄集合移除,且目前的參照指向 A38。 |
A38 | 作為合併目標維持有效 | 確認合併的目標紀錄存在。 |
A52 | 未出現在變更集中 | 確認未變動的紀錄仍然有效。 |
A65 | 新增一筆紀錄 | 確認新 ID 只出現一次。 |
更新後應有效的 ID 為 A14、A38、A52 和 A65。兩個版本都有四筆有效紀錄,光是計算筆數會漏掉 ID 的更換。如果缺少 A38,買方會暫緩驗收 R13b,並請供應商修正失效的參照。在這個範例中,檢查通過後,買方記下 R13b 已驗收、R13 因基準版本不符而暫緩驗收,並保留各交付套件的檔案清單雜湊摘要。
確保現行及歷史版本的參照仍可使用
詢問被移除的紀錄是否有仍有效的替代 ID。OpenAlex 在刪除檔中列出已合併至其他著作的著作 ID。另一份盡力維護的合併對照表會提供所列 ID 目前對應的有效 ID。如果協議允許保留識別碼,請記錄原先收到的 ID、目前指向的 ID,以及用來判定對應關係的交付版本。確認替代 ID 在該發行版本中仍有效。OpenAlex 同步說明文件
如果資料表移轉後需要重建先前的訓練集,請記錄原本的選取條件、擬使用的目標參照,以及任何截止時間所用的時區和時鐘依據。在採用前,先分別在相關系統中測試這兩種選取方式。sapien1 在本機以 Iceberg 1.12.0 重現空白 Delta 資料表的移轉時,仍可透過版本標籤存取較早的快照。以第二個 Delta 日誌檔案的時間查詢時,在 Iceberg 發布的歷史紀錄中找不到符合的項目。Iceberg 移轉研究
記錄本次決定,供下次交付參考
記錄基準版本、收到的發行版本、檔案清單識別碼或雜湊摘要、有效 ID 的檢查結果、尚未處理的參照,以及驗收或要求更正的決定。請向供應商確認移除標記在協議中的含義,並遵守適用於所保留副本或識別碼的規則。
如果需要協助規劃驗收檢查,請寄電子郵件給 sapien1,說明上次驗收通過的版本、更新格式和需要作出的決定。
如果還在挑選供應商,請先閱讀AI 訓練資料採購指南。若需要協助定義任務及所需資料,請參閱資料來源指南。