跳至主要內容

選單

如何驗收定期交付的 AI 資料

語言: 繁體中文(台灣)

提供預期的結構描述、交付頻率,以及哪些情況會使批次無法使用。我們可以協助規劃驗收檢查,並記錄哪些項目已通過或需要修正。 向 sapien1 說明您的專案

套用定期交付的資料集前,先與團隊上次驗收通過的版本比對。確認新檔案是要替換約定範圍內的整批資料,還是只包含從特定基準版本起算的變更。即使基準版本有誤,檔案仍可能通過檢查。

確認新一批交付涵蓋的範圍

向供應商索取發行版本識別碼、範圍及檔案清單。如果是完整替換,請確認整套資料涵蓋的範圍。如果是變更集,請核對所需的基準版本,以及供應商如何標示新增、更新及移除。紀錄可能只是因為沒有變動,才未出現在變更檔中。AWS Data Exchange 說明了兩種形式:更新後的完整資料集,以及包含上一個修訂版之後新增資料的修訂版。AWS Data Exchange 修訂版說明文件

依照議定的檔案清單,比對檔名及總和檢查碼。再另外確認基準版本及紀錄變更是否符合交付約定。BagIt 說明檔案清單及總和檢查碼的驗證方式。BagIt 規格

在驗證環境套用更新並檢查結果

在這個虛構範例中,買方從目錄資料串流中挑選紀錄作為訓練集。驗收要求基準版本完全相符,而且訓練集參照的每筆已合併紀錄都必須有仍有效的合併目標。上次驗收通過的版本是 R12,有效 ID 為 A14、A27、A38 和 A52。R13 的第一個交付套件通過了檔案檢查,卻以 R11 為必要基準。買方繼續使用 R12,並要求提供以 R12 為基準的變更集,或提供約定範圍內的完整替換版本。

供應商送來指定 R12 為基準的修正版 R13b。買方檢查新檔案後,在核准處理這批資料的驗證環境中,將變更套用到資料副本。

紀錄R13b 的變更或預期狀態驗收 R13b 之前的檢查
A14將主題從 returns 改成 exchanges核對 R12 的舊值,以及在驗證環境套用後的新值。
A27合併至 A38確認 A27 已從有效紀錄集合移除,且目前的參照指向 A38。
A38作為合併目標維持有效確認合併的目標紀錄存在。
A52未出現在變更集中確認未變動的紀錄仍然有效。
A65新增一筆紀錄確認新 ID 只出現一次。

更新後應有效的 ID 為 A14、A38、A52 和 A65。兩個版本都有四筆有效紀錄,光是計算筆數會漏掉 ID 的更換。如果缺少 A38,買方會暫緩驗收 R13b,並請供應商修正失效的參照。在這個範例中,檢查通過後,買方記下 R13b 已驗收、R13 因基準版本不符而暫緩驗收,並保留各交付套件的檔案清單雜湊摘要。

確保現行及歷史版本的參照仍可使用

詢問被移除的紀錄是否有仍有效的替代 ID。OpenAlex 在刪除檔中列出已合併至其他著作的著作 ID。另一份盡力維護的合併對照表會提供所列 ID 目前對應的有效 ID。如果協議允許保留識別碼,請記錄原先收到的 ID、目前指向的 ID,以及用來判定對應關係的交付版本。確認替代 ID 在該發行版本中仍有效。OpenAlex 同步說明文件

如果資料表移轉後需要重建先前的訓練集,請記錄原本的選取條件、擬使用的目標參照,以及任何截止時間所用的時區和時鐘依據。在採用前,先分別在相關系統中測試這兩種選取方式。sapien1 在本機以 Iceberg 1.12.0 重現空白 Delta 資料表的移轉時,仍可透過版本標籤存取較早的快照。以第二個 Delta 日誌檔案的時間查詢時,在 Iceberg 發布的歷史紀錄中找不到符合的項目。Iceberg 移轉研究

記錄本次決定,供下次交付參考

記錄基準版本、收到的發行版本、檔案清單識別碼或雜湊摘要、有效 ID 的檢查結果、尚未處理的參照,以及驗收或要求更正的決定。請向供應商確認移除標記在協議中的含義,並遵守適用於所保留副本或識別碼的規則。

如果需要協助規劃驗收檢查,請寄電子郵件給 sapien1,說明上次驗收通過的版本、更新格式和需要作出的決定。

如果還在挑選供應商,請先閱讀AI 訓練資料採購指南。若需要協助定義任務及所需資料,請參閱資料來源指南。