評估 AI 資料集是否符合任務需求
語言: 繁體中文(台灣)
提供預計用途、結構描述及樣本說明。我們可以規劃涵蓋範圍、品質與使用權限的審查,並提出說明證據支持哪些用途的審查結果。 向 sapien1 說明您的專案
資料集評估是要確認手上的資料能否支援某項訓練、檢索或評估決策。先界定目標任務,再檢查範例及其脈絡、標籤、涵蓋範圍和切分方式。
舉例來說,一套看似完整的測試集可能包含模型在訓練期間看過的案例。如果想藉此估計模型在新案例上的表現,這點就很重要。審查應交代檢查過哪些項目、哪些地方需要修正,以及手上的證據能支持哪些結論。
從要做的決定著手
寫下你打算怎麼使用這套資料。同一批紀錄可能足以支援某種用途,換個用途卻不夠。
| 預期用途 | 要回答的問題 |
|---|---|
| 訓練或微調 | 範例和標籤是否反映模型應學會的行為? |
| 評估模型或代理程式 | 能否驗證預期結果?測試案例是否獨立於訓練或調校用的資料? |
| 檢索 | 內容是否符合現況、可解讀,並能在系統需要時取得? |
記錄資料集的版本、來源、日期範圍、欄位和已知限制。資料集卡片可提供內容、背景和中繼資料,再與實際檔案和適用的使用條款核對。
例如,2026 年 11 月 17 日檢查了 lerobot/svla_so101_pickplace 儲存庫的修訂版 f641879。資料集卡片中的中繼資料範例列出 codebase_version v2.1,檔案路徑以回合為單位。同一修訂版的實際中繼資料列出 codebase_version v3.0,檔案路徑改以區塊為單位。資料目錄中也有檔案採用這種命名方式。採用卡片上的路徑之前,先查看你要用的修訂版中實際的中繼資料和檔案。範例品質和訓練適用性還需要另行判斷。
合併機器人紀錄前,先確認動作與狀態通道代表什麼,以及固定步數對應的時間。FineART 和一套模擬 ALOHA 資料都宣告 aloha,並以各有 14 個元素的 float32 向量表示動作和狀態。FineART 宣告每秒 30 影格,模擬資料集則是每秒 50 影格。如果每步按宣告的速率前進一個影格間隔,15 步在兩套資料中分別是 0.5 秒和 0.3 秒。將兩個來源的時間視窗視為等效前,先確認實際記錄的時間及資料處理流程如何選取各步。FineART 中繼資料 · 模擬 ALOHA 中繼資料
用實例檢查資料切分與脈絡
假設團隊想用一套已有標籤的客服資料,判斷能否發布一個處理全新對話的代理程式。這套資料共有 120 筆範例,90 筆用於訓練,另有 30 筆在擬議的測試集中。每筆範例應包括案件 ID、對話 ID、適用的客服政策版本,以及預期的下一個動作。
這是虛構的例子。團隊檢查 30 筆測試案例,再和訓練集比對,得到以下結果。
| 檢查項目 | 發現 | 對這項決策的影響 |
|---|---|---|
| 重複案例 | 確認四筆測試案例是訓練案例的副本。 | 這四筆案例在訓練集裡已有對應紀錄。 |
| 共有對話 | 另外三筆測試案例的案件 ID 不同,但所屬的對話已出現在訓練集。 | 對以全新對話為目標的測試來說,這些也是不同資料子集之間的重疊。 |
| 政策脈絡 | 剩下 23 筆測試案例中,有兩筆缺少政策版本的參照。 | 只憑現有的脈絡紀錄,審查人員還無法依照適用政策核對預期動作。 |
前兩項檢查找出七筆不同的測試案例,另有 23 筆沒發現這類重疊。其中兩筆缺少政策脈絡,因此有 21 筆測試案例未被這些檢查標記。標籤是否正確、涵蓋範圍是否充分,以及 21 筆是否足以支援發布決策,都還有待確認。
團隊應先暫緩使用現有資料,作為針對全新對話的獨立發布測試。先隔離被標記的案例進行審查,找回或釐清缺漏的脈絡。確認模型與開發團隊已經看過哪些資料。單靠重排檔案,無法把用過的案例變成未見過的案例。重新切分時,應讓每段對話完整地留在同一個子集,並比對測試案例與已記錄的訓練、模型選擇資料。若無法確認過去訓練資料的來源,就記下這項限制。若原本的測試結果影響過調校,應保留未參與這些決策的新案例,必要時用彼此區隔的資料重新訓練。
Google 的資料集切分指南說明,訓練與測試集之間的重複範例,可能讓測試結果看起來優於在新範例上的實際表現。scikit-learn 的分組交叉驗證指南介紹如何讓同組觀測留在一起,以評估模型在未見過的群組上的表現。要用哪種群組取決於問題,可能是對話、客戶或文件。若圖片說明的測試必須使用訓練集裡沒有的圖片,應將同一張圖片的所有說明保留在同一個子集。逐列切分說明,可能使同一張圖片同時出現在訓練集和測試集。若想測量未來表現,應採取依時間排序的切分,避免將測試期間之後的觀測納入訓練資料。
假設團隊也想測試截止時間之後的全新對話。重新切分時,對話 A 在截止時間前後都有紀錄,對話 B 的第一筆案件紀錄在截止時間後才出現。如果 B 的紀錄過去未用於訓練或模型選擇,可以把 A 排除在兩個子集之外,並保留 B 作為測試。訓練資料應早於截止時間,也應檢查整個測試集有沒有先前用過的案例。記下排除項目,確認留下的案例能涵蓋預期用途。仍在進行中的對話,可以另外用遵循時間順序的測試來評估。如果歷史紀錄不完整,就可能無法確認 B 是新對話。
在把未指定的比例當作保留資料前,先確認切分工具真正分配了哪些資料。例如,LeRobot 修訂版 7910c20 的分配比例輔助函式依序收到 train: 0.6 和 test: 0.2 時,會將虛構資料集的 50 個回合全部分配,30 個用於訓練、20 個用於測試,沒有回合留下。其他工具或版本的做法可能不同,小型資料集也可能需要四捨五入或重新分配。查看各子集實際包含哪些回合。如果同一群組不得拆散,就選擇並記錄符合要求的回合清單。
LeRobot 的研究筆記追蹤新建立的 Diffusion 處理器如何取得已儲存的正規化統計量,並比較這些數值範圍與假設保留部分資料時的訓練回合摘要。請核對自己的處理器所載入的統計量來自哪裡、涵蓋哪些資料。
檢查標籤與涵蓋範圍
檢查有標籤的資料時,抽樣比對預期答案與產生這些答案所依據的指示和證據。領域專家可調查脈絡缺漏、標籤不一致,以及答案確實有歧義的案例。記錄審查時的分歧及其處理方式。審查人員的一致意見有參考價值,標籤是否正確仍需證據。標註品質管理的研究將審查、一致性和裁決作為不同環節。
數值類別標籤需要對照表,把 ID 與類別名稱和定義連起來。檢查各版本與各子集中的定義和 ID,並與模型預期的對照方式比較。記下如何轉換,以及如何處理缺少或已合併的類別。Ultralytics Platform 的資料集指南指出,合併或刪除類別可能使後面的 ID 順移,舊的匯出資料因而可能不再符合更新後的類別清單。請在自己的匯出檔和處理流程中核對。
檢查資料集是否涵蓋預期用途的重要情況,例如常見要求、重要例外、語言、時段或其他有意義的分組。範例少的群組可能需要補資料或另做分析。各群組的適當樣本數可以不一樣。
記錄怎麼選出受審查的範例。人工挑選有助於找出問題,但選中案例的錯誤率不能拿來代表整套資料。Google 的抽樣指南說明選樣方式如何扭曲對更大母體的判斷。
隨機抽樣也可能漏掉錯誤。假設另一批虛構資料有 120 筆紀錄,其中六筆標籤錯誤。如果用相同機率隨機抽取 20 筆不同紀錄,樣本完全沒抽到這六筆的機率約為 33%。如果審查人員能識別抽中紀錄的所有錯標,抽取 47 筆可把六筆全部漏掉的機率降到 5% 以下。這是以六個錯誤為前提的規劃實例。樣本中沒發現錯誤,無法據此判斷總共有六個錯誤,也無法證明其他紀錄都正確。依據決策在意的錯誤頻率和漏檢機率來決定樣本數,並記下選樣與審查方式。NIST 的抽樣概論介紹選樣和樣本大小,標註品質研究則說明統計品質估計和驗收抽樣。
決定要改哪些地方
把審查結果整理成團隊可以執行的行動。
- 修正。 找回缺漏的脈絡、修正已確認的錯誤,或更新標註指示,再複查受影響的紀錄。
- 限縮使用。 只將資料用於足以支援的任務或子集,並說明已知缺口。
- 暫緩。 在重要問題解決前,先別把這套資料用於原定的訓練或發布決策。
- 補充資料。 蒐集或取得缺少情況的案例,或建立一套未用於訓練或調校的新測試集。
讓原版和修訂版都能辨識。記錄檢查項目、選擇方法、發現、審查決定和待釐清的問題,讓其他團隊看得出改了哪些地方、為什麼改。
驗證重新寫入的 Parquet 資料集
交付的 Parquet 檔案重新寫入時,先釐清新檔案必須為任務保留哪些屬性。記錄原始與修訂檔案的版本,並用團隊下游實際採用的讀取工具驗證。下面的例子使用虛構資料。
- 來源欄位。 若要區分欄位未提供或明確設成 null,應保存每個來源檔案的結構描述。在 DuckDB 1.4.4 的實例中,即使保留來源名稱,對調缺少欄位的來源後,合併檔案仍然相同。原始結構描述指出了兩項變更。DuckDB 合併結構描述
- 案件與標籤配對。 檢查案件 ID 是否存在且唯一,和預期清單核對,再按 ID 比對標籤。八列資料的兩次重新寫入保留了相同的檔尾中繼資料和各標籤筆數。一次有兩個標籤被分到其他案件,另一次只重排完整資料列,因此保留了所有配對。Parquet 檔案結構
- 解碼後的數值。 驗證邏輯型別,再比對會讀到的數值。在十進位例子裡,小數位數從 2 改為 3,讓 12.34 變成 1.234,雖然儲存的整數與欄區塊位元組都相同。Parquet 十進位型別規格
- 當地日期。 若報告按當地日期分組,應核對每個事件在約定時區的日期。在 PyArrow 26.0.1 的實例裡,重新寫入時未儲存 Arrow 結構描述的中繼資料,但兩個事件仍維持原本的時間點。採 UTC 讀回時兩筆都落在 7 月 1 日,採約定的紐約時區則恢復為 6 月 30 日和 7 月 1 日。PyArrow 寫入選項
根據約定屬性進行各項檢查。允許改變順序時,只要重排仍保留每個配對,就可通過案件及標籤檢查。如果合約要求提供各來源有哪些欄位的證明,但原始結構描述無法取得,應等取得證據後再做這項檢查。
檢查 COCO 資料轉換
轉換 COCO 物件偵測資料集時,對照原始圖片和匯出圖片的 ID 對應表。確認每個來源圖片在匯出資料中都有各自的數值 ID,且其標註和預測仍指向預期的圖片。配置已儲存的 ID 對應表時,測試中的 FiftyOne 匯出工具會將 01 和 1 轉成同一個整數。測試中的 COCO 索引會保留該 ID 的最後一列圖片紀錄,並將標註集合到同一個 ID 下。評分前應解決重複 ID。FiftyOne 匯出工具 · COCO 索引
儘量保留原始 ID。若必須修改,應保留它們的相對數值順序,並在原始和轉換後的資料上重新計算平均精確率(AP)。使用相同修訂版的評估器、相同設定和未四捨五入的預測分數,每次執行時都把預測對應到正確的圖片。也應做一個小測試,在不同圖片上放入兩筆同類別、同信心分數的偵測,讓其中一筆符合真值標註,另一筆為偽陽性。測試中的 COCO 評估器會依圖片 ID 排序,跨圖片分數相同時維持這個順序。就算偵測配對結果相同,重新編號仍可能改變 AP。比較兩個版本前,先找出並解決分數差異。COCO 圖片順序 · COCO 分數累積
相關指南
sapien1 協助團隊依 AI 系統要完成的工作審查資料集、規劃評估。完成資料審查後,可參考我們的代理程式評估指南。如果審查發現缺少某類資料,資料來源指南可協助釐清需要尋找什麼。