跳至主要內容

選單

如何購買 AI 訓練資料

語言: 繁體中文(台灣)

告訴我們模型需要學習的內容,以及您將如何判斷樣本是否有用。在您決定是否取得資料集的授權之前,我們可以討論合適的來源及應審查的證據。 向 sapien1 說明您的專案

您可以取得現有資料集的授權、直接與資料擁有者合作,或委託對方針對特定任務收集資料。做出承諾前,先定義模型需要學會什麼,依照這項需求測試樣本,並確認擬議條款是否涵蓋預定用途。

值得問的問題不只是「有多少資料可用?」,還包括這些紀錄是否包含團隊能運用的範例與脈絡,以及雙方約定的授權是否涵蓋相關人員、系統與用途。

選擇從哪裡取得資料

管道何時考慮首先要問什麼
現有資料集您需要的資料集可能已經存在。包含哪個版本、哪些欄位、涵蓋什麼時段,以及使用條款為何?
與資料擁有者直接簽訂協議某個組織持有相關紀錄或內容。誰能授權擬議用途,涵蓋哪些資料?
客製化收集或準備現有資料缺少重要情境、格式或標籤。將收集或準備哪些資料、如何檢查品質,以及之後可以如何使用?
公開資料集可取得的資料集可能適合該任務,或可作為初步比較的基準。文件如何說明資料來源、限制與允許的用途?

例如,Opendatabay 提供資料集刊登項目的交易平台,而 Clickworker 說明其客製化收集與標註服務。這些都是可以進一步調查的起點;請確認符合您特定資料需求的服務內容與條款。

我們的資料來源指南說明如何在洽詢資料來源前描述任務、涵蓋範圍與格式。

決定每筆範例需要包含哪些內容

寫下預期行為,以及評估該行為所需的資訊。對客服代理而言,一筆紀錄可能需要包含客戶的請求、當時適用的政策、採取的行動與結果。對文件模型而言,重要欄位可能包括頁面影像、擷取的文字、版面配置與經過驗證的標籤。

如果文件樣本包含已標註的框選區域,請檢查框選區域是否與交付的影像對齊。有些格式以頁面尺寸的比例表示位置;另一些則使用像素。確認頁面、影像版本、單位、座標原點,以及是否經過縮放、裁切或旋轉,再將樣本框選區域疊加到影像上檢查對齊情況。也要審查標籤是否描述了正確的區域。

要求對方說明確切的資料集版本,包括來源、大小與計量單位、涵蓋時段、格式、標籤、已知排除項目與處理歷程。Hugging Face 的資料集卡片指引說明卡片如何記錄內容、脈絡,以及授權、語言和大小等中繼資料。應將這些欄位視為需要與基礎文件一併審查的資訊。

依照需求測試樣本

決定是否擴大使用前,先就樣本與檢查項目達成共識。納入模型會遇到的常規情境,以及對任務重要的困難案例。記錄樣本的選取方式,以及它代表擬議資料集的哪些部分。

於 2026 年 11 月 18 日查閱的 Origin Lab 交易平台條款規定,其所定義的交易平台樣本僅限內部評估使用,並禁止使用這些樣本測試或評估 AI 系統,除非由 Origin Lab 簽訂的適用商業協議明確另有規定。該樣本限制不包括另行定義的 Bench Materials,後者適用各自的條款。在檢視、測試、訓練或分享樣本前,先確認該樣本的具體條款及任何相關協議。

對於含有逐字時間戳記的語音樣本,詢問這些戳記使用哪份錄音及何種時間單位。如果時間戳記參照的是已移除靜音的副本,請索取來源錄音識別碼,以及保留片段對應至原始時間軸的對照表。檢查位於中間剪接點之後的字詞。在一個虛構樣本中,來源錄音的第 2–4 秒與第 7–9 秒片段未加填補便接合在一起,則樣本中的 2.5 秒對應來源錄音中的 7.5 秒。若直接加上第一個片段的兩秒偏移量,會得到 4.5 秒,落在已移除的間隔內。NeMo Curator 時間戳記對應

檢查交付資料如何標示時間戳記跨越接合點的字詞。在同一個虛構樣本中,受測的 faster-whisper 輔助函式對跨越接合點的區間兩端選用同一個偏移量,導致起點落在已移除的間隔內。如果您的用途需要原始錄音中的連續區間,應在接受資料前約定如何標記及審查這類案例。faster-whisper 時間戳記還原 · faster-whisper 偏移量計算

請看這個虛構範例。某個團隊想微調一個客服代理,讓它針對退貨請求建議下一步。供應商提出一份客服案例資料集。團隊要求提供 12 個用於診斷的範例:6 個常規退貨案例與 6 個例外案例。在這次初步審查中,團隊要求每個範例都包含客戶請求、當時適用的政策版本連結,以及記錄的結果。

檢查項目此樣本的要求示例結果
客戶請求12 個範例都須包含12 個中有 12 個包含
適用的政策版本12 個範例都須附上連結12 個中有 10 個附有連結;2 個例外案例缺少連結
記錄的結果12 個範例都須包含12 個中有 11 個包含;1 個常規案例缺少結果

樣本未通過團隊列出的兩項檢查。下一步是詢問能否補回缺少的政策連結與結果,並審查修正後的樣本。如果無法補回,團隊可以變更需求或尋找其他來源。記錄的結果不一定代表決策正確:領域審查人員也應將結果與適用政策比較。

這些數量只描述選出的 12 個案例,無法用來估計完整資料集的錯誤率。若要評估更廣泛的涵蓋範圍,應詢問資料集在相關情境間的分布,並約定依照有文件記錄的方法抽取另一份樣本。Google 的資料品質與抽樣指引說明為何選取的樣本可能使人對更大的母體產生誤判。

假設這 12 個案例都來自 2024 年,但供應商提供的資料集涵蓋 2022–2024 年。檢查修正後的副本可以確認這些案例已獲修正,卻無法顯示資料集其餘部分是否也已修正。詢問哪些資料集版本與紀錄已獲修正,再約定如何從打算購買的版本中選取新樣本。如果只能審查 2024 年的資料,就將 2022–2023 年的資料列為尚未評估,並決定是否縮小購買範圍或等待更廣泛的審查。

如果初步審查時無法分享真實紀錄,可以詢問是否能提供經過去識別或清理的樣本,或採用受控存取。合成範例可以呈現格式,卻無法證明實際資料集的品質或涵蓋範圍。

收到樣本前,先約定如何強制執行存取限制:僅選取特定欄位的查詢,本身並不會限制對底層檔案其餘部分的存取。Parquet 頁尾也可能包含欄位統計資料。如果傳送方需要限制跨越邊界的資料,可考慮另行準備只含核准欄位的樣本,或使用強制執行欄位層級存取限制的服務。除了返回的紀錄,也要一併審查中繼資料與存取控制。

確認資料可以用在哪些用途

確認協議與佐證文件符合特定資料集及專案的需求。可與供應商及負責法務和採購審查的人員討論以下問題:

  • 涵蓋哪個資料集版本?供應商是否有權授予擬議用途的授權?
  • 在有需要的情況下,是否涵蓋訓練、微調、評估或檢索?條款是否處理商業部署,以及與模型或輸出有關的限制?
  • 哪些人可以存取或處理資料,包括承包商或服務供應商?交付、儲存、保留與刪除的條款為何?
  • 是否有需要審查的排除項目、上游權利、第三方資料或其他限制?供應商對資料來源與使用許可的說明有哪些佐證?

分別記錄已確認事項與仍待審查的事項。授權標籤或資料集卡片有助於辨識聲稱允許的用途,但本身無法驗證基礎權利。一項公開文字、語音與影片資料集的稽核發現,資料集層級的授權說明與來源內容相關限制之間存在差異。其發現針對受檢視的公開資料集,並不適用於每一份商業資料集。

例如,公開研究資料集 SciFact 的固定版本卡片將該資料集描述為採用 CC BY-NC 2.0,並連結至儲存庫 master 分支上的授權檔案;該分支可能變動。在該授權的固定快照中,儲存庫分別說明:主張與證據標註採用 CC BY 4.0、語料庫摘要採用 ODC-By 1.0,而程式碼採用 Apache 2.0。這些文件可能描述不同的版本、組成部分或轉換處理;文件本身無法確立特定檔案適用的條款。應將交付檔案及其上游組成部分對應至相關文件,並請人審查尚未釐清的權利問題。

規劃評估與交付

決定資料的交付與驗收方式,包括檔案格式、資訊清單或版本識別碼、文件、樣本檢查,以及問題的修正方式。如果資料也將用於評估模型,應將獨立測試集與訓練資料隔離,並檢查各分割資料集之間是否有重複內容。Google 的資料集分割指引說明重複內容如何使測試結果看起來比實際表現更好。

確認檢查期限何時起算、如何提出通知、未回覆代表什麼,以及適用哪些補救措施。例如,ai.market 標準 AI 訓練授權條款第 1.0 版給予買家自首次交付起 7 個日曆天,向交易平台通知與刊登內容存在重大不符。micro1 於 2026 年 11 月 12 日更新的主條款則規定,身為被授權人的 micro1 可在依資訊清單完成交付後的 30 個工作天內,以書面拒收資料。如果供應商以書面通知其無法交付剩餘資料,則適用另一個起算條件。這些文件適用於不同交易,並包含其他條件與例外。請審查適用於您訂單的條款及版本。

資訊清單可以列出約定資料集版本中預期交付的檔案與校驗碼。雙方應約定如何驗證資訊清單的來源、將其檔案列表與實際收到的檔案比較,以及調查缺少、未預期或不符的檔案。例如,假設一份虛構資訊清單列出兩個檔案,但實際只收到一個,即使該檔案的校驗碼相符,也不代表交付完整。BagIt 規格針對其中一種封裝格式,區分了完整性與校驗碼驗證。校驗碼相符表示檔案計算出的摘要與資訊清單一致;這本身無法確立傳送者身分、標籤正確性、涵蓋範圍的代表性或資料使用權利。這些事項應分別審查。

供應商傳送下一個版本時,請參閱如何驗收定期交付的 AI 資料。

若要參考檢查測試集資料洩漏與缺少脈絡的實作範例,請參閱我們的資料集評估指南。

sapien1 協助團隊界定資料需求、找出可能的來源並評估樣本。從任務、所需範例,以及樣本必須支持的決策開始。準備洽談的資料擁有者可以參考我們的資料授權準備指南。