Chuyển đến nội dung chính

Menu

Cách mua dữ liệu huấn luyện AI

Ngôn ngữ: Tiếng Việt

Cho chúng tôi biết mô hình cần học gì và bạn sẽ đánh giá thế nào để xác định một mẫu hữu ích. Chúng tôi có thể thảo luận về các nguồn phù hợp và bằng chứng cần xem xét trước khi bạn quyết định mua quyền sử dụng một bộ dữ liệu. Mô tả dự án của bạn cho sapien1

Bạn có thể mua quyền sử dụng một tập dữ liệu hiện có, làm việc trực tiếp với chủ sở hữu dữ liệu hoặc đặt thu thập dữ liệu cho một tác vụ cụ thể. Trước khi cam kết, hãy xác định mô hình cần học gì, kiểm tra một mẫu theo yêu cầu đó và xem các điều khoản đề xuất có cho phép mục đích sử dụng dự kiến hay không.

Câu hỏi hữu ích không chỉ là “Có bao nhiêu dữ liệu?”. Điều cần xem xét là các bản ghi có chứa những ví dụ và ngữ cảnh mà nhóm có thể sử dụng hay không, cũng như giấy phép đã thỏa thuận có bao gồm những người, hệ thống và mục đích liên quan hay không.

Chọn nơi lấy dữ liệu

Cách tìm nguồnKhi nào nên cân nhắcCần hỏi gì trước tiên
Tập dữ liệu hiện cóBạn cần một bộ dữ liệu có thể đã tồn tại.Bao gồm phiên bản, trường dữ liệu, khoảng thời gian và điều khoản sử dụng nào?
Thỏa thuận trực tiếp với chủ sở hữu dữ liệuMột tổ chức nắm giữ các bản ghi hoặc nội dung phù hợp.Ai có thể cho phép mục đích sử dụng được đề xuất và những tài liệu nào thuộc phạm vi thỏa thuận?
Thu thập hoặc chuẩn bị theo yêu cầuDữ liệu hiện có thiếu các tình huống, định dạng hoặc nhãn quan trọng.Những gì sẽ được thu thập hoặc chuẩn bị, chất lượng sẽ được kiểm tra như thế nào và sau đó bạn có thể sử dụng những gì?
Tập dữ liệu công khaiMột bộ dữ liệu có thể truy cập có thể phù hợp với tác vụ hoặc làm cơ sở so sánh ban đầu.Tài liệu của bộ dữ liệu nói gì về nguồn, hạn chế và mục đích sử dụng được phép?

Ví dụ, Opendatabay giới thiệu một sàn niêm yết tập dữ liệu, còn Clickworker mô tả các dịch vụ thu thập và gán nhãn theo yêu cầu. Đây là những điểm khởi đầu để tìm hiểu; hãy kiểm tra dịch vụ và điều khoản áp dụng cho loại dữ liệu cụ thể bạn cần.

Hướng dẫn tìm nguồn dữ liệu của chúng tôi trình bày cách mô tả tác vụ, phạm vi bao phủ và định dạng trước khi liên hệ với nguồn dữ liệu.

Xác định mỗi ví dụ cần có gì

Ghi lại hành vi mong muốn và thông tin cần thiết để đánh giá hành vi đó. Với một trợ lý hỗ trợ khách hàng, bản ghi có thể cần có yêu cầu của khách hàng, chính sách áp dụng vào thời điểm đó, hành động đã thực hiện và kết quả. Với một mô hình xử lý tài liệu, các trường quan trọng có thể là hình ảnh trang, văn bản được trích xuất, bố cục và nhãn đã được xác minh.

Nếu mẫu tài liệu có các khung được gán nhãn, hãy kiểm tra xem các khung có khớp với hình ảnh được bàn giao hay không. Một số định dạng biểu diễn vị trí dưới dạng tỷ lệ theo kích thước trang; các định dạng khác dùng pixel. Xác nhận trang, phiên bản hình ảnh, đơn vị, gốc tọa độ và mọi thao tác đổi kích thước, cắt xén hoặc xoay, sau đó chồng các khung mẫu lên hình ảnh để kiểm tra độ khớp. Đồng thời xem các nhãn có mô tả đúng vùng hay không.

Yêu cầu mô tả chính xác phiên bản tập dữ liệu: nguồn, kích thước và đơn vị, phạm vi thời gian, định dạng, nhãn, các phần loại trừ đã biết và lịch sử xử lý. Hướng dẫn về thẻ tập dữ liệu của Hugging Face mô tả cách một thẻ có thể ghi lại nội dung, ngữ cảnh và siêu dữ liệu như giấy phép, ngôn ngữ và kích thước. Hãy xem các trường đó là thông tin cần đối chiếu cùng tài liệu gốc.

Kiểm tra mẫu theo yêu cầu

Thống nhất về mẫu và các bước kiểm tra trước khi quyết định mở rộng. Đưa vào cả những tình huống thông thường mà mô hình sẽ gặp lẫn các trường hợp khó quan trọng đối với tác vụ. Ghi lại cách chọn mẫu và những phần nào của bộ dữ liệu đề xuất được mẫu đại diện.

Điều khoản Marketplace của Origin Lab, được đọc vào ngày 18 tháng 11 năm 2026, giới hạn các mẫu marketplace được định nghĩa trong điều khoản này chỉ dùng để đánh giá nội bộ và cấm sử dụng chúng để thử nghiệm hoặc đánh giá một hệ thống AI, trừ khi một thỏa thuận thương mại áp dụng do Origin Lab ký kết quy định rõ điều ngược lại. Hạn chế đối với mẫu này không áp dụng cho Bench Materials được định nghĩa riêng và có điều khoản riêng. Kiểm tra điều khoản cụ thể của mẫu và mọi thỏa thuận liên quan trước khi kiểm tra, thử nghiệm, huấn luyện hoặc chia sẻ mẫu.

Với một mẫu giọng nói có dấu thời gian cho từng từ, hãy hỏi các dấu thời gian dùng bản ghi và đơn vị thời gian nào. Nếu chúng tham chiếu đến một bản sao đã loại bỏ khoảng lặng, hãy yêu cầu mã định danh của bản ghi nguồn và bảng ánh xạ các đoạn được giữ lại về dòng thời gian gốc. Kiểm tra một từ sau điểm cắt ở giữa. Trong một mẫu giả định nối các đoạn từ giây thứ 2–4 và 7–9 của bản ghi nguồn mà không chèn khoảng đệm, thời điểm 2,5 giây trong mẫu tương ứng với 7,5 giây trong bản ghi nguồn. Nếu cộng độ lệch hai giây của đoạn đầu, kết quả là 4,5 giây, nằm trong khoảng đã bị loại bỏ. Ánh xạ dấu thời gian của NeMo Curator

Kiểm tra cách bản bàn giao đánh dấu các từ có khoảng dấu thời gian vượt qua điểm nối. Trong cùng mẫu giả định, hàm hỗ trợ faster-whisper được thử nghiệm đã chọn một độ lệch cho cả hai đầu của một khoảng vượt qua điểm nối và đặt điểm bắt đầu của khoảng đó vào vùng đã bị loại bỏ. Nếu mục đích sử dụng đòi hỏi một khoảng liên tục trong bản ghi gốc, hãy thống nhất cách gắn cờ và xem xét các trường hợp đó trước khi chấp nhận. Khôi phục dấu thời gian của faster-whisper · Tính độ lệch của faster-whisper

Xét ví dụ giả định sau. Một nhóm muốn tinh chỉnh một trợ lý hỗ trợ khách hàng có khả năng đề xuất bước tiếp theo cho yêu cầu trả hàng. Một nhà cung cấp đề xuất một bộ dữ liệu gồm các trường hợp hỗ trợ. Nhóm yêu cầu 12 ví dụ để kiểm tra: sáu trường hợp trả hàng thông thường và sáu trường hợp ngoại lệ. Trong lần xem xét đầu tiên này, nhóm yêu cầu mọi ví dụ đều phải có yêu cầu của khách hàng, liên kết đến phiên bản chính sách áp dụng và kết quả được ghi nhận.

Nội dung kiểm traYêu cầu đối với mẫu nàyKết quả minh họa
Yêu cầu của khách hàngCó trong cả 12 ví dụ12 trên 12 ví dụ có thông tin này
Phiên bản chính sách áp dụngĐược liên kết trong cả 12 ví dụ10 trên 12 ví dụ có liên kết; hai trường hợp ngoại lệ thiếu liên kết
Kết quả được ghi nhậnCó trong cả 12 ví dụ11 trên 12 ví dụ có kết quả; một trường hợp thông thường thiếu kết quả

Mẫu không đạt hai trong số các tiêu chí kiểm tra mà nhóm đã đặt ra. Bước tiếp theo là hỏi xem có thể khôi phục các liên kết chính sách và kết quả bị thiếu hay không, sau đó xem xét mẫu đã sửa. Nếu không thể, nhóm có thể thay đổi yêu cầu hoặc tìm nguồn khác. Một kết quả được ghi nhận không tự động là quyết định đúng: người có chuyên môn trong lĩnh vực cũng cần đối chiếu kết quả với chính sách áp dụng.

Các số liệu này chỉ mô tả 12 trường hợp được chọn. Chúng không ước tính tỷ lệ lỗi trong toàn bộ bộ dữ liệu. Để đánh giá phạm vi bao phủ rộng hơn, hãy hỏi tập dữ liệu được phân bố như thế nào giữa các tình huống liên quan và thống nhất lấy thêm một mẫu theo phương pháp được ghi nhận. Hướng dẫn của Google về chất lượng dữ liệu và lấy mẫu giải thích vì sao một mẫu được chọn có thể tạo ra hình dung sai lệch về một tổng thể lớn hơn.

Giả sử cả 12 trường hợp đó đều thuộc năm 2024, nhưng bộ dữ liệu được chào bán bao phủ giai đoạn 2022–2024. Kiểm tra một bản đã sửa có thể xác nhận các lỗi trong những trường hợp đó đã được khắc phục; việc này không cho thấy phần còn lại của bộ dữ liệu đã được sửa hay chưa. Hãy hỏi phiên bản tập dữ liệu và những bản ghi nào đã được sửa, sau đó thống nhất cách chọn một mẫu mới từ phiên bản bạn dự định mua. Nếu chỉ có thể xem xét dữ liệu năm 2024, hãy để giai đoạn 2022–2023 ở trạng thái chưa được đánh giá và quyết định thu hẹp phạm vi mua hay chờ một đợt xem xét rộng hơn.

Nếu không thể chia sẻ bản ghi thực tế cho lần xem xét ban đầu, hãy hỏi xem có thể cung cấp mẫu đã loại bỏ thông tin nhạy cảm hoặc quyền truy cập có kiểm soát hay không. Một ví dụ tổng hợp có thể cho thấy định dạng, nhưng không thể xác lập chất lượng hoặc phạm vi bao phủ của bộ dữ liệu thực tế.

Thống nhất cách thực thi quyền truy cập trước khi nhận mẫu: bản thân một truy vấn chỉ chọn một số cột không hạn chế quyền truy cập vào phần còn lại của tệp dữ liệu gốc. Phần footer của Parquet cũng có thể chứa số liệu thống kê về các cột. Nếu bên gửi cần giới hạn thông tin được chuyển ra ngoài phạm vi cho phép, hãy cân nhắc một mẫu được chuẩn bị riêng với các trường đã được phê duyệt hoặc một dịch vụ thực thi quyền truy cập ở cấp trường. Xem xét siêu dữ liệu và các biện pháp kiểm soát truy cập cùng với các bản ghi được trả về.

Kiểm tra dữ liệu được phép dùng vào việc gì

Đối chiếu thỏa thuận và tài liệu hỗ trợ với tập dữ liệu và dự án cụ thể. Các câu hỏi cần thảo luận với nhà cung cấp và những người phụ trách xem xét pháp lý, mua sắm bao gồm:

  • Phiên bản tập dữ liệu nào được áp dụng và nhà cung cấp có thẩm quyền cấp quyền cho mục đích sử dụng đề xuất hay không?
  • Khi cần, các hoạt động huấn luyện, tinh chỉnh, đánh giá hoặc truy xuất có được phép không? Điều khoản có đề cập đến việc triển khai thương mại và mọi hạn chế liên quan đối với mô hình hoặc đầu ra không?
  • Ai được phép truy cập hoặc xử lý dữ liệu, bao gồm nhà thầu hoặc nhà cung cấp dịch vụ? Các điều khoản về bàn giao, lưu trữ, thời hạn lưu giữ và xóa dữ liệu là gì?
  • Có nội dung loại trừ, quyền từ nguồn gốc, tài liệu của bên thứ ba hoặc hạn chế nào khác cần xem xét không? Có bằng chứng nào hỗ trợ thông tin nhà cung cấp đưa ra về nguồn gốc và quyền sử dụng dữ liệu?

Ghi riêng những gì đã được xác nhận và những gì vẫn cần xem xét. Nhãn giấy phép hoặc thẻ tập dữ liệu giúp nhận diện mục đích sử dụng được tuyên bố; bản thân chúng không xác minh các quyền cơ sở. Một nghiên cứu kiểm tra các tập dữ liệu văn bản, giọng nói và video công khai phát hiện sự khác biệt giữa mô tả giấy phép ở cấp tập dữ liệu và các hạn chế gắn với nội dung nguồn. Kết quả này liên quan đến những tập dữ liệu công khai được nghiên cứu, không phải mọi bộ dữ liệu thương mại.

Ví dụ, một thẻ được ghim cho tập dữ liệu nghiên cứu công khai SciFact mô tả tập dữ liệu theo giấy phép CC BY-NC 2.0 và liên kết đến một tệp giấy phép trên nhánh master của kho mã, nội dung có thể thay đổi. Trong một bản chụp được ghim của giấy phép đó, kho mã mô tả riêng CC BY 4.0 cho các chú giải về luận điểm và bằng chứng, ODC-By 1.0 cho các bản tóm tắt trong ngữ liệu và Apache 2.0 cho mã nguồn. Các tài liệu có thể mô tả những phiên bản, thành phần hoặc phép biến đổi khác nhau; bản thân chúng không xác lập điều khoản áp dụng cho một tệp cụ thể. Hãy đối chiếu các tệp được bàn giao và các thành phần nguồn của chúng với tài liệu liên quan, đồng thời yêu cầu xem xét những câu hỏi về quyền chưa được giải quyết.

Lập kế hoạch đánh giá và bàn giao

Quyết định cách dữ liệu sẽ được bàn giao và nghiệm thu: định dạng tệp, bản kê hoặc mã định danh phiên bản, tài liệu, các bước kiểm tra mẫu và cách khắc phục vấn đề. Nếu dữ liệu cũng được dùng để đánh giá mô hình, hãy bảo vệ một tập kiểm thử riêng, không đưa vào quá trình huấn luyện và kiểm tra dữ liệu trùng lặp giữa các tập sau khi phân chia. Hướng dẫn phân chia tập dữ liệu của Google giải thích cách dữ liệu trùng lặp có thể khiến kết quả kiểm thử trông tốt hơn thực tế.

Kiểm tra thời điểm bắt đầu thời hạn kiểm tra, cách gửi thông báo, ý nghĩa của việc không phản hồi và các biện pháp khắc phục được áp dụng. Ví dụ, phiên bản 1.0 của giấy phép tiêu chuẩn cho dữ liệu huấn luyện AI của ai.market cho bên mua bảy ngày theo lịch kể từ lần bàn giao đầu tiên để thông báo cho sàn về sự không phù hợp đáng kể so với thông tin niêm yết. Điều khoản chính của micro1, cập nhật ngày 12 tháng 11 năm 2026, cho micro1, bên được cấp phép, 30 ngày làm việc kể từ khi hoàn tất bàn giao theo bản kê để từ chối dữ liệu bằng văn bản. Một mốc tính thời hạn riêng áp dụng nếu nhà cung cấp thông báo cho micro1 bằng văn bản rằng không thể bàn giao phần dữ liệu còn lại. Các tài liệu này áp dụng cho những giao dịch khác nhau và còn có các điều kiện, ngoại lệ khác. Hãy xem xét điều khoản và phiên bản điều chỉnh đơn hàng của bạn.

Bản kê có thể liệt kê các tệp dự kiến và mã kiểm tra cho phiên bản tập dữ liệu đã thỏa thuận. Hãy thống nhất cách xác minh nguồn của bản kê, đối chiếu danh sách tệp với những gì đã nhận và điều tra các tệp bị thiếu, phát sinh ngoài dự kiến hoặc không khớp. Ví dụ, nếu một bản kê giả định liệt kê hai tệp nhưng chỉ nhận được một tệp, mã kiểm tra khớp của tệp đó không làm cho việc bàn giao trở nên đầy đủ. Đặc tả BagIt phân biệt tính đầy đủ với việc xác thực mã kiểm tra đối với một định dạng đóng gói. Mã kiểm tra khớp cho biết giá trị băm tính được của tệp trùng với giá trị trong bản kê; bản thân điều đó không xác lập danh tính người gửi, tính chính xác của nhãn, phạm vi bao phủ mang tính đại diện hoặc quyền sử dụng dữ liệu. Hãy xem xét riêng những yếu tố đó.

Khi nhà cung cấp gửi phiên bản tiếp theo, hãy xem cách nghiệm thu các đợt bàn giao dữ liệu AI định kỳ.

Để xem ví dụ chi tiết về cách kiểm tra rò rỉ tập kiểm thử và thiếu ngữ cảnh, hãy xem hướng dẫn đánh giá tập dữ liệu của chúng tôi.

sapien1 giúp các nhóm xác định phạm vi yêu cầu dữ liệu, tìm các nguồn tiềm năng và đánh giá mẫu. Hãy bắt đầu từ tác vụ, các ví dụ bạn cần và quyết định mà mẫu phải hỗ trợ. Các chủ sở hữu dữ liệu chuẩn bị cho cuộc trao đổi có thể sử dụng hướng dẫn chuẩn bị cấp phép dữ liệu của chúng tôi.